Data Preparation TasksBefore proces

Data Preparation Tasks
Before processing data from other systems, you sometimes have to first retrieve it or validate the
content to determine your level of confidence in the data’s quality. SSIS provides a set of tasks that
can be used to retrieve data files using the files and folders available in the file system, or it can reach
out using FTP and web service protocols. The following sections explore these tasks in SSIS.
Data Profiler
Data profiling is the process of examining data and collecting metadata about the quality of the
data, about frequency of statistical patterns, interdependencies, uniqueness, and redundancy. This
type of analytical activity is important for the overall quality and health of an operational data
store (ODS) or data warehouse. In fact, you’ve most likely been doing this activity whether or not
you actually have a defined tool to perform it. Now, rather than use a set of complicated queries
or rely on a third-party product, you have a Data Profiling Task as part of the SSIS development
environment.
The Data Profiling Task is located in the SSIS Toolbox, but you probably shouldn’t attempt to use
the results to make an automated workflow decision in the SSIS package Control Flow. Rather, it
is more of an ad hoc tool for placement in a design-time package that will be run manually outside
of a scheduled process. In fact, the task doesn’t have built-in conditional workflow logic, but
technically you can use XPath queries on the results. The profiler can only report on statistics in the
data; you still need to make judgments about these statistics. For example, a column may contain
an overwhelming amount of NULL values, but the profiler doesn’t know whether this reflects a valid
business scenario.
You can view the structured output file that is produced by the Data Profiling Task in a special Data
Profiler Viewer that provides drill-downs back to the detail level. To access this viewer, select SQL
Server ➪ Integration Services from the Start menu. Once the tool is loaded, use the Open button
to browse to the output file that will be generated by the Data Profiling Task. Figure 3-7 shows an
example of an analysis of the DimCustomer table in the AdventureWorksDW database. You can see
here that the majority of the rows in the MiddleName column are null.
Figure 3-7

ผลลัพธ์ (ไทย) 1:

งานการจัดเตรียมข้อมูลการประมวลผลข้อมูลจากระบบอื่น คุณบางครั้งมีการเรียกคืน หรือการตรวจสอบก่อนการเนื้อหาเพื่อกำหนดระดับความเชื่อมั่นในคุณภาพของข้อมูล SSIS ให้ชุดของงานที่สามารถใช้เพื่อเรียกใช้แฟ้มและโฟลเดอร์ในระบบแฟ้มข้อมูล หรือมันสามารถเข้าถึงออกโดยใช้โพรโทคอบริการเว็บและ FTP ส่วนต่อไปนี้ได้งานเหล่านี้ใน SSISตัวสร้างโพรไฟล์ข้อมูลสร้างโพรไฟล์ข้อมูลเป็นกระบวนการตรวจสอบข้อมูล และรวบรวมข้อมูลเมตาเกี่ยวกับคุณภาพของการข้อมูล เกี่ยวกับความถี่ของรูปแบบทางสถิติ ความ เอกลักษณ์ และความซ้ำซ้อน นี้ชนิดของกิจกรรมวิเคราะห์เป็นสิ่งสำคัญสำหรับคุณภาพโดยรวมและสุขภาพข้อมูลการดำเนินงานร้านค้า (ODS) หรือคลังสินค้าของข้อมูล ในความเป็นจริง คุณได้จะรับการทำกิจกรรมนี้หรือไม่นอกจากนี้คุณจะได้เครื่องมือที่กำหนดการดำเนิน ตอนนี้ แทนที่ใช้ชุดของแบบสอบถามที่ซับซ้อนหรือใช้ผลิตภัณฑ์ของบุคคลที่สาม คุณมีงานสร้างโพรไฟล์ข้อมูลเป็นส่วนหนึ่งของการพัฒนา SSISสภาพแวดล้อมงานสร้างโพรไฟล์ข้อมูลอยู่ในมือ SSIS แต่คุณอาจไม่ควรพยายามที่จะใช้ผลทำการตัดสินใจเป็นเวิร์กโฟลว์อัตโนมัติในการ SSIS แพคเกจควบคุมกระแส ค่อนข้าง มันเป็นเครื่องมือเฉพาะกิจสำหรับวางในแพคเกจออกแบบเวลาที่จะรันด้วยตนเองภายนอกมากขึ้นของกระบวนการจัดกำหนดการ ในความเป็นจริง งานไม่มีตรรกะของเวิร์กโฟลว์ตามเงื่อนไขภายใน แต่เทคนิคคุณสามารถใช้แบบสอบถาม XPath ผล ตัวสร้างโพรไฟล์ที่สามารถรายงานเกี่ยวกับสถิติเฉพาะข้อมูล คุณยังจำเป็นต้องทำการตัดสินเกี่ยวกับสถิติเหล่านี้ ตัวอย่าง อาจประกอบด้วยคอลัมน์จำนวนค่า NULL แต่ตัวสร้างโพรไฟล์การครอบงำไม่ทราบว่า นี้สะท้อนให้เห็นถึงความถูกต้องสถานการณ์ธุรกิจการคุณสามารถดูแฟ้มโครงสร้างผลผลิตที่ผลิตตามภารกิจการสร้างโพรไฟล์ข้อมูลในข้อมูลพิเศษแสดงตัวสร้างโพรไฟล์ที่มีการเลื่อนลงของระดับรายละเอียดไป การเข้าถึงตัวแสดงนี้ เลือก SQLเซิร์ฟเวอร์บริการรวม➪จากเมนู'เริ่ม' เมื่อโหลดเครื่องมือ ใช้ปุ่มเปิดเพื่อเรียกดูแฟ้มผลลัพธ์ที่จะถูกสร้างขึ้น โดยงานสร้างโพรไฟล์ข้อมูล รูปที่ 3-7 แสดงการตัวอย่างของการวิเคราะห์ของตาราง DimCustomer ในฐานข้อมูล AdventureWorksDW คุณสามารถดูที่นี่ส่วนใหญ่ของแถวในคอลัมน์ MiddleName เป็น nullรูปที่ 3-7

ผลลัพธ์ (ไทย) 2:

งานเตรียมข้อมูลก่อนการประมวลผลข้อมูลจากระบบอื่น ๆ บางครั้งคุณต้องแรกเอามันหรือตรวจสอบเนื้อหาในการกำหนดระดับของความเชื่อมั่นในคุณภาพของข้อมูล SSIS ให้ชุดของงานที่สามารถใช้ในการดึงไฟล์ข้อมูลโดยใช้ไฟล์และโฟลเดอร์ที่มีอยู่ในระบบแฟ้มหรือสามารถเข้าถึงโดยใช้โปรโตคอลFTP และบริการเว็บ ส่วนต่อไปนี้สำรวจงานเหล่านี้ใน SSIS. ข้อมูล Profiler โปรไฟล์ข้อมูลเป็นกระบวนการของการตรวจสอบข้อมูลและการเก็บรวบรวมข้อมูลเมตาเกี่ยวกับคุณภาพของข้อมูลเกี่ยวกับความถี่ของรูปแบบทางสถิติประมูลเอกลักษณ์และความซ้ำซ้อน นี้ประเภทของกิจกรรมการวิเคราะห์เป็นสิ่งสำคัญสำหรับคุณภาพโดยรวมและสุขภาพของข้อมูลการดำเนินงานการจัดเก็บ(ODS) หรือคลังข้อมูล ในความเป็นจริงที่คุณได้รับมากที่สุดน่าจะทำกิจกรรมนี้หรือไม่ว่าคุณจะมีเครื่องมือที่กำหนดให้ดำเนินการได้ ตอนนี้แทนที่จะใช้ชุดของคำสั่งที่ซับซ้อนหรือพึ่งพาผลิตภัณฑ์ของบุคคลที่สามคุณมีโปรไฟล์งานข้อมูลเป็นส่วนหนึ่งของการพัฒนา SSIS สภาพแวดล้อม. โปรไฟล์งานข้อมูลจะอยู่ในกล่องเครื่องมือ SSIS แต่คุณอาจไม่ควร พยายามที่จะใช้ผลที่จะทำให้การตัดสินใจขั้นตอนการทำงานโดยอัตโนมัติในแพคเกจSSIS ควบคุมการไหล แต่ก็เป็นอีกเครื่องมือเฉพาะกิจสำหรับตำแหน่งในแพคเกจการออกแบบเวลาที่จะทำงานด้วยตนเองนอกของกระบวนการที่กำหนดไว้ ในความเป็นจริงงานไม่ได้ในตัวตรรกะขั้นตอนการทำงานตามเงื่อนไข แต่ในทางเทคนิคคุณสามารถใช้คำสั่งXPath ผล รวมข้อมูลเท่านั้นที่สามารถรายงานเกี่ยวกับสถิติในข้อมูล คุณยังคงต้องการที่จะทำให้การตัดสินใจเกี่ยวกับสถิติเหล่านี้ ยกตัวอย่างเช่นคอลัมน์อาจจะมีจำนวนเงินที่ครอบงำของค่าโมฆะแต่รวมข้อมูลไม่ทราบว่าเรื่องนี้สะท้อนให้เห็นถึงที่ถูกต้องสถานการณ์ธุรกิจ. คุณสามารถดูไฟล์ที่ส่งออกโครงสร้างที่ผลิตโดยข้อมูล Profiling งานในข้อมูลพิเศษViewer Profiler ที่ให้เจาะดาวน์กลับไปที่ระดับรายละเอียด ในการเข้าถึงผู้ชมนี้เลือก SQL Server ที่➪รวมบริการจากเมนู Start เมื่อเครื่องมือที่มีการโหลดใช้ปุ่มเปิดเพื่อเรียกดูไฟล์ที่ส่งออกที่จะถูกสร้างขึ้นโดย Profiling งานข้อมูล รูปที่ 3-7 แสดงให้เห็นตัวอย่างของการวิเคราะห์ของตารางDimCustomer ในฐานข้อมูล AdventureWorksDW คุณสามารถดูที่นี่ว่าส่วนใหญ่ของแถวในคอลัมน์ MiddleName ที่มี null. รูปที่ 3-7

ผลลัพธ์ (ไทย) 3:

จัดเตรียมข้อมูลงาน
ก่อนการประมวลผลข้อมูลจากระบบอื่น ๆ บางครั้งคุณต้องดึง หรือตรวจสอบ
เนื้อหาเพื่อตรวจสอบระดับของความเชื่อมั่นในคุณภาพของข้อมูลของคุณ ันมีชุดของงานที่
สามารถใช้ในการเรียกไฟล์โดยใช้ไฟล์และโฟลเดอร์ที่มีอยู่ในระบบแฟ้มหรือสามารถเข้าถึง
ออกมาใช้ FTP โปรโตคอลและการบริการเว็บส่วนต่อไปนี้สํารวจงานเหล่านี้ใน SSIS .
ข้อมูล Profiler
ข้อมูลโปรไฟล์ เป็นกระบวนการของการตรวจสอบข้อมูล และรวบรวมข้อมูลเกี่ยวกับคุณภาพของ
ข้อมูลเกี่ยวกับความถี่ทางสถิติรูปแบบ , interdependencies , เอกลักษณ์ และความซ้ำซ้อน กิจกรรมวิเคราะห์ชนิดนี้
เป็นสิ่งสำคัญสำหรับสุขภาพและคุณภาพโดยรวมของการจัดเก็บข้อมูล
ปฏิบัติการ ( ODS ) หรือข้อมูลคลังสินค้าในความเป็นจริง คุณก็น่าจะทำกิจกรรมนี้หรือไม่
ที่จริงคุณมีกำหนดเครื่องมือที่จะแสดงมัน ตอนนี้ แทนที่จะใช้ชุดซับซ้อนแบบสอบถาม
หรือพึ่งพาผลิตภัณฑ์ของบุคคลที่สาม คุณมีข้อมูลลักษณะงานเป็นส่วนหนึ่งของการพัฒนาสภาพแวดล้อมัน
.
ข้อมูลโปรไฟล์งานตั้งอยู่ใน SSIS กล่องเครื่องมือ แต่คุณไม่ควรพยายามที่จะใช้
ผลลัพธ์ให้อัตโนมัติเวิร์กโฟลว์ตัดสินใจในแพคเกจ SSIS ควบคุมการไหล ค่อนข้าง ,
มีมากขึ้นของ Ad Hoc เครื่องมือสำหรับตำแหน่งในเวลาออกแบบแพคเกจจะวิ่งด้วยตนเองนอก
ของตารางกระบวนการ ในความเป็นจริง งานไม่ได้มีตรรกะตามเงื่อนไขในเวิร์กโฟลว์ แต่ในทางเทคนิคแล้ว คุณสามารถใช้แบบสอบถาม XPath
ในผลลัพธ์ โดยเฉพาะสามารถรายงานสถิติใน
ข้อมูล คุณยังต้องตัดสินใจเกี่ยวกับสถิติเหล่านี้ ตัวอย่างเช่นคอลัมน์อาจประกอบด้วยจำนวนของค่า null
น่าหนักใจ แต่รายละเอียดไม่รู้ว่า นี้สะท้อนให้เห็นถึงสถานการณ์ทางธุรกิจที่ถูกต้อง
.
คุณสามารถดูโครงสร้างไฟล์ output ที่ผลิตโดยใช้ข้อมูลลักษณะงานในข้อมูลพิเศษ
Profiler ตัวแสดงที่ให้ดาวน์เจาะกลับไปในระดับรายละเอียดเข้าถึงผู้ชมนี้ ให้เลือกบริการรวม SQL Server ➪
จากเมนูเริ่มต้น เมื่อเครื่องมือโหลด ใช้ปุ่มเปิด
เพื่อเรียกดูไฟล์เอาท์พุทจะถูกสร้างขึ้นโดยใช้ข้อมูลลักษณะงาน รูปที่ 3-7 แสดง
ตัวอย่างของการวิเคราะห์ adventureworksdw DimCustomer ตารางในฐานข้อมูล คุณสามารถดู
ที่นี่ส่วนใหญ่ของแถวในคอลัมน์
middlename ถือเป็นโมฆะรูปที่ 3 - 7