To analyze the transaction data in

To analyze the transaction data in the new platform, we need to ingest it into the Hadoop Distributed File System (HDFS). We need to find a tool that easily transfers structured data from a RDBMS to HDFS, while preserving structure. That enables us to query the data, but not interfere with or break any regular workload on it.

Apache Sqoop, which is part of CDH, is that tool. The nice thing about Sqoop is that we can automatically load our relational data from MySQL into HDFS, while preserving the structure.

With a few additional configuration parameters, we can take this one step further and load this relational data directly into a form ready to be queried by Impala (the open source analytic query engine included with CDH). Given that we may want to leverage the power of the Apache Avro file format for other workloads on the cluster (as Avro is a Hadoop optimized file format), we will take a few extra steps to load this data into Impala using the Avro file format, so it is readily available for Impala as well as other workloads.

You should first open a terminal, which you can do by clicking the black "Terminal" icon at the top of your screen. Once it is open, you can launch the Sqoop job:

ผลลัพธ์ (ไทย) 1:

การวิเคราะห์ข้อมูลธุรกรรมในแพลตฟอร์มใหม่ เราต้องกินมันเป็นของ Hadoop กระจายแฟ้มระบบ (HDFS) เราต้องหาเครื่องมือที่สามารถโอนย้ายข้อมูลจาก RDBMS ที่ไป HDFS รักษาโครงสร้าง ที่ช่วยให้เราสามารถสอบถามข้อมูล แต่ไม่รบกวน หรือทำลายปริมาณงานปกติใด ๆ บนSqoop Apache ซึ่งเป็นส่วนของชมา เป็นเครื่องมือที่ สิ่งที่ Sqoop เป็นว่า เราสามารถโหลดโดยอัตโนมัติของเราข้อมูลจาก MySQL เป็น HDFS ขณะรักษาโครงสร้างมีกี่กำหนดค่าพารามิเตอร์ เราสามารถทำขั้นตอนนี้ต่อไป และโหลดข้อมูลนี้โดยตรงลงในแบบฟอร์มพร้อมที่จะสอบถาม โดยอิมพาลา (มาเปิดแบบสอบถามวิเคราะห์โปรแกรมรวมกับชมา) รับว่า เราอาจต้องการใช้ประโยชน์จากรูปแบบแฟ้ม Apache Avro สำหรับงานอื่น ๆ ในคลัสเตอร์ (เป็น Avro รูปแบบแฟ้ม Hadoop เหมาะ) เราจะใช้กี่ขั้นตอนโหลดข้อมูลนี้ลงในอิมพาลาโดยใช้รูปแบบแฟ้ม Avro ดังนั้นจึงพร้อมสำหรับอิมพาลาเป็นปริมาณอื่น ๆคุณควรเปิดเทอร์มินัล ซึ่งคุณสามารถทำได้ โดยคลิกไอคอน "Terminal" สีดำที่ด้านบนของหน้าจอ ก่อน เมื่อมีการเปิด คุณสามารถเปิดใช้งาน Sqoop:

ผลลัพธ์ (ไทย) 2:

การวิเคราะห์ข้อมูลการทำธุรกรรมในแพลตฟอร์มใหม่ที่เราต้องกินมันลงไปใน Hadoop Distributed File System (HDFS) เราจำเป็นต้องค้นหาเครื่องมือที่ง่ายในการถ่ายโอนข้อมูลที่มีโครงสร้างจาก RDBMS เพื่อ HDFS ในขณะที่การรักษาโครงสร้าง ที่ช่วยให้เราเพื่อสอบถามข้อมูล แต่ไม่ยุ่งเกี่ยวกับภาระงานหรือทำลายปกติใด ๆ บน. Apache Sqoop ซึ่งเป็นส่วนหนึ่งของ CDH เป็นเครื่องมือที่ สิ่งที่ดีเกี่ยว Sqoop คือการที่เราจะสามารถโหลดข้อมูลเชิงสัมพันธ์ของเราจาก MySQL ใน HDFS ในขณะที่รักษาโครงสร้าง. ด้วยการกำหนดค่าพารามิเตอร์ไม่กี่เพิ่มเติมเราสามารถใช้เวลานี้อีกขั้นหนึ่งและโหลดข้อมูลเชิงสัมพันธ์นี้โดยตรงในรูปแบบพร้อมที่จะเป็น สอบถามโดยอิมพาลา (โอเพนซอร์สเครื่องมือแบบสอบถามวิเคราะห์รวมกับ CDH) ระบุว่าเราอาจต้องการที่จะใช้ประโยชน์จากพลังของรูปแบบไฟล์ Apache รว์สำหรับงานอื่น ๆ ในคลัสเตอร์ (ตามรว์เป็นรูปแบบไฟล์ที่ดีที่สุด Hadoop) เราจะใช้ขั้นตอนพิเศษไม่กี่ในการโหลดข้อมูลนี้ในอาฟริกาใช้รูปแบบแฟ้มรว์ ดังนั้นจึงเป็นที่พร้อมสำหรับการ Impala เช่นเดียวกับปริมาณงานอื่น ๆ . คุณควรเปิด terminal ซึ่งคุณสามารถทำได้โดยคลิกที่ไอคอนสีดำ "เทอร์มิ" ที่ด้านบนของหน้าจอ เมื่อมีการเปิดให้คุณสามารถเปิดงาน Sqoop:

ผลลัพธ์ (ไทย) 3:

วิเคราะห์ข้อมูลการทำธุรกรรมในแพลตฟอร์มใหม่ที่เราต้องกินมันเข้าไปในระบบแฟ้มแบบกระจาย ( hdfs Hadoop ) เราต้องค้นหาเครื่องมือที่สามารถถ่ายโอนข้อมูลโครงสร้างจากฐานข้อมูลเพื่อ hdfs ในขณะที่รักษาโครงสร้าง ที่ช่วยให้เราเพื่อสอบถามข้อมูล แต่ไม่ก้าวก่าย หรือแบ่งภาระงานปกติใด ๆ มันsqoop Apache ซึ่งเป็นส่วนหนึ่งของ CDH , เป็นเครื่องมือที่ สิ่งที่ดีเกี่ยวกับ sqoop คือเราสามารถโหลดข้อมูลจาก MySQL เป็นฐานข้อมูลของเรา hdfs ในขณะที่รักษาโครงสร้างมีไม่กี่เพิ่มเติมการตั้งค่าพารามิเตอร์ที่เราสามารถใช้เวลานี้ขั้นตอนต่อไปและโหลดข้อมูลโดยตรงในรูปแบบเชิงสัมพันธ์นี้พร้อมที่จะสอบถาม โดยอิมพาลา ( แหล่งที่มาเปิดเครื่องมือวิเคราะห์แบบสอบถามรวมกับ CDH ) ระบุว่าเราอาจต้องการที่จะใช้ประโยชน์จากพลังของ Apache แอฟโร่ในรูปแบบไฟล์งานอื่น ๆ ในกลุ่มที่เป็นแอฟโร่เป็น Hadoop ( รูปแบบแฟ้ม ) เราจะใช้เวลาไม่กี่พิเศษขั้นตอนการโหลดข้อมูลในรูปแบบไฟล์อิมพาล่าใช้แอฟโร่ ดังนั้นจะพร้อมใช้งานสำหรับอิมพาลา ตลอดจนงานอื่น ๆคุณควรเปิด terminal ซึ่งคุณสามารถทำได้โดยคลิกที่ไอคอนสีดำ " ขั้ว " ที่ด้านบนของหน้าจอของคุณ เมื่อมันเปิดอยู่ คุณสามารถเปิดใช้งาน sqoop :