This command may take a while to co

This command may take a while to complete, but it is doing a lot. It is launching MapReduce jobs to pull the data from our MySQL database and write the data to HDFS, distributed across the cluster in Apache Parquet format. It is also creating tables to represent the HDFS files in Impala / Apache Hive with matching schema.

Parquet is a format designed for analytical applications on Hadoop. Instead of grouping your data into rows like typical data formats, it groups your data into columns. This is ideal for many analytical queries where instead of retrieving data from specific records, you're analyzing relationships between specific variables across many records. Parquet is designed to optimize data storage and retriveval in these scenarios.

Once the command is complete we can confirm that our data was imported into HDFS:

ผลลัพธ์ (ไทย) 1:

คำสั่งนี้อาจใช้เวลาสักครู่เพื่อให้เสร็จสมบูรณ์ แต่มันทำงานมาก มันได้เปิด MapReduce งานการดึงข้อมูลจากฐานข้อมูล MySQL และเขียนข้อมูลไป HDFS กระจายข้ามคลัสเตอร์ในรูปแบบปาร์เก้ Apache นอกจากนี้การสร้างตารางเพื่อแสดงไฟล์ HDFS ในอิมพาลา / Apache ไฮฟ์กับ schema ที่ตรงกันพื้นปาร์เกต์เป็นรูปแบบที่ออกแบบมาสำหรับใช้งานการวิเคราะห์บน Hadoop แทนการจัดกลุ่มข้อมูลของคุณลงในแถวเช่นรูปแบบข้อมูลทั่วไป มันรวมข้อมูลของคุณลงในคอลัมน์ นี่คือเหมาะสำหรับการสอบถามการวิเคราะห์หลายที่แทนที่จะดึงข้อมูลจากระเบียนที่เฉพาะเจาะจง คุณกำลังการวิเคราะห์ความสัมพันธ์ระหว่างตัวแปรเฉพาะข้ามหลายระเบียน ปาร์เก้ถูกออกแบบมาเพื่อเพิ่มประสิทธิภาพการจัดเก็บข้อมูลและ retriveval ในสถานการณ์เหล่านี้เมื่อคำสั่งเสร็จสมบูรณ์แล้ว เราสามารถยืนยันได้ว่า ข้อมูลของเราถูกนำเข้าลงใน HDFS:

ผลลัพธ์ (ไทย) 2:

คำสั่งนี้อาจใช้เวลาสักครู่เพื่อให้เสร็จสมบูรณ์ แต่มันก็ทำมาก มันคือการเปิดตัวงาน MapReduce ที่จะดึงข้อมูลจากฐานข้อมูล MySQL ของเราและเขียนข้อมูลลง HDFS กระจายทั่วคลัสเตอร์ในรูปแบบ Apache ปาร์เก้ นอกจากนี้ยังสร้างตารางเพื่อเป็นตัวแทนของไฟล์ HDFS ในอาฟริกา / Apache Hive กับการจับคู่สคี. ปาร์เก้เป็นรูปแบบที่ออกแบบมาสำหรับการใช้งานการวิเคราะห์เกี่ยวกับ Hadoop แทนการจัดกลุ่มข้อมูลของคุณเป็นแถวเช่นรูปแบบข้อมูลทั่วไปก็กลุ่มข้อมูลของคุณลงในคอลัมน์ นี้เหมาะสำหรับการค้นหาวิเคราะห์จำนวนมากที่แทนการดึงข้อมูลจากบันทึกเฉพาะคุณกำลังการวิเคราะห์ความสัมพันธ์ระหว่างตัวแปรเฉพาะทั่วหลายระเบียน ปาร์เก้ได้รับการออกแบบเพื่อเพิ่มประสิทธิภาพการจัดเก็บข้อมูลและ retriveval ในสถานการณ์เหล่านี้. เมื่อคำสั่งเสร็จสมบูรณ์เราสามารถยืนยันได้ว่าข้อมูลของเราถูกนำเข้า HDFS:

ผลลัพธ์ (ไทย) 3:

คำสั่งนี้อาจต้องใช้เวลาที่จะเสร็จสมบูรณ์ แต่ก็ทำอะไรมาก มันถูกเปิดใช้งาน mapreduce เพื่อดึงข้อมูลจากฐานข้อมูล MySQL และเขียนข้อมูลที่จะ hdfs กระจายทั่วกลุ่มในรูปแบบ parquet Apache นอกจากนี้ยังสร้างตารางเพื่อแสดง hdfs ไฟล์อิมพาล่า / Apache รังด้วยการจับคู่สคีมาปาร์เก้ เป็นรูปแบบที่ออกแบบมาเพื่อใช้งานวิเคราะห์เกี่ยวกับ Hadoop . แทนการจัดกลุ่มข้อมูลในแถว เช่น รูปแบบข้อมูลทั่วไป กลุ่มนี้ ข้อมูล ของคุณลงในคอลัมน์ นี้เหมาะสำหรับแบบสอบถามวิเคราะห์มากมายที่แทนการรับข้อมูลจากระเบียนที่เฉพาะเจาะจงที่คุณกำลังวิเคราะห์ความสัมพันธ์ระหว่างตัวแปรเฉพาะในบันทึกหลาย ปาร์เก้ที่ถูกออกแบบมาเพื่อเพิ่มประสิทธิภาพการจัดเก็บข้อมูล และ retriveval ในสถานการณ์เหล่านี้เมื่อสั่งเสร็จเราสามารถยืนยันว่าข้อมูลถูกนำเข้าสู่ hdfs :