There are two ways to load data int

There are two ways to load data into Hadoop’s distributed
file system: (1) use Hadoop’s command-line file utility to upload
files stored on the local filesystem into HDFS or (2) create a custom
data loader program that writes data using Hadoop’s internal I/O
API. We did not need to alter the input data for our MR programs,
therefore we loaded the files on each node in parallel directly into
HDFS as plain text using the command-line utility. Storing the data
in this manner enables MR programs to access data using Hadoop’s
TextInputFormat data format, where the keys are line numbers in each file and their corresponding values are the contents of
each line. We found that this approach yielded the best performance
in both the loading process and task execution, as opposed to using
Hadoop’s serialized data formats or compression features.

ผลลัพธ์ (ไทย) 1:

มีสองวิธีโหลดข้อมูลเป็นอย่างไร Hadoop ของกระจายแฟ้มระบบ: โปรแกรมอรรถประโยชน์บรรทัดคำสั่งแฟ้ม (1) ใช้อย่างไร Hadoop เพื่ออัปโหลดแฟ้มที่เก็บอยู่บนระบบแฟ้มภายในเครื่อง HDFS หรือ (2) สร้างโปรแกรมโหลดข้อมูลที่เขียนข้อมูลที่ใช้ I/O ภายในเป็นอย่างไร HadoopAPI เราไม่ต้องการเปลี่ยนข้อมูลที่ป้อนเข้าในโปรแกรมของเรานายดังนั้น เราโหลดไฟล์บนโหนแต่ละขนานลงHDFS เป็นข้อความล้วนโดยใช้โปรแกรมอรรถประโยชน์บรรทัดคำสั่ง จัดเก็บข้อมูลในลักษณะนี้ช่วยให้โปรแกรมของนายเพื่อเข้าถึงข้อมูลที่ใช้เป็นอย่างไร Hadoopรูปแบบข้อมูล TextInputFormat ที่แป้นหมายเลขบรรทัดในแต่ละไฟล์ และค่าที่เกี่ยวข้อง เนื้อหาของแต่ละบรรทัด เราพบว่า วิธีนี้ให้ผลที่สุดในการโหลดทั้งกระบวนการและภารกิจการดำเนินการ จำกัดการใช้อย่างไร Hadoop ของทำอนุกรมข้อมูลรูปแบบหรือคุณลักษณะการบีบอัด

ผลลัพธ์ (ไทย) 2:

มีสองวิธีในการโหลดข้อมูลลงในกระจาย Hadoop
เป็นระบบไฟล์: (1) การใช้ประโยชน์ไฟล์บรรทัดคำสั่ง Hadoop
เพื่ออัปโหลดไฟล์ที่เก็บไว้ในระบบแฟ้มท้องถิ่นเข้าHDFS หรือ (2)
สร้างที่กำหนดเองโปรแกรมการตักข้อมูลที่เขียนข้อมูลโดยใช้ฉันภายในHadoop ของ / O
API เราไม่ได้ต้องการที่จะปรับเปลี่ยนการป้อนข้อมูลสำหรับโปรแกรม MR
ของเราดังนั้นเราโหลดไฟล์ในแต่ละโหนดในแบบคู่ขนานโดยตรงใน
HDFS เป็นข้อความธรรมดาใช้อรรถประโยชน์บรรทัดคำสั่ง การจัดเก็บข้อมูลในลักษณะนี้จะช่วยให้โปรแกรม MR ในการเข้าถึงข้อมูลโดยใช้ Hadoop ของรูปแบบข้อมูลTextInputFormat ที่คีย์มีหมายเลขบรรทัดในแต่ละไฟล์และค่าที่สอดคล้องกันของพวกเขามีเนื้อหาของแต่ละบรรทัด เราพบว่าวิธีนี้ให้ผลการดำเนินงานที่ดีที่สุดทั้งในขั้นตอนการโหลดและการดำเนินงานเมื่อเทียบกับการใช้รูปแบบข้อมูลที่ต่อเนื่องHadoop หรือคุณสมบัติการบีบอัด

ผลลัพธ์ (ไทย) 3:

มีสองวิธีในการโหลดข้อมูลลง Hadoop จัดจำหน่าย
แฟ้มระบบ ( 1 ) ใช้ Hadoop เป็นบรรทัดคำสั่งยูทิลิตี้ไฟล์อัปโหลด
ไฟล์เก็บไว้ในท้องถิ่นระบบแฟ้มใน hdfs หรือ ( 2 ) การสร้างข้อมูลที่กำหนดเองโปรแกรมที่เขียนข้อมูล
โหลดใช้ Hadoop ภายใน I / O
API เราไม่ได้ต้องการเปลี่ยนแปลงข้อมูลการป้อนข้อมูลสำหรับโปรแกรมคุณของเรา
ดังนั้นเราโหลดไฟล์ในแต่ละโหนดในแบบขนานโดยตรงใน
hdfs เป็นข้อความธรรมดาโดยใช้บรรทัดคำสั่งยูทิลิตี้ การจัดเก็บข้อมูลในลักษณะนี้จะช่วยให้คุณโปรแกรม
เข้าถึงข้อมูลโดยใช้ Hadoop เป็น
textinputformat รูปแบบข้อมูลที่คีย์เป็นหมายเลขบรรทัดในแต่ละไฟล์และค่านิยมที่สอดคล้องกันของพวกเขามีเนื้อหา
แต่ละบรรทัด เราพบว่าวิธีนี้ให้ค่า
ประสิทธิภาพที่ดีที่สุดทั้งในขั้นตอนการโหลดและการดำเนินงาน เป็นนอกคอกใช้
ของรูปแบบข้อมูลแบบอนุกรม Hadoop หรือคุณลักษณะการบีบอัด