We make two adjustments for this ta

We make two adjustments for this task in order to make processing easier in Hadoop. First, we allow the aggregate to include
self-references, as it is non-trivial for a Map function to discover
the name of the input file it is processing. Second, on each node
we concatenate the HTML documents into larger files when storing
them in HDFS. We found this improved Hadoop’s performance by
a factor of two and helped avoid memory issues with the central
HDFS master when a large number of files are stored in the system.

ผลลัพธ์ (ไทย) 1:

เราทำการปรับปรุงที่ 2 สำหรับงานนี้เพื่อให้ง่ายต่อการประมวลผลในอย่างไร Hadoop ครั้งแรก เราให้รวมรวมตนเองอ้างอิงถึง ก็ไม่ใช่เล็กน้อยสำหรับฟังก์ชันแผนที่ได้ชื่อของแฟ้มการป้อนข้อมูลที่กำลังประมวลผล บนแต่ละโหนที่สองเรานำเอกสาร HTML ไปยังแฟ้มมีขนาดใหญ่เมื่อจัดเก็บพวกเขาได้ใน HDFS เราพบนี้ดีอย่างไร Hadoop ของประสิทธิภาพโดยคูณสอง และช่วยหลีกเลี่ยงปัญหาหน่วยความจำกับเซ็นทรัลHDFS หลักจำนวนมากของไฟล์จะถูกเก็บไว้ในระบบ

ผลลัพธ์ (ไทย) 2:

เราทำให้ทั้งสองปรับเปลี่ยนงานในคำสั่งนี้จะทำให้การประมวลผลง่ายขึ้นใน Hadoop ครั้งแรกที่เราอนุญาตให้รวมที่จะรวมถึงการอ้างอิงตัวเองมันเป็นที่ไม่น่ารำคาญสำหรับฟังก์ชั่นแผนที่ที่จะค้นพบชื่อของแฟ้มข้อมูลจะถูกประมวลผล ประการที่สองในแต่ละโหนดเราเชื่อมเอกสาร HTML เป็นไฟล์ขนาดใหญ่เมื่อเก็บไว้ในHDFS เราพบนี้การปรับปรุงประสิทธิภาพการทำงานของ Hadoop โดยปัจจัยของทั้งสองและช่วยหลีกเลี่ยงปัญหากับหน่วยความจำกลางต้นแบบHDFS เมื่อเป็นจำนวนมากของไฟล์จะถูกเก็บไว้ในระบบ

ผลลัพธ์ (ไทย) 3:

เราทำสองการปรับเปลี่ยนสำหรับงานนี้เพื่อให้กระบวนการง่ายขึ้นใน Hadoop . ก่อนอื่น เราอนุญาตให้รวมรวม
ตนเองอ้างอิง มันไม่ไร้สาระสำหรับแผนที่ฟังก์ชันค้นพบ
ชื่อของแฟ้มใส่มันคือการประมวลผล ประการที่สองในแต่ละโหนด
เรา concatenate HTML เอกสารลงในไฟล์ขนาดใหญ่เมื่อเก็บ
พวกเขาใน hdfs . เราพบการทำงานโดย Hadoop
โดยปัจจัยที่สองและช่วยหลีกเลี่ยงปัญหากับหน่วยความจำหลัก hdfs กลาง
เมื่อตัวเลขขนาดใหญ่ของไฟล์จะถูกเก็บไว้ในระบบ