Parsers and inverters are not separ

Parsers and inverters are not separate sets of machines. The master identifies
idle machines and assigns tasks to them. The same machine can be a
parser in the map phase and an inverter in the reduce phase. And there are
often other jobs that run in parallel with index construction, so in between
being a parser and an inverter a machine might do some crawling or another
unrelated task.
Tominimizewrite times before inverters reduce the data, each parserwrites
its segment files to its local disk. In the reduce phase, the master communicates
to an inverter the locations of the relevant segment files (e.g., of the r
segment files of the a–f partition). Each segment file only requires one sequential
read because all data relevant to a particular inverter were written
to a single segment file by the parser. This setup minimizes the amount of
network traffic needed during indexing.
Figure 4.6 shows the general schema of the MapReduce functions. Input
and output are often lists of key-value pairs themselves, so that several
MapReduce jobs can run in sequence. In fact, this was the design of the
Google indexing system in 2004. What we describe in this section corresponds
to only one of five to ten MapReduce operations in that indexing
system. Another MapReduce operation transforms the term-partitioned index
we just created into a document-partitioned one.
MapReduce offers a robust and conceptually simple framework for implementing
index construction in a distributed environment. By providing a
semiautomatic method for splitting index construction into smaller tasks, it
can scale to almost arbitrarily large collections, given computer clusters of sufficient size.

ผลลัพธ์ (ไทย) 1:

Parsers และอินเวอร์เตอร์ไม่แยกชุดเครื่องจักร แบบระบุไม่ได้ใช้งานเครื่องจักรและกำหนดงานให้ เครื่องเดียวสามารถเป็นตัวแยกวิเคราะห์ในระยะแผนที่และมีอินเวอร์เตอร์ในลดระยะ และมีบ่อยครั้งงานอื่น ๆ ที่ทำงานไปพร้อม ๆ กับดัชนีก่อสร้าง ดังนั้นในระหว่างเป็นตัวแบ่งและตัวอินเวอร์เตอร์เครื่องอาจทำการรวบรวมข้อมูลบางอย่างหรืออีกงานไม่เกี่ยวข้องTominimizewrite ครั้งก่อนอินเวอร์เตอร์ลดข้อมูล parserwrites แต่ละแฟ้มเซ็กเมนต์ของดิสก์ภายในเครื่อง ในขั้นตอนการลด หลักการสื่อสารเพื่อเป็นเครื่องแปลงกระแสไฟฟ้าที่ตั้งของแฟ้มส่วนที่เกี่ยวข้อง (เช่น ของ rส่วนไฟล์ของพาร์ติชัน a – f) แต่ละแฟ้มเซ็กเมนต์เฉพาะต้องหนึ่งตามลำดับอ่าน เพราะเขียนข้อมูลทั้งหมดที่เกี่ยวข้องกับเครื่องแปลงกระแสไฟฟ้าโดยเฉพาะไปยังแฟ้มเซ็กเมนต์เดียวโดยตัวแยกวิเคราะห์ ตั้งค่านี้ช่วยลดจำนวนเครือข่ายที่จำเป็นในระหว่างการจัดทำดัชนีรูปที่ 4.6 แสดงแบบแผนทั่วไปของฟังก์ชัน MapReduce ป้อนข้อมูลและมักแสดงผลรายการของคู่ค่าคีย์ตัวเอง เพื่อให้หลาย ๆMapReduce งานสามารถรันตามลำดับ ในความเป็นจริง ซึ่งเป็นการออกแบบการระบบดัชนีของ Google ในปี 2004 สิ่งที่เราอธิบายในส่วนนี้สอดคล้องเพียงหนึ่งห้าถึงสิบ MapReduce การดำเนินงานในการจัดทำดัชนีที่ระบบ การดำเนินงานอื่น MapReduce แปลงดัชนีระยะกั้นเราเพิ่งสร้างลงในหนึ่งกั้นเอกสารMapReduce มีกรอบทางแนวคิดง่าย และแข็งแกร่งในการดำเนินดัชนีการก่อสร้างในสภาพแวดล้อมแบบกระจาย โดยการให้การวิธีกึ่งอัตโนมัติสำหรับการแบ่งก่อสร้างดัชนีลง มันสามารถปรับคอลเลกชันขนาดใหญ่เกือบโดย ให้คอมพิวเตอร์คลัสเตอร์ขนาดพอ

ผลลัพธ์ (ไทย) 2:

parsers และอินเวอร์เตอร์ไม่ได้แยกชุดเครื่อง ระบุต้นแบบ
เครื่องไม่ได้ใช้งานและกำหนดงานให้กับพวกเขา เครื่องเดียวกันสามารถ
แยกวิเคราะห์ในขั้นตอนการแผนที่และอินเวอร์เตอร์ในขั้นตอนการลด และมี
บ่อยครั้งที่งานอื่น ๆ ที่ทำงานในแบบคู่ขนานกับการก่อสร้างดัชนีดังนั้นในระหว่าง
การเป็นตัวแยกวิเคราะห์และอินเวอร์เตอร์เครื่องอาจทำบางคลานหรืออื่น
ที่ไม่เกี่ยวข้องกับงาน.
ครั้ง Tominimizewrite อินเวอร์เตอร์ก่อนที่จะลดข้อมูลแต่ละ parserwrites
ไฟล์ส่วนในการที่ท้องถิ่น ดิสก์ ในการลดขั้นตอนหลักในการสื่อสาร
ไปยังอินเวอร์เตอร์ตำแหน่งของไฟล์ส่วนที่เกี่ยวข้อง (เช่นของอาร์
ไฟล์ส่วนของพาร์ทิชัน-ฉ) ไฟล์แต่ละส่วนต้องใช้เพียงอย่างใดอย่างหนึ่งตามลำดับ
อ่านเพราะข้อมูลทั้งหมดที่เกี่ยวข้องกับอินเวอร์เตอร์โดยเฉพาะอย่างยิ่งถูกเขียน
ไปยังแฟ้มส่วนเดียวโดยแยกวิเคราะห์ การตั้งค่านี้จะช่วยลดปริมาณการ
จราจรของเครือข่ายจำเป็นในระหว่างการจัดทำดัชนี.
รูปที่ 4.6 แสดงให้เห็นคีทั่วไปของฟังก์ชั่น MapReduce การป้อนข้อมูล
และการส่งออกมักจะแสดงคู่ค่าคีย์ตัวเองเพื่อให้หลาย
งาน MapReduce สามารถทำงานในลำดับ ในความเป็นจริงนี้คือการออกแบบของ
ระบบการจัดทำดัชนีของ Google ในปี 2004 สิ่งที่เราจะอธิบายในส่วนนี้สอดคล้อง
กับเพียงหนึ่ง 09:55 MapReduce การดำเนินงานในการสร้างดัชนีที่
ระบบ การดำเนินงาน MapReduce อีกแปลงดัชนีระยะแบ่งพาร์ติชัน
ที่เราเพิ่งสร้างขึ้นเป็นหนึ่งในเอกสารแบ่งพาร์ติชัน.
MapReduce มีกรอบการทำงานที่มีประสิทธิภาพและง่ายแนวคิดสำหรับการดำเนินการ
ก่อสร้างดัชนีในสภาพแวดล้อมที่มีการกระจาย โดยการให้
วิธีกึ่งอัตโนมัติสำหรับการก่อสร้างดัชนีแยกเป็นงานขนาดเล็กก็
สามารถปรับขนาดได้เกือบทุกคอลเลกชันขนาดใหญ่โดยพลการให้กลุ่มคอมพิวเตอร์มีขนาดเพียงพอ

ผลลัพธ์ (ไทย) 3:

parsers และอินเวอร์เตอร์ไม่ได้เป็นชุดแยกของเครื่อง ต้นแบบเครื่องไม่ได้ใช้งานและมอบหมายงานระบุ
เพื่อพวกเขา เครื่องเดียวกันสามารถ
parser ในแผนที่เฟสและอินเวอร์เตอร์ในการลดระยะ และมีงานอื่น ๆที่ใช้
มักจะควบคู่ไปกับการก่อสร้างดัชนี ดังนั้นระหว่าง
เป็น parser และ Inverter เครื่องอาจทำให้บางคลานหรืองานกันอีก

tominimizewrite ครั้ง เครื่องแปลงกระแสไฟฟ้าลดข้อมูลในแต่ละส่วนของ parserwrites
ไฟล์ไปยังดิสก์ท้องถิ่น ในการลดระยะ อาจารย์ติดต่อ
กับอินเวอร์เตอร์ที่ตั้งไฟล์ส่วนที่เกี่ยวข้อง ( เช่น ไฟล์ R
ส่วนของ A ) F . ) ส่วนที่ต้องใช้เพียงหนึ่งไฟล์แต่ละลำดับ
อ่านเพราะข้อมูลที่เกี่ยวข้องกับอินเวอร์เตอร์โดยเฉพาะ ทั้งหมดถูกเขียน
เป็นแฟ้มส่วนเดียวโดย parser . การตั้งค่านี้จะช่วยลดปริมาณการจราจรของเครือข่ายที่จำเป็นในระหว่างการ
.
รูปที่ 4.6 แสดงรูปแบบทั่วไปของ mapreduce ฟังก์ชัน ใส่
และผลผลิตมักรายการของค่าคีย์คู่ตัวเอง เพื่อให้งาน mapreduce หลาย
สามารถเรียกใช้ในลำดับ ในความเป็นจริงนี้คือการออกแบบระบบดัชนี Google
ในปี 2004สิ่งที่เราอธิบายในส่วนนี้สอดคล้อง
จะมีเพียงหนึ่งในห้าถึงสิบ mapreduce การดำเนินการในระบบดัชนี

อีก mapreduce ปฏิบัติการแปลงระยะแบ่งดัชนี
เราเพิ่งสร้างลงในเอกสารแยกหนึ่ง .
mapreduce มีประสิทธิภาพและง่ายสำหรับการสร้างกรอบแนวคิดในการกระจาย
ดัชนีสิ่งแวดล้อม โดยการให้
กึ่งอัตโนมัติแบบแยกการก่อสร้างดัชนีลงในงานขนาดเล็ก ,
) เกือบโดยพลการ คอลเลกชันที่มีขนาดใหญ่ ให้กลุ่มคอมพิวเตอร์ที่มีขนาดเพียงพอ