partitioned index (which can be eas

partitioned index (which can be easily generated from a term-partitioned
index). We discuss this topic further in Section 20.3 (page 454).
The distributed index constructionmethod we describe in this section is an
application of MapReduce, a general architecture for distributed MAPREDUCE computing.
MapReduce is designed for large computer clusters. The point of a cluster is
to solve large computing problems on cheap commodity machines or nodes
that are built fromstandard parts (processor,memory, disk) as opposed to on
a supercomputer with specialized hardware. Although hundreds or thousands
of machines are available in such clusters, individual machines can
fail at any time. One requirement for robust distributed indexing is, therefore,
that we divide the work up into chunks that we can easily assign and
MASTER NODE – in case of failure – reassign. A master node directs the process of assigning
and reassigning tasks to individual worker nodes.
The map and reduce phases of MapReduce split up the computing job
into chunks that standard machines can process in a short time. The various
steps of MapReduce are shown in Figure 4.5 and an example on a collection
consisting of two documents is shown in Figure 4.6. First, the input data,
SPLITS in our case a collection of web pages, are split into n splits where the size of
the split is chosen to ensure that the work can be distributed evenly (chunks
should not be too large) and efficiently (the total number of chunks we need
to manage should not be too large); 16 or 64MB are good sizes in distributed
indexing. Splits are not preassigned to machines, but are instead assigned
by the master node on an ongoing basis: As a machine finishes processing
one split, it is assigned the next one. If a machine dies or becomes a laggard
due to hardware problems, the split it is working on is simply reassigned to
another machine.

ผลลัพธ์ (ไทย) 1:

ดัชนี partitioned (ซึ่งสามารถได้อย่างง่ายดายสร้างจากเป็นระยะแบ่งพาร์ติชันดัชนี) เราหารือหัวข้อนี้เพิ่มเติมในส่วน 20.3 (หน้า 454)Constructionmethod กระจายดัชนีที่เราอธิบายในส่วนนี้เป็นการประยุกต์ MapReduce สถาปัตยกรรมทั่วไปสำหรับคอมพิวเตอร์ MAPREDUCE กระจายMapReduce ถูกออกแบบมาสำหรับคลัสเตอร์คอมพิวเตอร์ขนาดใหญ่ จุดของคลัสเตอร์แก้ปัญหาระบบคอมพิวเตอร์ขนาดใหญ่เครื่องชุดสินค้าราคาประหยัดหรือโหนที่จะสร้างชิ้นส่วน fromstandard (ตัวประมวลผล หน่วยความจำ ดิสก์) ซึ่งตรงกันข้ามการบนซูเปอร์คอมพิวเตอร์ฮาร์ดแวร์เฉพาะ แม้ว่าหลายร้อยหรือพันเครื่องจักรที่มีอยู่ในคลัสเตอร์ดังกล่าว แต่ละเครื่องสามารถล้มเหลวตลอดเวลา หนึ่งความต้องการสำหรับดัชนีกระจายแข็งแกร่ง ดังนั้น จึงเป็นว่า เราแบ่งงานเป็นก้อนที่เราสามารถกำหนด และโหนหลัก – ในกรณีของความล้มเหลว – มอบหมาย โหนหลักกำหนดกระบวนการในการกำหนดและกำหนดงานให้ผู้ปฏิบัติงานแต่ละโหนแผนที่ และลดขั้นตอนของ MapReduce แบ่งงานคอมพิวเตอร์เป็นก้อนที่มาตรฐานเครื่องสามารถประมวลผลในเวลาอันสั้น ต่าง ๆขั้นตอนของ MapReduce แสดงในรูปที่ 4.5 ตัวอย่างในคอลเลกชันประกอบด้วยสองเอกสารจะแสดงในรูป 4.6 แรก ข้อมูลที่ป้อนเข้าแยกในกรณีที่เก็บเว็บเพจ มีแบ่งเป็น n แบ่งขนาดของแบ่งเพื่อให้แน่ใจว่า สามารถกระจายการทำงานเท่า ๆ กัน (ก้อนไม่ควรใหญ่เกินไป) และมีประสิทธิภาพ (จำนวนก้อนที่เราต้องการการจัดการไม่ควรใหญ่เกินไป); 16 หรือ 64 MB เป็นขนาดที่ดีในการกระจายการจัดทำดัชนี แยกไม่ได้ preassigned กับเครื่อง แต่ได้รับมอบหมายแทนโดยโหนหลักอย่างต่อเนื่อง: เป็นเสร็จสิ้นเครื่องจักรการประมวลผลแยกหนึ่ง มันถูกกำหนดถัดไป ถ้าเครื่องตาย หรือกลายเป็น laggardเนื่องจากปัญหาเกี่ยวกับฮาร์ดแวร์ แยกการทำงานบนเป็นเพียงกำหนดให้เครื่องอื่น

ผลลัพธ์ (ไทย) 2:

ดัชนีแบ่งพาร์ติชัน (ซึ่งสามารถสร้างขึ้นได้อย่างง่ายดายจากระยะแบ่งพาร์ติชัน
ดัชนี) เราจะหารือเรื่องนี้ต่อไปในมาตรา 20.3 (หน้า 454).
ดัชนีการกระจาย constructionmethod เราจะอธิบายในส่วนนี้คือ
การประยุกต์ใช้ MapReduce, สถาปัตยกรรมทั่วไปสำหรับการประมวลผล MapReduce กระจาย.
MapReduce ถูกออกแบบมาสำหรับกลุ่มคอมพิวเตอร์ขนาดใหญ่ จุดของกลุ่มคือ
การแก้ปัญหาคอมพิวเตอร์ขนาดใหญ่บนเครื่องสินค้าราคาถูกหรือโหนด
ที่ถูกสร้างขึ้นส่วน fromstandard (หน่วยประมวลผลหน่วยความจำดิสก์) เมื่อเทียบกับใน
ซูเปอร์คอมพิวเตอร์ที่มีฮาร์ดแวร์เฉพาะ แม้ว่าหลายร้อยหรือหลายพัน
เครื่องที่มีอยู่ในกลุ่มดังกล่าวเครื่องแต่ละเครื่องสามารถ
ล้มเหลวในเวลาใดก็ได้ หนึ่งในความต้องการที่แข็งแกร่งสำหรับการทำดัชนีการกระจายจึง
ว่าเราแบ่งการทำงานขึ้นมาเป็นชิ้นที่เราสามารถกำหนดและ
NODE MASTER - ในกรณีของความล้มเหลว - กำหนด โหนดหลักชี้นำกระบวนการของการกำหนด
และงานที่กำหนดใหม่ไปยังโหนดคนงานของแต่ละบุคคล.
แผนที่และลดขั้นตอนของ MapReduce แยกงานคอมพิวเตอร์
เป็นชิ้นมาตรฐานว่าเครื่องสามารถประมวลผลได้ในเวลาอันสั้น ต่างๆ
ตามขั้นตอนของ MapReduce จะแสดงในรูปที่ 4.5 และตัวอย่างในคอลเลกชัน
ที่ประกอบด้วยสองเอกสารแสดงในรูปที่ 4.6 ขั้นแรกให้ป้อนข้อมูลที่
แยกในกรณีของเราคอลเลกชันของหน้าเว็บจะถูกแบ่งออกเป็น n ที่แยกขนาดของ
แยกถูกเลือกเพื่อให้แน่ใจว่าการทำงานที่สามารถกระจาย (ชิ้น
ไม่ควรมีขนาดใหญ่เกินไป) และมีประสิทธิภาพ ( จำนวนชิ้นที่เราต้องการ
ในการจัดการไม่ควรจะมีขนาดใหญ่เกินไป); 16 หรือ 64 เป็นขนาดที่ดีในการกระจาย
การจัดทำดัชนี แยกไม่ได้ preassigned เครื่อง แต่ที่ได้รับมอบหมายแทน
โดยโหนดหลักอย่างต่อเนื่อง: เป็นเครื่องประมวลผลเสร็จสิ้น
หนึ่งแยกมันได้รับมอบหมายต่อไป ถ้าเครื่องตายหรือกลายเป็นล้าหลัง
เนื่องจากปัญหาฮาร์ดแวร์แยกมันเป็นคนที่ทำงานมีการกำหนดเพียงเพื่อ
เครื่องอื่น

ผลลัพธ์ (ไทย) 3:

โดยเฉพาะดัชนี ( ซึ่งสามารถสร้างขึ้นได้อย่างง่ายดายจากระยะกั้น
ดัชนี ) เราได้กล่าวถึงหัวข้อนี้เพิ่มเติมในส่วน 20.3 ( หน้า 208 ) .
กระจายดัชนี constructionmethod เราอธิบายในส่วนนี้คือการ mapreduce
, สถาปัตยกรรมทั่วไปสำหรับคอมพิวเตอร์ mapreduce กระจาย .
mapreduce ถูกออกแบบมาสำหรับกลุ่มคอมพิวเตอร์ขนาดใหญ่ จุดของกลุ่มคือ
แก้ปัญหาคอมพิวเตอร์ขนาดใหญ่ในเครื่องสินค้าราคาถูกหรือโหนด
ที่สร้างชิ้นส่วน fromstandard ( หน่วยประมวลผล , หน่วยความจำ , ดิสก์ ) เป็นนอกคอกใน
ซูเปอร์คอมพิวเตอร์กับฮาร์ดแวร์เฉพาะ แม้ว่าหลายร้อยหรือหลายพันของเครื่องจักรที่มีอยู่ในนั้น

เครื่องแต่ละกลุ่มสามารถล้มเหลวในเวลาใด ๆ หนึ่งในความต้องการที่แข็งแกร่งสำหรับการกระจายจึง
ที่เราแบ่งงานเป็นชิ้นที่เราสามารถกำหนดและ
อาจารย์ปม–ในกรณีที่มอบหมายและความล้มเหลว อาจารย์โนดากระบวนการมอบหมายงานให้แต่ละคน และ reassigning
, .
แผนที่และลดระยะของ mapreduce แบ่งคอมพิวเตอร์งาน
เป็นชิ้นที่เครื่องมาตรฐานสามารถประมวลผลได้ในเวลาอันสั้น ขั้นตอนต่าง ๆของ mapreduce
แสดงในรูปที่ 45 ตัวอย่างคอลเลกชัน
ประกอบด้วยสองเอกสารที่แสดงไว้ในรูปที่ 4.6 . แรก , ข้อมูล input
แยกในกรณีของเราคอลเลกชันของหน้าเว็บจะแบ่งออกเป็น N แยกที่ขนาด
แยกเป็นเลือกเพื่อให้แน่ใจว่าการทำงานสามารถกระจาย ( ชิ้น
ไม่ควรมีขนาดใหญ่เกินไป ) และมีประสิทธิภาพ ( จำนวนชิ้นที่เราต้องการ
การจัดการไม่ควร มีขนาดใหญ่เกินไป )มีขนาด 16 หรือ 64 ดี
ดัชนีการกระจาย แยกไม่ preassigned กับเครื่องจักร แต่แทนที่จะได้รับมอบหมาย
โดยเจ้านายโหนดบนพื้นฐานอย่างต่อเนื่อง : เป็นเครื่องเสร็จสิ้นการประมวลผล
หนึ่งแยกเป็นกำหนดต่อไป ถ้าเครื่องตายหรือกลายเป็นล้าหลัง
เนื่องจากปัญหาฮาร์ดแวร์ แบ่งกันทำงานเป็นเพียงไป
เครื่องอื่น