In general, MapReduce breaks a larg

In general, MapReduce breaks a large computing problem into smaller
KEY-VALUE PAIRS parts by recasting it in terms of manipulation of key-value pairs. For indexing,
a key-value pair has the form (termID,docID). In distributed indexing,
the mapping from terms to termIDs is also distributed and therefore more
complex than in single-machine indexing. A simple solution is to maintain
a (perhaps precomputed) mapping for frequent terms that is copied to all
nodes and to use terms directly (instead of termIDs) for infrequent terms.
We do not address this problem here and assume that all nodes share a consistent
term →termID mapping.
MAP PHASE The map phase of MapReduce consists of mapping splits of the input data
to key-value pairs. This is the same parsing task we also encountered in BSBI
and SPIMI, and we therefore call the machines that execute the map phase
PARSER parsers. Each parser writes its output to local intermediate files, the segment
SEGMENT FILE files (shown as a-f g-p q-z in Figure 4.5).
REDUCE PHASE For the reduce phase, we want all values for a given key to be stored close
together, so that they can be read and processed quickly. This is achieved by

ผลลัพธ์ (ไทย) 1:

ทั่วไป MapReduce แบ่งปัญหาระบบคอมพิวเตอร์ขนาดใหญ่เป็นขนาดเล็กส่วนคู่ค่าคีย์ โดย recasting ในการจับคู่ค่าคีย์ สำหรับการทำดัชนีคู่ค่าคีย์มีรูปแบบ (termID, docID) ในการแจกจ่ายทำดัชนีนอกจากนี้ยังกระจายการแมปจากเงื่อนไขการ termIDs และอื่น ๆ ดังนั้นความซับซ้อนมากกว่าในเครื่องเดี่ยวดัชนี แก้ปัญหาคือการ รักษาแม็ปสำหรับเงื่อนไขบ่อย (อาจจะ precomputed) ที่ถูกคัดลอกไปทั้งหมดโหน และใช้เงื่อนไขโดยตรง (แทน termIDs) สำหรับเงื่อนไขไม่เราไม่แก้ไขปัญหานี้ และสมมติว่า โหนทั้งหมดร่วมกันที่สอดคล้องกันการแมป →termID ระยะแผนที่ระยะระยะแผนที่ของ MapReduce ประกอบด้วยแยกการแม็ปข้อมูลป้อนเข้าการจับคู่ค่าคีย์ นี่คืองานแยกวิเคราะห์เดียวกันนอกจากนี้เรายังพบเห็นใน BSBISPIMI และเราจึงเรียกเครื่องที่ดำเนินการระยะแผนที่ตัวแยกวิเคราะห์ parsers แต่ละตัวแยกวิเคราะห์เขียนผลลัพธ์แฟ้มกลางท้องถิ่น เซ็กเมนต์แฟ้มแฟ้มเซ็กเมนต์ (แสดงเป็น z q เป็น f g-p ในรูปที่ 4.5)ลดขั้นตอนลดระยะ เราต้องค่าทั้งหมดสำหรับคีย์ที่กำหนดเก็บปิดกัน เพื่อให้พวกเขาสามารถอ่าน และประมวลผลได้อย่างรวดเร็ว นี้สามารถทำได้โดย

ผลลัพธ์ (ไทย) 2:

โดยทั่วไปแบ่ง MapReduce ปัญหาคอมพิวเตอร์ที่มีขนาดใหญ่เป็นขนาดเล็ก
ส่วน key-value pairs โดยแต่งมันในแง่ของการจัดการของคู่ค่าคีย์ สำหรับการจัดทำดัชนี
คู่ค่าคีย์มีรูปแบบ (termID, docid) ในการจัดทำดัชนีการกระจายการ
ทำแผนที่จากข้อตกลงที่จะมีการกระจาย termIDs และดังนั้นจึงยังมีมากขึ้น
ซับซ้อนกว่าในการจัดทำดัชนีเครื่องเดียว วิธีง่ายๆคือการรักษา
(precomputed อาจ) การทำแผนที่สำหรับคำที่ใช้บ่อยจะถูกคัดลอกไปยังทุก
โหนดและใช้คำโดยตรง (แทน termIDs) สำหรับคำที่ไม่บ่อยนัก.
เราไม่ได้แก้ไขปัญหานี้ที่นี่และคิดว่าทุกโหนดแบ่งปันสอดคล้อง
ระยะ→ termID ทำแผนที่.
แผนที่เฟสเฟสแผนที่ MapReduce ประกอบด้วยแยกการทำแผนที่ของข้อมูลเข้า
คู่ค่าคีย์ นี่คืองานที่แยกเดียวกันเรายังพบใน BSBI
และ SPIMI และเราจึงเรียกเครื่องที่รันแผนที่เฟส
parser parsers แยกวิเคราะห์แต่ละเขียนผลลัพธ์ในการไฟล์กลางท้องถิ่นส่วน
ไฟล์ส่วนไฟล์ (แสดงเป็น QZ GP af ในรูปที่ 4.5).
ลด PHASE สำหรับขั้นตอนการลดค่าที่เราต้องการทั้งหมดสำหรับคีย์ที่กำหนดจะถูกเก็บไว้ใกล้
กันเพื่อให้พวกเขา สามารถอ่านและประมวลผลได้อย่างรวดเร็ว นี้จะทำได้โดย

ผลลัพธ์ (ไทย) 3:

โดยทั่วไป mapreduce แบ่งปัญหาคอมพิวเตอร์ขนาดใหญ่เป็นขนาดเล็ก
key-value คู่ส่วนโดยการเปลี่ยนรูปใหม่ในแง่ของการจัดการของคู่ค่าคีย์ สำหรับดัชนี
คู่ค่าคีย์มีรูปแบบ ( termid docid , ) ในการกระจาย
แผนที่จากเงื่อนไขการ termids ยังกระจายและดังนั้นจึงมากขึ้นซับซ้อนกว่าการ
ในเครื่องเดียว โซลูชั่นที่ง่ายคือการรักษา
( บางที precomputed ) แผนที่บ่อยแง่ที่คัดลอกทั้งหมด
โหนดและใช้เงื่อนไขโดยตรง ( แทน termids ) สำหรับเงื่อนไข infrequent .
เราไม่แก้ไขปัญหานี้และคิดว่าทุกโหนดที่สอดคล้องเงื่อนไข→ keyboard - key - name termid แบ่งปัน

แผนที่แผนที่แผนที่ ระยะระยะของ mapreduce ประกอบด้วยแผนที่แยกออก ของข้อมูล
คู่ค่าคีย์นี่ก็เหมือนกัน เรายังพบในงานวิเคราะห์และ bsbi
spimi และดังนั้นเราจึงเรียกเครื่องที่รันแผนที่เฟส
parser parsers . สำหรับการแสดงผลของแต่ละเขียนไฟล์กลางท้องถิ่นแฟ้มส่วน
ส่วน ( ดังแสดงในรูปที่ 5 g-p Q-Z A-F )
ลดระยะเพื่อลดระยะที่เราต้องการค่าทั้งหมดเพื่อให้คีย์จะถูกเก็บไว้ปิด
ด้วยกันเพื่อให้พวกเขาสามารถอ่านและประมวลผลได้อย่างรวดเร็ว นี่คือความโดย