partitioning the keys into j term p

partitioning the keys into j term partitions and having the parsers write keyvalue
pairs for each term partition into a separate segment file. In Figure 4.5,
the term partitions are according to first letter: a–f, g–p, q–z, and j = 3. (We
chose these key ranges for ease of exposition. In general, key ranges need not
correspond to contiguous terms or termIDs.) The term partitions are defined
by the person who operates the indexing system (Exercise 4.10). The parsers
then write corresponding segment files, one for each term partition. Each
term partition thus corresponds to r segments files, where r is the number
of parsers. For instance, Figure 4.5 shows three a–f segment files of the a–f
partition, corresponding to the three parsers shown in the figure.
Collecting all values (here: docIDs) for a given key (here: termID) into one
INVERTER list is the task of the inverters in the reduce phase. The master assigns each
term partition to a different inverter – and, as in the case of parsers, reassigns
term partitions in case of failing or slow inverters. Each term partition
(corresponding to r segment files, one on each parser) is processed by one inverter.
We assume here that segment files are of a size that a single machine
can handle (Exercise 4.9). Finally, the list of values is sorted for each key and
written to the final sorted postings list (“postings” in the figure). (Note that
postings in Figure 4.6 include term frequencies, whereas each posting in the
other sections of this chapter is simply a docID without term frequency information.)
The data flow is shown for a–f in Figure 4.5. This completes the
construction of the inverted index.

ผลลัพธ์ (ไทย) 1:

พาร์ทิชันแป้นเป็นเจระยะพาร์ทิชัน และมี parsers ที่เขียน keyvalueคู่สำหรับพาร์ติชันแต่ละระยะเป็นแฟ้มแยกเซ็กเมนต์ ในรูปที่ 4.5พาร์ติชันระยะตามอักษรตัวแรก: a – f, g-p, q-z และ j = 3 (เราเลือกช่วงเหล่านี้สำคัญสำหรับความง่ายในการแสดงออก ทั่วไป ช่วงสำคัญต้องไม่สอดคล้องกับเงื่อนไขที่อยู่ติดกันหรือ termIDs) พาร์ติชันระยะไว้โดยผู้ที่ทำงานระบบดัชนี (แบบฝึกหัด 4.10) Parsers ที่แล้ว เขียนตรงส่วนแฟ้ม หนึ่งสำหรับแต่ละพาร์ติชันระยะ แต่ละพาร์ติชันระยะจึงตรงกับ r ส่วนแฟ้ม ซึ่งจะเป็นหมายเลขของ parsers ตัวอย่าง รูป 4.5 แสดงสามแฟ้มเซ็กเมนต์ a – f ที่ a – fพาร์ ที่สอดคล้องกับ parsers สามที่แสดงในรูปเก็บค่าทั้งหมด (ที่นี่: docIDs) สำหรับคีย์ที่กำหนด (ที่นี่: termID) เป็นหนึ่งรายการเครื่องแปลงกระแสไฟฟ้าเป็นงานของอินเวอร์เตอร์ที่ในขั้นตอนการลด หลักการกำหนดแต่ละพาร์ติชันระยะเครื่องแปลงกระแส ไฟฟ้าต่าง ๆ – การ เช่น ในกรณีของ parsers กำหนดระยะกั้นในกรณีที่เกิดความล้มเหลว หรือทำให้ช้าลงอินเวอร์เตอร์ พาร์ติชันแต่ละระยะ(ตรงกับ r ส่วนแฟ้ม หนึ่งในแต่ละตัวแยกวิเคราะห์) จะประมวลผล โดยอินเวอร์เตอร์หนึ่งเราสมมตินี่ว่า แฟ้มเซ็กเมนต์เป็นขนาดที่เครื่องเดียวสามารถจัดการ (4.9 ออกกำลังกาย) สุดท้าย การเรียงลำดับรายการของค่าสำหรับคีย์แต่ละ และเขียนรายการลงเรียงลำดับสุดท้าย ("บัญชี" ในภาพ) (หมายเหตุว่าลงรายการบัญชีในรูป 4.6 รวมระยะความถี่ ในขณะที่ลงรายการบัญชีในการส่วนอื่น ๆ ของบทนี้เป็นเพียง docID โดยไม่มีระยะความถี่ของข้อมูล)A – f ในรูป 4.5 แสดงการไหลของข้อมูล เสร็จสิ้นการสร้างดัชนีกลับ

ผลลัพธ์ (ไทย) 2:

แบ่งปุ่มออกเป็นเจพาร์ทิชันและมีระยะ parsers เขียน KeyValue
คู่สำหรับแต่ละพาร์ติชันระยะเป็นไฟล์ส่วนที่แยกต่างหาก ในรูปที่ 4.5
พาร์ทิชันระยะเป็นไปตามตัวอักษรตัวแรก:-F, G-p, q-Z และเจ = 3 (เรา
. เลือกช่วงที่สำคัญเหล่านี้เพื่อความสะดวกในการแสดงออกโดยทั่วไปช่วงที่สำคัญไม่จำเป็นต้อง
สอดคล้องกับ แง่ที่ต่อเนื่องกันหรือ termIDs.) พาร์ทิชันระยะที่กำหนดไว้
โดยผู้ที่ดำเนินการจัดทำดัชนีระบบ (การออกกำลังกาย 4.10) parsers
แล้วเขียนไฟล์ส่วนที่สอดคล้องกันสำหรับแต่ละพาร์ติชันระยะ แต่ละ
พาร์ทิชันระยะจึงสอดคล้องกับไฟล์ส่วน R, ที่ r คือจำนวน
ของ parsers ยกตัวอย่างเช่นรูปที่ 4.5 แสดงให้เห็นสาม-ฉไฟล์ส่วนของ-ฉ
พาร์ทิชันที่สอดคล้องกับสาม parsers แสดงในรูป.
เก็บค่าทั้งหมด (ที่นี่: docIDs) สำหรับคีย์ที่กำหนด (ที่นี่: termID) เป็นหนึ่งใน
รายชื่อ INVERTER เป็นงานของอินเวอร์เตอร์ในขั้นตอนการลด ต้นแบบที่กำหนดในแต่ละ
พาร์ทิชันยาวเพื่ออินเวอร์เตอร์ที่แตกต่างกัน - และในกรณีของ parsers, reassigns
พาร์ทิชันระยะในกรณีของความล้มเหลวหรืออินเวอร์เตอร์ช้า พาร์ทิชันแต่ละคำ
(ตรงกับอาร์ไฟล์ส่วนหนึ่งในการแยกวิเคราะห์แต่ละคน) มีการประมวลผลโดยหนึ่งอินเวอร์เตอร์.
เราถือว่านี่ส่วนไฟล์ที่มีขนาดที่เครื่องเดียว
สามารถจัดการ (การออกกำลังกาย 4.9) ในที่สุดรายการของค่าที่จะถูกจัดเรียงสำหรับแต่ละคีย์และ
เขียนไปยังโพสต์เรียงรายการสุดท้าย ("โพสต์" ในรูป) (โปรดทราบว่า
การโพสต์ในรูปที่ 4.6 รวมถึงระยะความถี่ในขณะที่แต่ละโพสต์ใน
ส่วนอื่น ๆ ของบทนี้เป็นเพียง docid ไม่มีข้อมูลความถี่ระยะ.)
การไหลของข้อมูลจะแสดงสำหรับ-F ในรูปที่ 4.5 เสร็จสมบูรณ์
การก่อสร้างของดัชนีคว่ำ

ผลลัพธ์ (ไทย) 3:

แยกปุ่มเป็น J ระยะพาร์ทิชันและมี parsers เขียน keyvalue
คู่สำหรับแต่ละระยะพาร์ทิชันในไฟล์ส่วนที่แยกต่างหาก รูปที่ 4.5
ระยะพาร์ทิชันตามจดหมายฉบับแรก : - F , G ( p , q ) Z , J = 3 ( เรา
เลือกเหล่านี้สำคัญสำหรับช่วงง่ายของปกรณ์ โดยทั่วไปช่วงคีย์ไม่ต้องสอดคล้องกับเงื่อนไขต่อเนื่อง หรือ termids
) ระยะพาร์ทิชันจะถูกกําหนด
โดยคนที่ทำงานระบบการทำดัชนี ( ออกกำลังกาย 4.10 ) การ parsers
แล้วเขียนไฟล์ส่วนที่สอดคล้องกันหนึ่งสำหรับแต่ละเทอม ฉากกั้นห้อง แต่ละคำจึงสอดคล้องกับพาร์ทิชัน
R ส่วนไฟล์ที่ r คือจำนวนของ parsers
. ตัวอย่าง รูปที่ 4.5 แสดงสามไฟล์และ F ส่วนของ A และ F
พาร์ติชันที่ 3
parsers แสดงในรูปเก็บค่าทั้งหมด ( ที่นี่ : docids ) เพื่อให้คีย์ ( ที่นี่ : termid ) เป็นอินเวอร์เตอร์หนึ่ง
รายการงานของอินเวอร์เตอร์ในการลดระยะ เจ้านายมอบหมายแต่ละ
ในระยะพาร์ทิชันไปยังอินเวอร์เตอร์ที่แตกต่างกัน ( และในกรณีของ parsers reassigns
, ระยะพาร์ทิชันในกรณีของความล้มเหลวหรืออินเวอร์เตอร์ช้า แต่ละคำที่สอดคล้องกับแฟ้มพาร์ทิชัน
( R )หนึ่งในแต่ละ Parser ) จะถูกประมวลผลโดยหนึ่งอินเวอร์เตอร์ .
เราถือว่าที่นี่ไฟล์ส่วนของขนาดที่
เครื่องเดียวสามารถจัดการ ( ออกกำลังกาย 4.9 ) ในที่สุด รายการค่าจะเรียงสำหรับแต่ละคีย์และ
เขียนสุดท้ายเรียงประกาศรายชื่อ ( " ประกาศ " ในรูป ) ( หมายเหตุที่
โพสต์ในรูป 4.6 รวมระยะความถี่ ในขณะที่แต่ละโพสต์ใน
ส่วนอื่น ๆของบทนี้เป็นเพียง docid ไม่มีข้อมูลความถี่ . . )
การไหลของข้อมูลที่แสดงในรูป A ) F 4.5 . นี้เสร็จสมบูรณ์
การก่อสร้างของฤๅษีดัชนี