Table 5.6 shows the number of proce

Table 5.6 shows the number of processing steps required for some example
values of k. We get the best expected performance when we skip 25 documents at
a time. Notice that at this value of k, we expect to have to skip forward 12 times
in the “animal” list for each occurrence of “galago.” This is because of the cost of
linear search: a larger value of k means more elements to check in the linear search.
If we choose a binary search instead, the best value of k rises to about 208, with
about 9.2 million expected steps.
5.4 Compression 153
If binary search combined with skipping is so much more efficient, why even
consider linear search at all? The problem is compression. For binary search to
work, we need to be able to jump directly to elements in the list, but after compression, every element could take a different amount of space. In addition, delta
encoding may be used on the document numbers, meaning that even if we could
jump to a particular location in the compressed sequence, we would need to decompress everything up to that point in order to decode the document numbers.
This is discouraging because our goal is to reduce the amount of the list we need
to process, and it seems that compression forces us to decompress the whole list.
We can solve the compression problem with a list of skip pointers. Skip pointer
lists are small additional data structures built into the index to allow us to skip
through the inverted lists efficiently.
A skip pointer (d, p) contains two parts, a document number d and a byte
(or bit) position p. This means that there is an inverted list posting that starts at
position p, and that the posting immediately before it is for document d. Notice
that this definition of the skip pointer solves both of our compression problems:
we can start decoding at position p, and since we know that d is the document
immediately preceding p, we can use it for decoding.
As a simple example, consider the following list of document numbers, uncompressed:
5, 11, 17, 21, 26, 34, 36, 37, 45, 48, 51, 52, 57, 80, 89, 91, 94, 101, 104, 119
If we delta-encode this list, we end up with a list of d-gaps like this:
5, 6, 6, 4, 5, 9, 2, 1, 8, 3, 3, 1, 5, 23, 9, 2, 3, 7, 3, 15
We can then add some skip pointers for this list, using 0-based positions (that
is, the number 5 is at position 0 in the list):
(17, 3), (34, 6), (45, 9), (52, 12), (89, 15), (101, 18)
Suppose we try decoding using the skip pointer (34, 6). We move to position
6 in the d-gaps list, which is the number 2. We add 34 to 2, to decode document
number 36.
More generally, if we want to find document number 80 in the list, we scan
the list of skip pointers until we find (52, 12) and (89, 15). 80 is larger than 52
but less than 89, so we start decoding at position 12. We find:
154 5 Ranking with Indexes
• 52 + 5 = 57
• 57 + 23 = 80
At this point, we have successfully found 80 in the list. If instead we were
searching for 85, we would again start at skip pointer (52, 12):
• 52 + 5 = 57
• 57 + 23 = 80
• 80 + 9 = 89
At this point, since 85 < 89, we would know that 85 is not in the list.
In the analysis of skip pointers for the “galago AND animal” example, the effectiveness of the skip pointers depended on the fact that “animal” was much more
common than “galago.” We found that 25 was a good value for k given this query,
but we only get to choose one value for k for all queries. The best way to choose
k is to find the best possible k for some realistic sample set of queries. For most
collections and query loads, the optimal skip distance is around 100 bytes.

ผลลัพธ์ (ไทย) 1:

ตารางที่ 5.6 แสดงหมายเลขของขั้นตอนการประมวลผลที่จำเป็นบางอย่างค่าของ k เราได้รับประสิทธิภาพที่คาดหวังที่ดีที่สุดเมื่อเราข้ามเอกสาร 25 ที่เป็นเวลา สังเกตเห็นว่า ที่ค่าของ k เราคาดว่าจะมีการข้ามไปข้างหน้า 12 ครั้งในรายการ "สัตว์" สำหรับแต่ละ "galago" นี่คือเนื่องจากต้นทุนของค้นหาเชิงเส้น: เป็นค่าที่ใหญ่กว่าของ k หมายถึง องค์ประกอบเพิ่มเติมในการค้นหาเชิงเส้นถ้าเราเลือกค้นหาแบบไบนารีที่แทน ค่าที่ดีที่สุดของ k กำลังขึ้นประมาณ 208 ด้วยประมาณ 9.2 ล้านคาดว่าขั้นตอน5.4 การบีบอัด 153ค้นหาแบบไบนารีพร้อม กัน ข้ามจึงมีประสิทธิภาพมากขึ้น แม้แต่พิจารณาค้นหาเชิงเส้นทั้งหมด ปัญหาคือ การบีบอัด สำหรับการค้นหาแบบไบนารีทำงาน เราต้องสามารถกระโดดโดยตรงกับองค์ประกอบในรายการ แต่หลังจากการบีบอัด ทุกองค์ประกอบอาจใช้เนื้อที่แตกต่างกัน นอกจากนี้ เดลต้าอาจจะใช้การเข้ารหัสหมายเลขเอกสาร หมายความ ว่า แม้ว่าเราอาจกระโดดไปยังตำแหน่งเฉพาะในลำดับการบีบอัด เราจะต้องขยายทุกอย่างจนถึงจุดที่การถอดรหัสหมายเลขเอกสารเป็นกำลังใจ เพราะเป้าหมายของเราคือการ ลดจำนวนรายการที่เราต้องการการประมวลผล และดูเหมือนว่า บีบบังคับเราการขยายรายการทั้งหมดเราสามารถแก้ปัญหาการบีบอัดรายการของตัวชี้ข้าม ชี้ข้ามคือ โครงสร้างข้อมูลขนาดเล็กเพิ่มเติมลงในดัชนีเพื่อช่วยให้เราข้ามผ่านการกลับรายการได้อย่างมีประสิทธิภาพตัวชี้ข้าม (d, p) ประกอบด้วยสองส่วน หมายเลขเอกสาร d และไบต์(หรือบิต) ตำแหน่ง p หมายความ ว่า มีการกลับรายการการลงรายการบัญชีที่ตำแหน่ง p และว่า ทันทีก่อนที่จะลงรายการบัญชีสำหรับเอกสาร d. แจ้งที่นี้ความหมายของตัวชี้ข้ามแก้ทั้งสองปัญหาของเราบีบอัด:เราสามารถเริ่มต้นการถอดรหัสที่ตำแหน่ง p และ เพราะเรารู้ดีว่า เป็นเอกสารทำการก่อน p เราสามารถใช้สำหรับการถอดรหัสได้เป็นตัวอย่างง่าย ๆ พิจารณารายการต่อไปของหมายเลขเอกสาร ไม่บีบอัด:5, 11, 17, 21, 26, 34, 36, 37, 45, 48, 51, 52, 57, 80, 89, 91, 94, 101, 104, 119ถ้าเราเดลต้าเข้ารหัสรายการนี้ เราจบลง ด้วยรายการ d-ช่องว่างเช่นนี้:5, 6, 6, 4, 5, 9, 2, 1, 8, 3, 3, 1, 5, 23, 9, 2, 3, 7, 3, 15เราสามารถเพิ่มบางข้ามตัวชี้สำหรับรายการนี้ ใช้ตำแหน่งที่ 0 (ที่คือ หมายเลข 5 อยู่ที่ตำแหน่ง 0 ในรายการ):(17, 3), (34, 6), (45, 9), (52, 12), (89, 15), (101, 18)สมมติว่า เราพยายามถอดรหัสโดยใช้ตัวชี้ข้าม (34, 6) เราย้ายไปตำแหน่ง6 ในรายการช่อง d ซึ่งเป็นหมายเลข 2 เราเพิ่ม 34-2 ถอดรหัสเอกสารหมายเลข 36โดยทั่วไป ถ้าเราต้องการค้นหาเอกสารเลข 80 ในรายการ เราสแกนรายการของตัวชี้ข้ามจนเราค้นหา (52, 12) และ (89, 15) 80 มีขนาดใหญ่กว่า 52แต่น้อยกว่า 89 ดังนั้นเราเริ่มถอดรหัสที่ตำแหน่ง 12 เราพบว่า:154 5 อันดับกับดัชนี• 52 + 5 = 57• 57 + 23 = 80ที่จุดนี้ เราได้ประสบความสำเร็จพบ 80 ในรายการ ถ้าแทน เราค้นหา 85 เราจะอีกครั้งเริ่มต้นที่ชี้ข้าม (52, 12):• 52 + 5 = 57• 57 + 23 = 80• 80 + 9 = 89ที่จุดนี้ ตั้งแต่ 85 < 89 เราจะรู้ว่า 85 ไม่ได้อยู่ในรายการในการวิเคราะห์ตัวชี้ข้ามการ " galago สัตว์และ" ตัวอย่าง ประสิทธิภาพของตัวชี้ข้ามขึ้นกับบนความจริงที่ว่า "สัตว์" ได้มากขึ้นทั่วไปกว่า "galago" เราพบว่า 25 k ได้รับแบบสอบถามนี้ คุ้มค่าแต่เราจะเลือกค่าหนึ่งสำหรับ k สำหรับแบบสอบถามทั้งหมด วิธีที่ดีที่สุดในการเลือกk คือการ หา k ได้ดีที่สุดสำหรับบางตัวอย่างจริงของแบบสอบถาม มากที่สุดคอลเลกชันและโหลดแบบสอบถาม ระยะทางข้ามที่เหมาะสมคือประมาณ 100 ไบต์

ผลลัพธ์ (ไทย) 2:

ตารางที่ 5.6 แสดงให้เห็นจำนวนของขั้นตอนการประมวลผลที่จำเป็นสำหรับบางตัวอย่าง
ค่า k เราได้รับประสิทธิภาพที่ดีที่สุดคาดว่าเมื่อเราข้าม 25 เอกสารที่
เวลา ขอให้สังเกตว่าที่ค่าของ k นี้เราคาดว่าจะมีการข้ามไปข้างหน้า 12 ครั้ง
ใน "สัตว์" รายการสำหรับการเกิดขึ้นของแต่ละนี้เป็นเพราะค่าใช้จ่ายของ "กาลาโก้."
ค้นหาเชิงเส้น: ค่าขนาดใหญ่ของ K หมายถึงองค์ประกอบอื่น ๆ อีกมากมายที่จะ ตรวจสอบในการค้นหาเชิงเส้น.
ถ้าเราเลือกการค้นหาแบบไบนารีแทนค่าที่ดีที่สุดของ K ขึ้นไปเกี่ยวกับ 208 กับ
ขั้นตอนเกี่ยวกับ 9200000 คาดว่า.
5.4 การบีบอัด 153
ถ้าการค้นหาไบนารีรวมกับการกระโดดมากมีประสิทธิภาพมากขึ้นว่าทำไมแม้
พิจารณาเชิงเส้น ค้นหาที่ทั้งหมดหรือไม่ ปัญหาคือการบีบอัด สำหรับการค้นหาไบนารี
ทำงานเราจะต้องสามารถที่จะกระโดดโดยตรงกับองค์ประกอบในรายการ แต่หลังจากการบีบอัดทุกองค์ประกอบอาจจะใช้จำนวนเงินที่แตกต่างกันของพื้นที่ นอกจากนี้เดลต้า
เข้ารหัสอาจถูกนำมาใช้ในเลขที่เอกสารที่มีความหมายว่าแม้ว่าเราจะได้
ข้ามไปยังสถานที่เฉพาะในลำดับที่ถูกบีบอัดที่เราจะต้องขยายทุกอย่างขึ้นไปยังจุดเพื่อถอดรหัสเลขที่เอกสารที่.
นี้เป็นท้อใจ เพราะเป้าหมายของเราคือการลดปริมาณของรายการที่เราจำเป็นต้องใช้
ในการประมวลผลและดูเหมือนว่าการบีบอัดที่บังคับให้เราขยายรายชื่อทั้งหมด.
เราสามารถแก้ปัญหาการบีบอัดที่มีรายชื่อของตัวชี้ข้าม ข้ามตัวชี้
รายการมีขนาดเล็กโครงสร้างข้อมูลเพิ่มเติมที่สร้างขึ้นในดัชนีเพื่อช่วยให้เราสามารถที่จะข้าม
ผ่านรายการคว่ำได้อย่างมีประสิทธิภาพ.
ตัวชี้เฮี๊ยบ (D, P) มีสองส่วนเป็นจำนวนเอกสาร D และไบต์
(หรือบิต) ตำแหน่ง P ซึ่งหมายความว่ามีการโพสต์รายการ Inverted ที่เริ่มต้นที่
ตำแหน่ง P และที่โพสต์ได้ทันทีก่อนที่มันจะเป็นเอกสาร D ขอให้สังเกต
ว่าคำนิยามของตัวชี้ข้ามนี้แก้ทั้งปัญหาการบีบอัดของเรา:
เราสามารถเริ่มต้นการถอดรหัสที่ตำแหน่ง P และเนื่องจากเรารู้ว่า D คือเอกสาร
ทันทีก่อนหน้านี้เราสามารถใช้มันสำหรับการถอดรหัส.
ในฐานะที่เป็นตัวอย่างง่ายๆพิจารณา รายการหมายเลขเอกสารไม่มีการบีบอัดต่อไปนี้:
5, 11, 17, 21, 26, 34, 36, 37, 45, 48, 51, 52, 57, 80, 89, 91, 94, 101, 104, 119
ถ้าเราเดลต้า -encode รายการนี้เราจบลงด้วยรายชื่อของ D-ช่องว่างเช่นนี้:
5, 6, 6, 4, 5, 9, 2, 1, 8, 3, 3, 1, 5, 23, 9, 2, 3, 7, 3, 15
จากนั้นเราสามารถเพิ่มตัวชี้เฮี๊ยบบางอย่างสำหรับรายการนี้ใช้ 0 ตามตำแหน่ง (นั่น
คือจำนวน 5 อยู่ที่ตำแหน่ง 0 ในรายการ):
(17, 3), (34, 6) (45, 9), (52, 12), (89, 15), (101 18)
สมมติว่าเราพยายามที่จะถอดรหัสโดยใช้ตัวชี้ข้าม (34, 6) เราย้ายไปยังตำแหน่ง
ที่ 6 ในรายการ D-ช่องว่างซึ่งเป็นหมายเลข 2 เราได้เพิ่ม 34-2, ถอดรหัสเอกสาร
จำนวน 36
มากกว่าปกติถ้าเราต้องการที่จะหาหมายเลขเอกสาร 80 ในรายการที่เราสแกน
รายชื่อของ ข้ามชี้จนกว่าเราจะพบ (52, 12) และ (89, 15) 80 มีขนาดใหญ่กว่า 52
แต่น้อยกว่า 89 ดังนั้นเราจึงเริ่มต้นการถอดรหัสที่ตำแหน่ง 12. เราพบ:
154 การจัดอันดับ 5 กับดัชนี
• 52 + 5 = 57
• 57 + 23 = 80
ณ จุดนี้เราได้พบประสบความสำเร็จ 80 ในรายการ . แต่ถ้าเราได้รับการ
ค้นหา 85 เราอีกครั้งจะเริ่มต้นที่ตัวชี้เฮี๊ยบ (52, 12):
• 52 + 5 = 57
• 57 + 23 = 80
• 80 + 9 = 89
ณ จุดนี้ตั้งแต่ 85 <89, เราจะ รู้ว่า 85 ไม่ได้อยู่ในรายการ.
ในการวิเคราะห์ของตัวชี้เฮี๊ยบสำหรับ "กาลาโก้สัตว์" ตัวอย่างเช่นประสิทธิภาพของตัวชี้ข้ามขึ้นอยู่กับความจริงที่ว่า "สัตว์" ได้มากขึ้น
กว่ากัน "กาลาโก้." เราพบว่า 25 เป็นคุ้มค่าสมกับ K ได้รับแบบสอบถามนี้
แต่เราเท่านั้นที่จะได้รับเลือกหนึ่งสำหรับค่า K สำหรับแบบสอบถามทั้งหมด วิธีที่ดีที่สุดที่จะเลือก
K คือการหา K ที่ดีที่สุดสำหรับบางชุดตัวอย่างจริงของคำสั่ง สำหรับส่วน
คอลเลกชันและโหลดแบบสอบถามระยะทางเฮี๊ยบที่ดีที่สุดคือประมาณ 100 ไบต์

ผลลัพธ์ (ไทย) 3:

ตารางที่ 5 แสดงจำนวนของขั้นตอนที่จำเป็นสำหรับบางตัวอย่างค่าของ K . เราได้คาดหวังประสิทธิภาพที่ดีที่สุดเมื่อเราข้าม 25 เอกสารเวลา สังเกตุที่ค่า K ที่เราคาดว่าจะต้องข้ามไปข้างหน้า 12 ครั้งในรายการ " สัตว์ " สำหรับแต่ละเหตุการณ์ของ " กาลา " นี้เป็นเพราะค่าใช้จ่ายของบริการค้นหา : ค่าขนาดใหญ่ของ K หมายถึงองค์ประกอบเพิ่มเติมเพื่อตรวจสอบในการค้นหาแบบเชิงเส้นถ้าเราเลือกการค้นหาแบบไบนารีแทน ค่าที่ดีที่สุดของ K เพิ่มขึ้นถึงประมาณ 208 , กับประมาณ 9.2 ล้านบาท คาดว่าขั้นตอน5.4 การบีบอัด 153ถ้าการค้นหาแบบทวิภาคร่วมกับข้ามมากมีประสิทธิภาพมากขึ้น ทำไมแม้แต่ลองค้นหาโดยตรงเลย ปัญหาคือ การบีบอัด สำหรับการค้นหาแบบทวิภาคเพื่อทำงาน เราต้องสามารถกระโดดโดยตรงกับองค์ประกอบในรายการ แต่หลังจากการบีบอัดทุกองค์ประกอบสามารถใช้ยอดเงินที่แตกต่างกันของพื้นที่ นอกจากนี้ เดลต้าอาจจะใช้ในการเข้ารหัสเอกสารตัวเลข หมายความว่าถ้าเราสามารถกระโดดไปยังตำแหน่งที่เฉพาะเจาะจงในการบีบอัดดับที่เราต้องการบีบอัด ทุกอย่างที่เกิดขึ้นที่จุดเพื่อถอดรหัสเอกสารตัวเลขนี่มันท้อใจ เพราะเป้าหมายของเราคือการลดปริมาณของรายการที่เราต้องการกระบวนการ และดูเหมือนว่าการบีบบังคับให้เราขยายรายการทั้งหมดเราสามารถแก้ปัญหาด้วยการบีบอัดรายการชี้ข้าม ข้ามตัวชี้รายการที่มีขนาดเล็กเพิ่มเติมข้อมูลโครงสร้างสร้างเป็นดัชนีที่ช่วยให้เราข้ามผ่านกลับรายการได้อย่างมีประสิทธิภาพข้ามตัวชี้ ( d , p ) ประกอบด้วยสองส่วน , เอกสารหมายเลข D และไบต์( หรือบิต ) ตำแหน่งหน้านี้หมายความว่ามีกลับรายการการโพสต์ที่เริ่มที่ตำแหน่ง P และที่โพสต์ทันที ก่อนที่จะสังเกตเห็นเอกสาร Dว่านิยามของข้ามชี้แก้ทั้งปัญหาการบีบอัดของเรา :เราสามารถเริ่มถอดรหัสที่ตำแหน่ง P และเนื่องจากเราทราบว่า มีเอกสารทันทีก่อน p เราสามารถใช้เพื่อถอดรหัสเป็น ตัวอย่างง่ายๆ พิจารณาตามเอกสารที่ไม่มีการบีบอัด : หมายเลขรายการ5 , 11 , 17 , 21 , 26 , 34 , 36 , 38 , 45 , 48 , 51 , 52 , 57 , 80 , 89 , 91 , 94 , 101 , 104 , 119ถ้าพวกเราเดลต้าเข้ารหัสรายการนี้ เราสิ้นสุดกับรายการของ d-gaps เช่นนี้ :5 , 6 , 5 , 4 , 5 , 9 , 2 , 1 , 2 , 3 , 3 , 4 , 5 , 23 , 9 , 2 , 3 , 7 , 3 , 15เราสามารถเพิ่มบางข้ามคำแนะนำสำหรับรายการนี้ 0-based ตำแหน่ง ( ที่ใช้เป็น เลข 5 อยู่ที่ตำแหน่ง 0 ในรายการ )( 17 , 3 ) , ( 34 , 6 ) , ( 45 , 9 ) , ( 52 , 12 ) ( 89 , 15 ) , ( 101 , 18 )สมมติว่าเราพยายามถอดรหัสโดยใช้ข้ามตัวชี้ ( 34 , 6 ) เราย้ายไปที่ตำแหน่ง6 ใน d-gaps รายการ ซึ่งเป็นหมายเลข 2 เราเพิ่ม 34 2 , ถอดรหัสเอกสารเลขที่ 36โดยทั่วไปแล้ว ถ้าเราต้องการค้นหาเอกสารจำนวน 80 รายการ เราสแกนรายการตัวชี้ข้าม จนกว่าเราจะเจอ ( 52 , 12 ) และ ( 1 , 15 ) 80 มีขนาดใหญ่กว่า 52แต่ยังน้อยกว่า 89 , เราเริ่มถอดรหัสที่ตำแหน่ง 12 เราพบ :154 5 อันดับด้วยดัชนี- 52 + 5 = 57- 57 + 23 = 80ณจุดนี้เราได้พบ 80 รายการ ถ้าแทนเราค้นหา 85 , เราจะเริ่มต้นอีกครั้งที่ชี้ข้าม ( 52 , 12 )- 52 + 5 = 57- 57 + 23 = 80- 80 + 9 = 89ณจุดนี้ ตั้งแต่ 85 < แล้วเราก็จะรู้ว่า 85 ไม่ได้อยู่ในรายชื่อในการวิเคราะห์ของตัวชี้ข้ามสำหรับ " กาลาและตัวอย่างสัตว์ " ประสิทธิผลของข้ามชี้ขึ้นอยู่กับความจริงที่ว่า " สัตว์ " ถูกมากบ่อยกว่า " กาลา " เราพบว่า 25 เป็นค่า K ให้แบบสอบถามนี้แต่เราต้องเลือกค่า K สำหรับแบบสอบถาม วิธีที่ดีที่สุดที่จะเลือกK คือการหาที่ดีที่สุด K บางมีเหตุผลตัวอย่างชุดแบบสอบถาม ให้มากที่สุดคอลเลกชันและสอบถามโหลด ระยะข้ามที่เหมาะสมคือประมาณ 100 ไบต์