7.2 Probabilistic ModelsOne of thef

7.2 Probabilistic Models
One of thefeatures that a retrieval model should provide is a clear statement about
the assumptions upon which it is based.The Boolean and vector space approaches
make implicit assumptions about relevance and text representation that impact
the design and effectiveness of ranking algorithms. The ideal situation would be
to show that, given the assumptions, a ranking algorithm based on the retrieval
model will achieve better effectiveness than any other approach. Such proofs are
actually very hard to come by in information retrieval, since we are trying to formalize
a complex human activity. The validity of a retrieval model generally has
to be validated empirically, rather than theoretically.
One early theoretical statement about effectiveness, known as the Probability
Ranking Principle (Robertson, 1977/1997), encouraged the development of
probabilistic retrieval models, which are the dominant paradigm today. These
models have achieved this status because probability theory is a strong foundation
for representing and manipulating the uncertainty that is an inherent partof the information retrieval process. The Probability Ranking Principle, as originally
stated, is as follows:
If a reference retrieval system’s1
response to each request is a ranking of
the documents in the collection in order of decreasing probability of relevance
to the user who submitted the request, where the probabilities are
estimated as accurately as possible on the basis of whatever data have been
made available to the system for this purpose, the overall effectiveness of
the system to its user will be the best that is obtainable on the basis of those
data.
Given some assumptions, such as that the relevance of a document to a query
is independent of other documents, it is possible to show that this statement is
true, in the sense that ranking by probability of relevance will maximize precision,
which is the proportion of relevant documents, at any given rank (for example,
in the top 10 documents). Unfortunately, the Probability Ranking Principle
doesn’t tell us how to calculate or estimate the probability of relevance. There are
many probabilistic retrieval models, and each one proposes a different method for
estimating this probability. Most of the rest of this chapter discusses some of the
most important probabilistic models.
In this section, we start with a simple probabilistic model based on treating
information retrieval as a classification problem. We then describe a popular and
effective ranking algorithm that is based on this model.
7.2.1 Information Retrieval as Classification
In any retrieval model that assumes relevance is binary, there will be two sets of
documents, the relevant documents and the non-relevant documents, for each
query. Given a new document, the task of a search engine could be described as
deciding whether the document belongs in the relevant set or the non-relevant2
set. That is, the system should classify the document as relevant or non-relevant,
and retrieve it if it is relevant.
Given some way of calculating the probability that the document is relevant
and the probability that it is non-relevant, then it would seem reasonable to classify
the document into the set that has the highest probability. In other words,
1 A “reference retrieval system” would now be called a search engine.
2 Note that we never talk about “irrelevant” documents in information retrieval; instead
they are “non-relevant.we would decide that a document D is relevant if P(R|D) > P(NR|D), where
P(R|D) is a conditional probability representing the probability of relevance
given the representation of that document, and P(NR|D) is the conditional
probability of non-relevance (Figure 7.3). This is known as the Bayes Decision
Rule, and a system that classifies documents this way is called a Bayes classifier.
In Chapter 9, we discuss other applications of classification (such as spam filtering)
and other classification techniques, but here we focus on the ranking algorithm
that results from this probabilistic retrieval model based on classification.

ผลลัพธ์ (ไทย) 1:

7.2 รุ่นน่าจะThefeatures ที่เรียกแบบจำลองควรให้อย่างใดอย่างหนึ่งคือคำสั่งที่ชัดเจนเกี่ยวกับสมมติฐานซึ่งขึ้นอยู่ วิธี Boolean และเวกเตอร์ทำให้สมมติฐานโดยนัยเกี่ยวกับความเกี่ยวข้องและข้อความแสดงผลการออกแบบและประสิทธิภาพของอัลกอริทึมการจัดอันดับ สถานการณ์เหมาะจะเป็นแสดงว่า ให้สมมติฐาน อัลกอริทึมการจัดอันดับคะแนนการเรียกคืนแบบจำลองจะได้ประสิทธิภาพดีกว่าวิธีอื่น มีหลักฐานดังกล่าวจริงมากยากจะมาโดยในการเรียกข้อมูล ตั้งแต่เราพยายาม formalizeกิจกรรมมนุษย์ที่ซับซ้อน โดยทั่วไปมีความถูกต้องของรูปแบบการเรียกมีความถูกต้องเชิงประสบการณ์ด้วย มากกว่าในทางทฤษฎีคำสั่งหนึ่งทฤษฎีแรกเกี่ยวกับประสิทธิภาพ ความน่าเป็นที่รู้จักกันหลักการจัดอันดับ (โรเบิร์ตสัน 1977/1997), ส่งเสริมการพัฒนารุ่นที่น่าจะเรียก ซึ่งเป็นกระบวนทัศน์ที่โดดเด่นวันนี้ เหล่านี้รุ่นได้รับสถานะนี้เนื่องจากทฤษฎีความน่าจะเป็นรากฐานแข็งแกร่งสำหรับแสดง และจัดการกับความไม่แน่นอนที่เป็นส่วนหนึ่งโดยธรรมชาติของกระบวนการเรียกข้อมูล ความน่าเป็นการจัดอันดับหลัก เป็นครั้งแรกระบุไว้ เป็นดังนี้:ถ้าระบบการอ้างอิง ' s1เป็นการตอบสนองการร้องขอแต่ละเอกสารในการเก็บรวบรวมในการลดความน่าเป็นความเกี่ยวข้องผู้ใช้ที่ส่งการร้องขอ ที่น่าจะอยู่ที่ไหนประมาณได้อย่างถูกต้องเป็นไปบนพื้นฐานของข้อมูลว่ามีการทำระบบพร้อมใช้งานสำหรับวัตถุประสงค์นี้ ประสิทธิภาพโดยรวมของระบบของผู้ใช้จะดีสุดที่ได้มาตามที่ข้อมูลกำหนดสมมติฐานบางอย่าง เช่นความเกี่ยวข้องของเอกสารแบบสอบถามเป็นอิสระจากเอกสารอื่น ๆ เป็นไปได้เพื่อแสดงว่า คำสั่งนี้จริง ในความรู้สึกที่จัดอันดับตามความน่าเป็นความเกี่ยวข้องจะเพิ่มความแม่นยำซึ่งมีสัดส่วนของเอกสารที่เกี่ยวข้อง ที่ระดับใด ๆ กำหนด (ตัวอย่างเช่น,ในเอกสารด้านบน 10) อับ ความน่าเป็นหลักการในการจัดอันดับไม่บอกวิธีการคำนวณ หรือประเมินความเกี่ยวข้องกัน มีหลายรุ่นน่าจะเรียก และแต่ละคนเสนอวิธีการต่าง ๆ สำหรับประมาณนี้น่าเป็น ส่วนที่เหลือของบทนี้กล่าวถึงบางตัวรุ่นที่น่าจะสำคัญที่สุดในส่วนนี้ เราเริ่มต้น ด้วยรูปแบบง่าย ๆ น่าจะอิงการรักษาการเรียกข้อมูลเป็นการจัดประเภทปัญหา เราแล้วอธิบายความนิยม และอัลกอริทึมจัดอันดับประสิทธิภาพที่อิงรูปแบบนี้7.2.1 การเรียกข้อมูลเป็นการจัดประเภทในการดึงใดๆ รุ่นสมมติเกี่ยวข้องเป็นไบนารี จะมีสองชุดเอกสาร เอกสารเกี่ยวข้อง และ เอกสารที่ไม่เกี่ยวข้อง สำหรับแต่ละการสอบถาม ได้รับเอกสารใหม่ งานของเครื่องมือค้นหาสามารถอธิบายเป็นตัดสินใจว่า เอกสารอยู่ในชุดที่เกี่ยวข้องหรือไม่-relevant2ตั้งค่า นั่นคือ ระบบควรจัดประเภทเอกสารที่เกี่ยวข้อง หรือไม่เกี่ยว ข้องและเรียกมันว่าเกี่ยวข้องกำหนดบางวิธีการคำนวณความเป็นไปได้ว่าเอกสารที่เกี่ยวข้องและความน่าเป็นที่มันไม่เกี่ยวข้อง แล้วมันจะดูเหมือนสมเหตุสมผลในการจัดประเภทเอกสารเป็นชุดที่มีความเป็นไปได้สูงที่สุด ในคำอื่น ๆ1 มี "ระบบอ้างอิงเรียก" ตอนนี้จะเรียกว่าเครื่องมือค้นหา2 หมายเหตุว่า เราไม่เคยพูดถึงเอกสาร "เกี่ยวข้อง" ในการเรียกข้อมูล แทนพวกเขาจะ "ไม่ relevant.we จะตัดสินใจเกี่ยวข้องเอกสาร D ถ้า P(R| D) > P(NR| ง) ที่P(R| D) เป็นความน่าเป็นเงื่อนไขที่แสดงถึงความเป็นไปได้ของความเกี่ยวข้องให้แสดงเอกสารที่ และ P(NR| ง) เป็นเงื่อนไขน่าจะไม่เกี่ยวข้อง (รูปที่ 7.3) นี้เรียกว่าการตัดสินใจของ Bayesกฎ และระบบที่ใช้จัดประเภทเอกสารด้วยวิธีนี้จะเรียกว่าเป็นลักษณนามของ Bayesในบทที่ 9 เราหารือใช้งานอื่น ๆ ของการจัดประเภท (เช่นการกรองสแปม)และเทคนิคการจัดประเภทอื่น ๆ แต่ที่นี่เราเน้นอัลกอริทึมการจัดอันดับว่า ผลลัพธ์จากรูปแบบนี้น่าจะเรียกตามจัดประเภท

ผลลัพธ์ (ไทย) 2:

7.2 ความน่าจะเป็นรุ่น
หนึ่งใน thefeatures ว่ารูปแบบการดึงควรให้เป็นคำสั่งที่ชัดเจนเกี่ยวกับ
สมมติฐานตามที่มันเป็น based.The บูลีนและวิธีการปริภูมิเวกเตอร์
ทำให้สมมติฐานนัยเกี่ยวกับความเกี่ยวข้องและการแสดงข้อความที่ส่งผลกระทบต่อ
การออกแบบและประสิทธิภาพของขั้นตอนวิธีการจัดอันดับ สถานการณ์ที่เหมาะจะ
แสดงให้เห็นว่าได้รับข้อสมมติฐานที่เป็นวิธีการจัดอันดับขึ้นอยู่กับการดึง
รูปแบบจะบรรลุประสิทธิผลดีกว่าวิธีการอื่น ๆ พิสูจน์ดังกล่าวเป็น
จริงยากมากที่จะมาโดยในการดึงข้อมูลเนื่องจากเรากำลังพยายามที่จะทำพิธี
กิจกรรมของมนุษย์ที่ซับซ้อน ความถูกต้องของรูปแบบการดึงโดยทั่วไปมี
การตรวจสอบสังเกตุมากกว่าในทางทฤษฎี.
หนึ่งคำสั่งทางทฤษฎีเกี่ยวกับประสิทธิภาพในช่วงต้นเป็นที่รู้จักน่าจะเป็น
ตามลำดับหลักการ (โรเบิร์ต 1977/1997) การสนับสนุนการพัฒนา
รูปแบบการดึงความน่าจะเป็นที่มีความโดดเด่น กระบวนทัศน์ในวันนี้ เหล่านี้
รุ่นที่ได้ประสบความสำเร็จสถานะนี้เพราะทฤษฎีความน่าจะเป็นรากฐานที่แข็งแกร่ง
สำหรับการเป็นตัวแทนและจัดการความไม่แน่นอนที่เป็น partof ธรรมชาติกระบวนการเรียกข้อมูล การจัดอันดับความน่าจะเป็นหลักการเช่นเดิม
ที่ระบุไว้ดังต่อไปนี้
ถ้ามีการดึง system's1 อ้างอิง
การตอบสนองต่อการร้องขอของแต่ละคนเป็นการจัดอันดับของ
เอกสารในคอลเลกชันในการสั่งซื้อลดลงน่าจะเป็นของความสัมพันธ์กัน
ให้กับผู้ใช้ที่ส่งคำขอที่ น่าจะ
ประมาณได้อย่างถูกต้องที่เป็นไปได้บนพื้นฐานของข้อมูลสิ่งที่ได้รับการ
ให้บริการแก่ระบบเพื่อจุดประสงค์นี้ประสิทธิภาพโดยรวมของ
ระบบให้กับผู้ใช้ของมันจะเป็นที่ดีที่สุดที่ได้มาบนพื้นฐานของบรรดา
ข้อมูล.
ป.ร. ให้ไว้สมมติฐานบางอย่าง เช่นที่เกี่ยวข้องของเอกสารเพื่อแบบสอบถาม
เป็นอิสระจากเอกสารอื่น ๆ ก็เป็นไปได้ที่จะแสดงให้เห็นว่าคำสั่งนี้เป็น
จริงในแง่ที่ว่าการจัดอันดับโดยน่าจะเป็นของความสัมพันธ์กันจะเพิ่มความแม่นยำ
ซึ่งเป็นสัดส่วนของเอกสารที่เกี่ยวข้อง ที่ตำแหน่งใดก็ตาม (เช่น
ในด้านบน 10 เอกสาร) แต่น่าเสียดายที่ความน่าจะเป็นการจัดอันดับของหลักการ
ไม่ได้บอกเราวิธีการคำนวณหรือคาดการณ์น่าจะเป็นของความเกี่ยวข้อง มี
หลายรุ่นที่ดึงความน่าจะเป็นของแต่ละคนนำเสนอวิธีที่แตกต่างกันสำหรับการและ
การประเมินความน่าจะเป็นนี้ ส่วนที่เหลือของบทนี้กล่าวถึงบางส่วนของ
รูปแบบความน่าจะเป็นที่สำคัญที่สุด.
ในส่วนนี้เราเริ่มต้นด้วยรูปแบบที่น่าจะง่ายขึ้นอยู่กับการรักษา
การดึงข้อมูลเป็นปัญหาการจัดหมวดหมู่ จากนั้นเราจะอธิบายที่นิยมและ
วิธีการจัดอันดับที่มีประสิทธิภาพที่จะขึ้นอยู่กับรูปแบบนี้.
7.2.1 ดึงข้อมูลการจัดจำแนกเป็น
ในรูปแบบการดึงใด ๆ ที่ถือว่าเป็นความสัมพันธ์กันไบนารีจะมีสองชุดของ
เอกสารเอกสารที่เกี่ยวข้องและเอกสารที่ไม่เกี่ยวข้อง สำหรับแต่ละ
แบบสอบถาม ได้รับเอกสารใหม่การทำงานของเครื่องมือค้นหาสามารถอธิบายได้ว่า
การตัดสินใจว่าเอกสารที่อยู่ในชุดที่เกี่ยวข้องหรือไม่ relevant2
ชุด นั่นคือระบบควรแยกประเภทเอกสารที่มีความเกี่ยวข้องหรือไม่เกี่ยวข้อง
และเรียกมันถ้ามันมีความเกี่ยวข้อง.
ให้วิธีการคำนวณความน่าจะเป็นว่าเอกสารที่มีความเกี่ยวข้องบาง
และความน่าจะเป็นว่ามันไม่เกี่ยวข้องแล้วมันจะดูเหมือน เหมาะสมที่จะจัด
เอกสารเป็นชุดที่มีความน่าจะเป็นสูงสุด ในคำอื่น ๆ
1 "ระบบการดึงอ้างอิง" จะถูกเรียกว่าเครื่องมือค้นหา.
2 หมายเหตุที่เราไม่เคยพูดคุยเกี่ยวกับเอกสาร "ไม่เกี่ยวข้อง" ในการดึงข้อมูล; แทน
พวกเขาจะ "ไม่ใช่ relevant.we จะตัดสินใจว่าเอกสารที่เกี่ยวข้อง D เป็นถ้า P (R | D)> P (NR | D) ที่
P (R | D) ความน่าจะเป็นเงื่อนไขที่เป็นตัวแทนของความน่าจะเป็นของความเกี่ยวข้อง
ที่กำหนด เป็นตัวแทนของเอกสารนั้นและ P (NR | D) เป็นเงื่อนไข
น่าจะเป็นของที่ไม่ใช่ความสัมพันธ์กัน (รูปที่ 7.3) นี้เรียกว่าการตัดสินใจ Bayes
กฎและระบบที่จัดประเภทเอกสารวิธีการนี้เรียกว่าลักษณนามเบส์ได้.
ในบทที่ 9 เราจะหารือถึงโปรแกรมอื่น ๆ ของการจำแนกประเภท (เช่นการกรองสแปม)
และเทคนิคการจัดหมวดหมู่อื่น ๆ แต่ที่นี่เรามุ่งเน้นไปที่ วิธีการจัดอันดับ
ว่าเป็นผลมาจากรูปแบบการดึงนี้น่าจะขึ้นอยู่กับการจัดหมวดหมู่

ผลลัพธ์ (ไทย) 3:

7.2 แบบเชิงความน่าจะเป็นหนึ่งใน thefeatures ที่สืบค้นแบบควรให้ชัดเจน ชี้แจงเกี่ยวกับสมมติฐานที่เป็นฐาน การบูลีนและปริภูมิเวกเตอร์แนวให้สมมติฐานโดยนัยเกี่ยวกับความเกี่ยวข้องและข้อความแสดงผลกระทบที่การออกแบบและประสิทธิภาพของขั้นตอนวิธีการจัดอันดับ สถานการณ์ที่เหมาะจะเป็นเพื่อแสดงให้เห็นว่า กําหนดสมมติฐาน , ขั้นตอนวิธีการจัดอันดับบนพื้นฐานของการสืบค้นรูปแบบจะบรรลุประสิทธิภาพที่ดีกว่าวิธีการอื่นใด . หลักฐานเช่นจริงอย่างที่หายาก ในการสืบค้นข้อมูล เพราะเราพยายามที่จะทำให้เป็นรูปเป็นร่างที่ซับซ้อนของมนุษย์กิจกรรม ความถูกต้องของแบบจำลองโดยทั่วไปมีการสืบค้นให้มีการตรวจสอบเชิงประจักษ์มากกว่าในทางทฤษฎีทฤษฎีหนึ่งก่อนงบเกี่ยวกับประสิทธิผล เรียกว่าความน่าจะเป็นหลักการจัดอันดับ ( โรเบิร์ต 1977 / 1997 ) , การส่งเสริมการพัฒนาของสืบค้น 11 รุ่น ซึ่งกระบวนทัศน์เด่นวันนี้ เหล่านี้รุ่นได้บรรลุสถานะนี้ เพราะทฤษฎีความน่าจะเป็นพื้นฐานสำหรับแสดงและจัดการกับความไม่แน่นอนที่เป็นส่วนหนึ่งในการค้นคืนข้อมูลกระบวนการ การจัดอันดับหลักการความน่าจะเป็น เช่นเดิมระบุ ดังนี้ถ้าอ้างอิง system"s1 การสืบค้นการตอบสนองต่อการร้องขอแต่ละครั้งคือการจัดอันดับของเอกสารในคอลเลกชันเพื่อลดความน่าจะเป็นของความเกี่ยวข้องให้ผู้ใช้ที่ยื่นคำขอ ซึ่งมีความน่าจะเป็นประมาณเป็นอย่างถูกต้องเป็นไปได้บนพื้นฐานของข้อมูลที่ได้รับให้บริการในระบบเพื่อจุดประสงค์นี้ ประสิทธิผลของระบบของผู้ใช้จะดีที่สุดที่ได้มาบนพื้นฐานเหล่านั้นข้อมูลให้สมมติฐานบางอย่าง เช่นว่า ความเกี่ยวข้องของเอกสารแบบสอบถามเป็นอิสระของเอกสารอื่น ๆ มันเป็นไปได้ที่จะ แสดง ว่า แถลงการณ์นี้จริง ในความรู้สึกที่จัดอันดับโดยความน่าจะเป็นที่เกี่ยวข้องจะเพิ่มแน่นอนซึ่งในส่วนของเอกสารที่เกี่ยวข้องใด ๆ ตำแหน่ง เช่นในด้านบน 10 เอกสาร ) แต่น่าเสียดายที่การจัดอันดับหลักการความน่าจะเป็นไม่ได้บอกวิธีการคำนวณหรือประเมินความน่าจะเป็นของความเกี่ยวข้อง มีรูปแบบการสืบค้นการมากมาย และแต่ละคนได้นำเสนอวิธีการที่แตกต่างกันสำหรับการประมาณความน่าจะเป็นนี้ มากที่สุดของส่วนที่เหลือของบทนี้กล่าวถึงบางส่วนของแบบจำลองความน่าจะเป็นของสำคัญในส่วนนี้เราเริ่มต้นด้วยการ ใช้รูปแบบการรักษาได้ง่ายการสืบค้นสารสนเทศเป็นปัญหาการจำแนก เราก็อธิบายถึงเป็นที่นิยมการจัดอันดับมีประสิทธิภาพขั้นตอนวิธีที่ใช้ในรุ่นนี้การสืบค้นข้อมูล 7.2.1 จำแนกในการดึงแบบที่ถือว่าเป็นความเกี่ยวข้องเลขฐานสองจะมีสองชุดเอกสาร , เอกสารที่เกี่ยวข้องและไม่เกี่ยวข้อง เอกสารสำหรับแต่ละสอบถาม ให้เอกสารใหม่ , งานของเครื่องมือค้นหาอาจจะอธิบายเป็นตัดสินใจว่า เอกสารอยู่ในชุด non-relevant2 ที่เกี่ยวข้องหรือชุด นั่นคือ ระบบควรจัดเอกสารที่เกี่ยวข้องหรือไม่ ที่เกี่ยวข้องและเรียกมันว่ามันเกี่ยวได้รับบางวิธีคำนวณความน่าจะเป็นที่เอกสารที่เกี่ยวข้องและความน่าจะเป็นที่มันจะไม่เกี่ยวข้อง มันก็จะดูสมเหตุสมผลที่จะจำแนกเอกสารเป็นชุดที่มีความน่าจะเป็นสูงสุด ในคำอื่น ๆ1 " ระบบสืบค้นอ้างอิง " จะถูกเรียกเครื่องมือค้นหา2 ทราบว่า เราไม่เคยคุยเรื่อง " ความเกี่ยวข้อง " เอกสารในการสืบค้นข้อมูล แทนพวกเขาจะ " non-relevant.we จะตัดสินใจว่า เอกสารที่เกี่ยวข้อง ถ้า D P ( r | D ) > P ( NR | D ) ที่P ( r | D ) เป็นเงื่อนไขความน่าจะเป็นไปได้ที่เป็นตัวแทนของความน่าจะเป็นที่เกี่ยวข้องได้รับการเป็นตัวแทนของเอกสารนั้น และ P ( NR | D ) เป็นเงื่อนไขความน่าจะเป็นที่ไม่ความเกี่ยวข้อง ( รูปที่ 20 ) นี้เป็นที่รู้จักกันเป็นการตัดสินใจของ Bayesการปกครองและระบบที่ประมวลเอกสารวิธีนี้เรียกว่า Bayes ลักษณนามในบทที่ 9 เราหารือเกี่ยวกับโปรแกรมอื่น ๆของการจัดหมวดหมู่ ( เช่นการกรองสแปม )และเทคนิคการจำแนกประเภทอื่น ๆ แต่ที่นี่เราเน้นขั้นตอนวิธีการจัดอันดับผลลัพธ์จากการค้นคืนแบบตามการจำแนก