When test collections are built, it

When test collections are built, it is common for one, or a small number of people to make relevance assessments of the information objects that have been returned for topics. These assessments form the gold standard assessments on which all other evaluation measures are computed, such as mean average precision and discounted cumulated gain. It is well known that such assessments are not always generalizable; that is, different people often make different assessments of the same information objects for the same topic. However, this is accepted as one of the limitations of test collection-based evaluation.

ผลลัพธ์ (ไทย) 1:

เมื่อสร้างชุดทดสอบ มันเป็นเรื่องธรรมดาสำหรับหนึ่ง หรือจำนวนคนที่จะทำการประเมินความเกี่ยวข้องของวัตถุข้อมูลที่ถูกส่งคืนสำหรับหัวข้อขนาดเล็ก ประเมินรูปแบบการประเมินผลของมาตรฐานที่ประเมินอื่น ๆ ทั้งหมดใช้คำนวณมาตรการ เช่นหมายถึง ความแม่นยำเฉลี่ย และลดกำไรสะสม เป็นที่ทราบกันดีว่า การประเมินผลดังกล่าวมักไม่ generalizable นั่นคือ คนมักจะทำการประเมินแตกต่างกันของวัตถุข้อมูลเดียวกันสำหรับหัวข้อเดียวกัน อย่างไรก็ตาม นี้จะยอมรับว่าข้อจำกัดของการประเมินทดสอบคอลเลกชันอย่างใดอย่างหนึ่ง

ผลลัพธ์ (ไทย) 2:

เมื่อคอลเลกชันการทดสอบที่ถูกสร้างขึ้นมันเป็นเรื่องธรรมดาสำหรับหนึ่งหรือจำนวนเล็ก ๆ ของคนที่จะทำให้การประเมินความสัมพันธ์กันของวัตถุข้อมูลที่ได้รับกลับมาสำหรับหัวข้อ การประเมินเหล่านี้ในรูปแบบการประเมินมาตรฐานทองคำที่มาตรการการประเมินผลอื่น ๆ ทั้งหมดจะคำนวณเช่นความแม่นยำเฉลี่ยค่าเฉลี่ยและลดกำไรสะสม เป็นที่ทราบกันดีว่าการประเมินผลดังกล่าวจะไม่ generalizable เสมอ นั่นคือคนที่แตกต่างกันมักจะทำให้การประเมินผลที่แตกต่างกันของวัตถุข้อมูลเดียวกันสำหรับหัวข้อเดียวกัน แต่นี้เป็นที่ยอมรับว่าเป็นหนึ่งในข้อ จำกัด ของการทดสอบการประเมินผลคอลเลกชันที่ใช้