Reusable test collections consist o

Reusable test collections consist of:
Collection of documents
Should be “representative”
Things to consider: size, sources, genre, topics, …
Sample of information needs
Should be “randomized” and “representative”
Usually formalized topic statements
Known relevance judgments
Assessed by humans, for each topic-document pair (topic, not query!)
Binary judgments make evaluation easier
Measure of effectiveness
Usually a numeric score for quantifying “performance”
Used to compare different systems

ผลลัพธ์ (ไทย) 1:

สามารถทดสอบชุดประกอบด้วย:เอกสารต่าง ๆควรจะเป็น "ตัวแทน"สิ่งที่ควรพิจารณา: ขนาด แหล่ง ประเภท หัว ข้อ, ...ตัวอย่างของความต้องการข้อมูลควร "randomized" และ "ตัวแทน"งบปกติอย่างเป็นทางการหัวข้อคำพิพากษาเกี่ยวข้องทราบประเมิน โดยมนุษย์ สำหรับแต่ละคู่เอกสารหัวข้อ (หัวข้อ สอบถามไม่)นารีคำพิพากษาทำให้ประเมินได้ง่ายวัดประสิทธิภาพโดยปกติแล้วตัวเลขคะแนนสำหรับ quantifying "ประสิทธิภาพ"ใช้ในการเปรียบเทียบระบบที่แตกต่างกัน

ผลลัพธ์ (ไทย) 2:

คอลเลกชันทดสอบนำมาใช้ใหม่ประกอบด้วยการเก็บเอกสารที่ควรจะเป็น"ตัวแทน" สิ่งที่ต้องพิจารณาขนาดแหล่งที่มาประเภทหัวข้อ ... ตัวอย่างต้องการข้อมูลควรจะ "สุ่ม" และ "แทน" อย่างเป็นทางการโดยปกติงบหัวข้อที่รู้จักกันในการตัดสินความเกี่ยวข้องประเมินโดยมนุษย์สำหรับแต่ละคู่หัวข้อเอกสาร (หัวข้อไม่ได้สอบถาม!) คำตัดสินไบนารีทำให้ง่ายขึ้นการประเมินผลการวัดประสิทธิภาพโดยปกติคะแนนสำหรับตัวเลขเชิงปริมาณ"ผลงาน" ที่ใช้ในการเปรียบเทียบระบบที่แตกต่างกัน

ผลลัพธ์ (ไทย) 3:

คอลเลกชันที่ใช้ทดสอบประกอบด้วยคอลเลกชันของเอกสาร :

ควรเป็น " ตัวแทน "
สิ่งที่ต้องพิจารณา : ขนาด , แหล่ง , ประเภท , หัวข้อ , . . . . . . .

ตัวอย่างของข้อมูลความต้องการควร " สุ่ม " และ " แทน "

รู้จักมักจะเป็นทางการหัวข้อข้อความความเกี่ยวข้องคำตัดสิน
ประเมิน โดยมนุษย์แต่ละหัวข้อเอกสารคู่ ( หัวข้อ ไม่ได้สอบถาม ) ไบนารีให้การประเมินผลง่าย

คำตัดสินการวัดประสิทธิผลของ
โดยปกติแล้วตัวเลขสำหรับคะแนนค่า " ประสิทธิภาพ " ใช้เพื่อเปรียบเทียบระบบที่แตกต่าง