To obtain the population performanc

To obtain the population performance parameters so that statistical assumptions could be tested, stochastic simulations are generated from four TREC collections. Two cases are then considered when examining the robustness of test collection reliability measures with respect to statistical assumptions: (1) where an IR researcher has a test collection with a certain number of topics (sample) and wants to estimate its reliability and (2) where an IR researcher has access to a test collection with a certain number of sample topics and wants to estimate the reliability of a new collection with a different set of sample topics from the same population of topics as the initial collection.

ผลลัพธ์ (ไทย) 1:

การประชากรค่าประสิทธิภาพเพื่อให้สามารถทดสอบสมมติฐานทางสถิติ stochastic จำลองสร้างขึ้นจากคอลเลกชัน TREC สี่ สองกรณีแล้วถือว่าเมื่อมาตรการตรวจสอบความทนทานของชุดทดสอบความน่าเชื่อถือเกี่ยวกับสมมติฐานทางสถิติ: (1) ที่นักวิจัยมี IR มีชุดทดสอบ ด้วยหมายเลขของหัวข้อ (ตัวอย่าง) และต้องการประเมินน่าเชื่อถือและ (2) ที่นักวิจัยมี IR เข้าถึงคอลเลกชันทดสอบด้วยหมายเลขของหัวข้อตัวอย่าง และต้องการประเมินความน่าเชื่อถือของคอลเลกชันใหม่ โดยใช้ชุดของหัวข้อตัวอย่างจากเดิม ประชากรของหัวข้อเป็นคอลเลกชันเริ่มต้น

ผลลัพธ์ (ไทย) 2:

ที่จะได้รับค่าประสิทธิภาพของประชากรเพื่อให้สมมติฐานทางสถิติที่สามารถทดสอบจำลองสุ่มถูกสร้างขึ้นจากสี่คอลเลกชัน TREC ทั้งสองกรณีได้รับการพิจารณาจากนั้นเมื่อตรวจสอบความแข็งแรงของมาตรการความน่าเชื่อถือคอลเลกชันการทดสอบเกี่ยวกับสมมติฐานทางสถิติ (1) ในกรณีที่นักวิจัย IR มีการเก็บรวบรวมทดสอบที่มีจำนวนที่แน่นอนของหัวข้อ (ตัวอย่าง) และต้องการที่จะประเมินความน่าเชื่อถือของตนและ (2) ที่นักวิจัย IR มีการเข้าถึงคอลเลกชันทดสอบที่มีจำนวนที่แน่นอนของหัวข้อตัวอย่างและต้องการที่จะประเมินความน่าเชื่อถือของคอลเลกชันใหม่กับชุดที่แตกต่างกันของหัวข้อตัวอย่างจากประชากรเดียวกันของหัวข้อที่เป็นคอลเลกชันเริ่มต้น