We consider experiments to measure

We consider experiments to measure the quality of a web
search algorithm based on how much total time users take
to complete assigned search tasks using that algorithm. We
first analyze our data to verify that there is in fact a negative
relationship between a user’s total search time and a
user’s satisfaction for the types of tasks under consideration.
Secondly, we fit a model with the user’s total search time as
the response to compare two different search algorithms. Finally,
we propose an alternative experimental design which
we demonstrate to be a substantial improvement over our
current design in terms of variance reduction and efficiency.
Categories and Subject Descriptors: H.1 [Information
Systems]: Models and principles; H.3 [Information Systems]:
Information storage and retrieval; G.3 [Mathematics of Computing]:
Probability and Statistics
General Terms: Design, Experimentation, Measurement
Keywords: Evaluation metrics, Experiment design, Interactive
IR and visualization, Question answering

ผลลัพธ์ (ไทย) 1:

เราพิจารณาทดลองเพื่อวัดคุณภาพของเว็บใช้อัลกอริทึมค้นหาที่อิงผู้ใช้เวลาทั้งหมดเท่าใดการดำเนินงานค้นหาที่กำหนดโดยใช้อัลกอริทึมนั้น เราวิเคราะห์ข้อมูลเพื่อตรวจสอบว่า มีในความเป็นจริงเชิงลบเป็นครั้งแรกความสัมพันธ์ระหว่างเวลาที่ค้นหาทั้งหมดของผู้ใช้และความพึงพอใจของผู้ใช้สำหรับชนิดของงานที่พิจารณาประการที่สอง เราพอ มีเวลาค้นหาทั้งหมดของผู้ใช้เป็นแบบการตอบสนองเพื่อเปรียบเทียบสองอัลกอริทึมค้นหาอื่น ในที่สุดเราเสนอทางเลือกทดลองออกแบบซึ่งเราแสดงให้เห็นถึงการมีการปรับปรุงมากเกินของเราปัจจุบันการออกแบบในแง่ของประสิทธิภาพและการลดความแปรปรวนประเภทและตัวบอกเรื่อง: H.1 [ข้อมูลระบบ]: รูปแบบและหลักการ H.3 [ระบบสารสนเทศ]:จัดเก็บข้อมูลและเรียกข้อมูล G.3 [คณิตศาสตร์คอมพิวเตอร์]:น่าเป็นและสถิติข้อกำหนดทั่วไป: ออกแบบ ทดลอง วัดคำสำคัญ: การประเมินตัวชี้วัด การออกแบบการทดลอง InteractiveIR และการมองเห็น ถามตอบ

ผลลัพธ์ (ไทย) 2:

เราพิจารณาการทดลองเพื่อวัดคุณภาพของเว็บ
อัลกอริทึมการค้นหาตามเท่าใดผู้ใช้เวลาทั้งหมดที่ใช้เวลา
ที่จะเสร็จงานที่ได้รับมอบหมายการค้นหาโดยใช้อัลกอริทึมที่ เรา
เป็นครั้งแรกในการวิเคราะห์ข้อมูลของเราเพื่อตรวจสอบว่ามีอยู่ในความเป็นจริงเชิงลบ
ความสัมพันธ์ระหว่างเวลาค้นหาของผู้ใช้ทั้งหมดและ
ความพึงพอใจของผู้ใช้ประเภทของงานภายใต้การพิจารณา.
ประการที่สองเราให้พอดีกับรูปแบบที่มีเวลาค้นหาของผู้ใช้รวม
การตอบสนองเพื่อเปรียบเทียบ สองขั้นตอนวิธีการค้นหาที่แตกต่าง สุดท้าย
เรานำเสนอการออกแบบการทดลองทางเลือกซึ่ง
เราแสดงให้เห็นว่าจะเป็นการปรับปรุงอย่างมากในช่วงของเรา
ออกแบบในปัจจุบันในแง่ของการลดความแปรปรวนและมีประสิทธิภาพ.
หมวดและอธิบายเรื่อง H.1 [ข้อมูล
ระบบ]: รุ่นและหลักการ; H.3 [ระบบสารสนเทศ]:
การจัดเก็บข้อมูลและการดึง; G.3 [คณิตศาสตร์คอมพิวเตอร์]:
น่าจะเป็นและสถิติ
ข้อกำหนดทั่วไป: การออกแบบการทดลองวัด
คำสำคัญ: ตัวชี้วัดการประเมินผลการออกแบบการทดลองแบบโต้ตอบ
IR และการมองเห็นคำถามที่ตอบ