Experiments for the subjective eval

Experiments for the subjective evaluation of multimedia presentations and content are traditionally conducted in a laboratory environment. In this respect common procedures for the evaluation of teleconference systems are no different. The strictly controlled laboratory environment, however, often gives a rather poor representation of the actual use case. Therefore in this study we crowdsourced the evaluation of a teleconference system to perform the evaluation in a real-life environment. Moreover, we used the unique possibilities of crowdsourcing to employ two different demographics by hiring workers from Germany on the one hand and the US and Great Britain on the other hand. The goal of this experiment was to assess the perceived Quality of Experience (QoE) during a listening test and compare the results to results from a similar listening test conducted in the controlled laboratory environment. In doing so, we observed not only intriguing differences in the collected QoE ratings between the results of laboratory and crowdsourcing experiments, but also between the different worker demographics in terms of reliability, availability and efficiency.

ผลลัพธ์ (ไทย) 1:

ทดลองเพื่อประเมินตามอัตวิสัยของการนำเสนอมัลติมีเดียและเนื้อหาจะดำเนินการซึ่งในสภาพแวดล้อมห้องปฏิบัติการ ประการนี้ ขั้นตอนทั่วไปสำหรับการประเมินการประชุมระบบไม่แตกต่างกัน สิ่งแวดล้อม ห้องปฏิบัติการควบคุมอย่างเคร่งครัดอย่างไรก็ตาม มักจะให้การแสดงค่อนข้างยากจนกรณีใช้จริง ดังนั้น ในการศึกษาเรา crowdsourced การประเมินผลของระบบเพื่อการประชุมเพื่อทำการประเมินในสภาพแวดล้อมของชีวิตจริง นอกจากนี้ เราใช้ crowdsourcing จบเฉพาะการจ้างงานสองลักษณะประชากรที่แตกต่างกัน โดยจ้างแรงงานจากประเทศเยอรมนีคง และสหรัฐอเมริกา และสหราชอาณาจักรใน เป้าหมายของการทดลองนี้เป็นการ ประเมินการรับรู้คุณภาพของประสบการณ์ (QoE) ในระหว่างการทดสอบฟัง และเปรียบเทียบกับผลลัพธ์จากการทดสอบฟังคล้ายกันในสภาพแวดล้อมห้องปฏิบัติการควบคุม ในการทำเช่นนั้น เราสังเกตความแตกต่างไม่น่าเท่านั้นในการจัดอันดับ QoE รวบรวม ระหว่างผลลัพธ์ของการทดลองปฏิบัติและ crowdsourcing แต่ยัง ระหว่างลักษณะประชากรของผู้ปฏิบัติงานที่แตกต่างกันในแง่ของความน่าเชื่อถือ ความพร้อมใช้งาน และประสิทธิภาพ

ผลลัพธ์ (ไทย) 2:

การทดลองสำหรับการประเมินผลทัศนะของงานนำเสนอมัลติมีเดียและเนื้อหาที่จะดำเนินการแบบดั้งเดิมในสภาพแวดล้อมห้องปฏิบัติการ ในแง่นี้ขั้นตอนการร่วมกันสำหรับการประเมินผลของระบบการประชุมทางไกลจะไม่แตกต่างกัน ควบคุมสภาพแวดล้อมในห้องปฏิบัติการอย่างเคร่งครัด แต่มักจะให้การแสดงค่อนข้างยากจนของกรณีการใช้งานจริง ดังนั้นในการศึกษานี้เรา crowdsourced ประเมินระบบการประชุมทางไกลในการดำเนินการประเมินผลในสภาพแวดล้อมที่ชีวิตจริง นอกจากนี้เราใช้ความเป็นไปได้ที่เป็นเอกลักษณ์ของ crowdsourcing จะจ้างสองประชากรที่แตกต่างกันโดยการจ้างแรงงานจากประเทศเยอรมนีในมือข้างหนึ่งและสหรัฐอเมริกาและสหราชอาณาจักรในมืออื่น ๆ เป้าหมายของการทดลองนี้คือการประเมินคุณภาพของการรับรู้ประสบการณ์ (QoE) ในระหว่างการทดสอบการฟังและเปรียบเทียบผลที่ได้จะเป็นผลมาจากการทดสอบการฟังคล้ายกันดำเนินการในสภาพแวดล้อมในห้องปฏิบัติการควบคุม ในการทำเช่นเราสังเกตไม่เพียง แต่ความแตกต่างที่น่าสนใจในการเก็บรวบรวมการจัดอันดับ QoE ระหว่างผลการตรวจทางห้องปฏิบัติการและการทดลอง crowdsourcing แต่ยังระหว่างกลุ่มผู้เข้าชมที่แตกต่างกันของผู้ปฏิบัติงานในแง่ของความน่าเชื่อถือ, ความพร้อมใช้งานและมีประสิทธิภาพ

ผลลัพธ์ (ไทย) 3:

การทดลองสำหรับการประเมินผลอัตนัยของมัลติมีเดียและเนื้อหาเป็นประเพณีปฏิบัติในสภาพแวดล้อมห้องปฏิบัติการ ในความเคารพนี้ทั่วไปสำหรับขั้นตอนการประเมินผลของระบบการประชุมทางไกล ไม่แตกต่างกัน อย่างเคร่งครัดควบคุมห้องปฏิบัติการสิ่งแวดล้อม แต่มักจะให้การแสดงที่ค่อนข้างยากจน ใน กรณี ใช้งานจริงดังนั้นในการศึกษานี้ crowdsourced การประเมินผลระบบประชุมทางไกลเพื่อทำการประเมินผลในสภาพแวดล้อมในชีวิตจริง นอกจากนี้ เราใช้เฉพาะความเป็นไปได้ของ crowdsourcing จ้างสองประชากรที่แตกต่างกัน โดยจ้างคนงานจากเยอรมนี ในมือข้างหนึ่งและสหรัฐอเมริกา และสหราชอาณาจักร บนมืออื่น ๆเป้าหมายของการทดลองครั้งนี้เพื่อประเมินการรับรู้คุณภาพของประสบการณ์ ( QoE ) ในการฟังทดสอบและเปรียบเทียบกับผลจากที่คล้ายกันในการฟังทดสอบทดลองการควบคุมสิ่งแวดล้อม ในการทำเช่นนั้น เราสังเกตความแตกต่างไม่เพียง แต่ที่น่าสนใจในการเก็บคะแนนระหว่าง QoE การทดลองผลทางห้องปฏิบัติการและ crowdsourcing ,แต่ ระหว่างผู้ทำงานที่แตกต่างกันในแง่ของความน่าเชื่อถือ ความพร้อมใช้งาน และประสิทธิภาพ