1. Internal ConsistencyRatings at C

1. Internal Consistency
Ratings at Category level should agree with Element level. A high level of consistency was
found.
2. Accuracy
Participants ratings should match the ‘correct answers’ formulated by the scenario
designers and expert raters. A high level of consistency was found, at the category level.
In the more ambiguous scenarios, the level of consistency was reduced. The largest
divergence from the expert results was that the experiment participants tended not to
use the rating not observed, even when the expert rating was not observed.
3. Inter-Rater agreement
The extent to which the different participants ratings agree. A high level of consistency
was found, at the category level.

ผลลัพธ์ (ไทย) 1:

1. ภายในสอดคล้องกันการจัดอันดับในระดับประเภทควรยอมรับกับองค์ประกอบระดับ ระดับสูงของความสอดคล้องพบ2. ความถูกต้องจัดอันดับผู้เรียนควรตรงกับ 'ถูกต้องคำตอบ' สูตรตามสถานการณ์นักออกแบบและผู้เชี่ยวชาญ raters ความสอดคล้องในระดับสูงพบ ระดับประเภทในสถานการณ์ที่ไม่ชัดเจนมาก ถูกลดระดับของความสอดคล้อง ใหญ่ที่สุดdivergence จากผลผู้เชี่ยวชาญได้ว่า ผู้เข้าร่วมการทดลองมีแนวโน้มไม่ใช้การจัดอันดับที่ไม่สังเกต แม้เมื่อระดับผู้เชี่ยวชาญถูกไม่ตรวจสอบ3. ประเมินระหว่างข้อตกลงเท่าเห็นด้วยกับการจัดอันดับของผู้เข้าร่วมที่แตกต่างกัน ระดับสูงของความสอดคล้องพบ ระดับประเภท

ผลลัพธ์ (ไทย) 2:

1.
ความสอดคล้องภายในความนิยมในระดับหมวดหมู่ควรจะเห็นด้วยกับระดับธาตุ
ระดับสูงของความสอดคล้องถูกพบ.
2 ความแม่นยำการให้คะแนนของผู้เข้าร่วมควรจะตรงกับ 'ตอบที่ถูกต้อง' สูตรโดยสถานการณ์ที่นักออกแบบและผู้เชี่ยวชาญด้านการประเมิน ระดับสูงของความสอดคล้องถูกพบในระดับหมวดหมู่. ในสถานการณ์ที่ไม่ชัดเจนมากขึ้นในระดับของความมั่นคงลดลง ที่ใหญ่ที่สุดแตกต่างจากผลลัพธ์ของผู้เชี่ยวชาญคือการที่ผู้เข้าร่วมการทดลองมีแนวโน้มที่จะไม่ใช้การจัดอันดับไม่ได้สังเกตแม้ในขณะที่คะแนนผู้เชี่ยวชาญก็ไม่เห็น. 3 ข้อตกลงระหว่างผู้ประเมินขอบเขตที่ผู้เข้าร่วมการจัดอันดับที่แตกต่างกันยอมรับ ระดับสูงของความสอดคล้องถูกพบในระดับหมวดหมู่