In addition to agreement rate, whic

In addition to agreement rate, which reflects the overall rater performance at item level, the ETS
Statistical Analysis (SA) team runs analyses based on responses with double ratings in a 3-month
period to identify individual raters whose scoring behavior is inconsistent with that of other raters
such that additional training can be provided to these individuals. Individual raters’ scoring leniency/
severity or scoring scale preferences are evaluated by comparing individual rater means, standard
deviations, and score distributions to the final ratings of the same responses, which can be from
different items in different forms.

ผลลัพธ์ (ไทย) 1:

นอกจากข้อตกลงอัตรา ซึ่งสะท้อนถึงประสิทธิภาพ rater โดยรวมที่ระดับสินค้า ETSสถิติวิเคราะห์ (SA) ทีมทำงานวิเคราะห์ตามการตอบกับคู่อันดับใน 3 เดือนระยะเวลาระบุ raters แต่ละพฤติกรรมให้คะแนนไม่สอดคล้องกับที่ raters อื่น ๆที่สามารถให้การฝึกอบรมเพิ่มเติมกับบุคคลเหล่านี้ แต่ละ raters leniency คะแนน /ความรุนแรงหรือการให้คะแนนแบบมาตราส่วนที่กำหนดลักษณะที่ประเมิน โดยการเปรียบเทียบหมายถึงแต่ละ rater มาตรฐานความแตกต่าง และการกระจายคะแนนการจัดอันดับสุดท้ายการเดียว ซึ่งได้จากสินค้าต่าง ๆ ในรูปแบบต่าง ๆ

ผลลัพธ์ (ไทย) 2:

นอกเหนือจากข้อตกลงอัตราซึ่งสะท้อนให้เห็นถึงประสิทธิภาพการทำงานที่ประเมินโดยรวมอยู่ในระดับรายการ ETS
การวิเคราะห์ทางสถิติ (SA) ทีมงานวิ่งการวิเคราะห์บนพื้นฐานของการตอบสนองกับการจัดอันดับที่สองใน 3 เดือน
ระยะเวลาในการระบุผู้ประเมินบุคคลที่มีพฤติกรรมการให้คะแนนที่ไม่สอดคล้องกับที่ของ ผู้ประเมินอื่น ๆ
ดังกล่าวว่าการฝึกอบรมเพิ่มเติมสามารถให้กับบุคคลเหล่านี้ การให้คะแนนผู้ประเมินแต่ละผ่อนผัน /
ความรุนแรงหรือการตั้งค่าระดับการให้คะแนนจะมีการประเมินโดยการเปรียบเทียบวิธีการประเมินแต่ละมาตรฐาน
การเบี่ยงเบนและคะแนนการกระจายการจัดอันดับสุดท้ายของการตอบสนองเดียวกันซึ่งอาจได้มาจาก
รายการที่แตกต่างกันในรูปแบบที่แตกต่างกัน

ผลลัพธ์ (ไทย) 3:

นอกจากสัญญาอัตรา ซึ่งสะท้อนให้เห็นถึงระดับประสิทธิภาพโดยรวมในระดับรายการ , ets
การวิเคราะห์ทางสถิติ ( SA ) ทีมวิ่งขึ้นตามการตอบสนองกับคู่อันดับในช่วง 2 เดือน
เพื่อระบุบุคคลที่มีคะแนนพฤติกรรมสอดคล้องกับของอื่น ๆเช่นการฝึกอบรมผู้ประเมิน
เพิ่มเติมสามารถให้กับบุคคลเหล่านี้ผู้ประเมินแต่ละคะแนนเมตตา /
ความรุนแรงหรือการตั้งค่าระดับคะแนนจะถูกประเมินโดยเปรียบเทียบแต่ละระดับค่าเฉลี่ย ค่า เบี่ยงเบนมาตรฐาน
และการแจกแจงคะแนนเพื่อจัดอันดับขั้นสุดท้ายของการตอบสนองเดียวกัน ซึ่งได้จาก
รายการที่แตกต่างกันในรูปแบบที่แตกต่างกัน