If the difference in the percentage

If the difference in the percentage choosing a score of 5 for a rater is
significantly higher than the mean of such differences across all raters, the rater is flagged as 5_H
(the rater awards score 5 more often than other raters). On the other hand, if the difference of percent
choosing score 5 is significantly lower than its mean, the rater is flagged as 5_L (the rater seldom uses
category 5). If a rater has both flags VR_L and 3_H (the rater uses category 3 more often than other
raters), then this rater tends to use the score categories in the middle of the scale. Individual raters
are also flagged if their ratings are different from the final scores by more than 1 point, or if their
exact agreement rate is significantly lower or higher than that of other raters. SA also summarizes
how many times a rater’s rating is discrepant from the final rating. For the item types with score
categories from 0 to 5, the total number of flags can be 11; for item types with score categories from
0 to 4, the total number of flags can be 10.

ผลลัพธ์ (ไทย) 1:

ถ้าผลต่างเปอร์เซ็นต์เลือกคะแนน 5 เป็น raterอย่างมีนัยสำคัญสูงกว่าค่าเฉลี่ยของความแตกต่างดังกล่าวทั่วทั้งหมด raters, rater ที่ถูกตั้งค่าสถานะเป็น 5_H(รางวัล rater คะแนน 5 บ่อยเกิน raters อื่น ๆ) ในทางกลับกัน ถ้าผลต่างของเปอร์เซ็นต์เลือกคะแนน 5 เป็นต่ำกว่าค่าเฉลี่ยของ rater ที่ถูกตั้งค่าสถานะเป็น 5_L (rater ที่แทบใช้ประเภท 5) ถ้า rater ที่มีทั้ง ค่าสถานะ VR_L และ 3_H (rater ที่ใช้ประเภท 3 บ่อยเกินอื่น ๆraters), แล้ว rater นี้มีแนวโน้มที่จะ ใช้ประเภทคะแนนกลางสเกล Raters ที่แต่ละนอกจากนี้ยังตั้งค่าสถานะการจัดอันดับแตกต่างจากคะแนนขั้นสุดท้ายโดยมากกว่า 1 จุด หรือถ้าพวกเขาข้อตกลงที่แน่นอนอัตราเป็นอย่างมีนัยสำคัญต่ำกว่า หรือสูงกว่าที่อื่น ๆ raters SA ยังสรุปจำนวนครั้งของ rater คะแนนเป็น discrepant อันดับสุดท้าย สำหรับชนิดรายการที่มีคะแนนประเภทจาก 0 เป็น 5 จำนวนรวมของธงได้ 11 สำหรับประเภทสินค้าประเภทคะแนนจาก0 4 จำนวนรวมของธงได้ 10

ผลลัพธ์ (ไทย) 2:

หากแตกต่างกันในอัตราร้อยละการเลือกคะแนน 5 สำหรับผู้ประเมินคือ
สูงกว่าค่าเฉลี่ยของความแตกต่างดังกล่าวผ่านผู้ประเมินทุกประเมินมีค่าสถานะเป็น 5_H
(คะแนนประเมินรางวัล 5 บ่อยกว่าผู้ประเมินอื่น ๆ ) ในทางกลับกันหากความแตกต่างอยู่ที่ร้อยละ
5 คะแนนเลือกอย่างมีนัยสำคัญต่ำกว่าค่าเฉลี่ยของผู้ประเมินที่มีการตั้งค่าสถานะเป็น 5_L (ประเมินไม่ค่อยใช้
ประเภทที่ 5) หากผู้ประเมินมีทั้งธง VR_L และ 3_H (ผู้ประเมินใช้ประเภทที่ 3 มักจะมากขึ้นกว่าที่อื่น ๆ
ผู้ประเมิน) แล้วประเมินนี้มีแนวโน้มที่จะใช้ประเภทคะแนนในช่วงกลางของขนาด ผู้ประเมินรายบุคคล
นอกจากนี้ยังมีการตั้งค่าสถานะการจัดอันดับของถ้าจะแตกต่างจากคะแนนสุดท้ายมากกว่า 1 จุดหรือถ้าพวกเขา
อัตราข้อตกลงที่แน่นอนอย่างมีนัยสำคัญต่ำกว่าหรือสูงกว่าที่อื่น ๆ ที่ผู้ประเมิน SA ยังสรุป
จำนวนครั้งของคะแนนประเมินไม่ตรงกันคือจากคะแนนสุดท้าย สำหรับประเภทรายการที่มีคะแนน
ประเภท 0-5, จำนวนรวมของธงสามารถ 11; สำหรับประเภทรายการประเภทที่มีคะแนนจาก
0 ถึง 4 จำนวนรวมของธงได้ 10

ผลลัพธ์ (ไทย) 3:

ถ้าความแตกต่างของร้อยละการเลือก 5 คะแนนสำหรับคนไทยคือ
สูงกว่าค่าเฉลี่ยของความแตกต่างดังกล่าวทั้งจำนวน , ระดับจะถูกตั้งค่าสถานะเป็น 5_h
( ระดับคะแนน 5 รางวัลมากขึ้นมักจะมากกว่าจำนวนอื่น ๆ ) ในทางกลับกัน ถ้าความแตกต่างของเปอร์เซ็นต์
เลือกคะแนน 5 เป็นอย่างมีนัยสำคัญต่ำกว่าหมายถึง ระดับจะถูกตั้งค่าสถานะเป็น 5_l ( คนไทยไม่ค่อยใช้
หมวด 5 )ถ้าคนไทยมีทั้งธงและ vr_l 3_h ( ไม่มีการใช้ประเภท 3 เพิ่มเติมมักจะมากกว่าจำนวนอื่น
) จากนั้นกลุ่มนี้มีแนวโน้มที่จะใช้คะแนนประเภทในช่วงกลางของมาตราส่วน บุคคลผู้ประเมิน
ยังติด ถ้าคะแนนของพวกเขาจะแตกต่างจากคะแนนมากกว่า 1 จุด หรือ ถ้าพวกเขา
แน่นอนข้อตกลงอัตราต่ำกว่าหรือสูงกว่าของจำนวนอื่น ๆ ยังสรุป
ซากี่ครั้งก็ไม่มีคะแนนจะแตกต่างกันจากอันดับสุดท้าย สำหรับรายการประเภทกับประเภทคะแนน
0 5 , จํานวนธงสามารถ 11 ; สำหรับรายการประเภทกับคะแนนประเภท จาก
0 4 จํานวนธงสามารถ 10