An example output file for flagging

An example output file for flagging individual raters is
provided in Table 5. Rater 1 had both VR_L and 3_H flags, suggesting that this rater tends to assign
scores in the middle. Raters 2 and 3 both had discrepancies with final scores. AD and scoring leaders
will monitor these raters closely in the future. Raters whose ratings are frequently discrepant from
the final scores are brought to the attention of scoring leaders. This type of flag can provide accuracy
information on individual rater’s scoring performance since all the final scores for responses with
discrepant ratings are provided by expert raters whose ratings can be considered as accurate. It is
important to note that these flags are merely suggestive of the need for further investigation. It is
possible, by chance assignment, that a rater may encounter a set of responses over a period of time
that are deserving of lower scores than the average pool of raters, and therefore, their scoring would
be accurate. Additional back reading and monitoring are necessary to determine if a rater is in fact
having a problem with scoring accurately.

ผลลัพธ์ (ไทย) 1:

แฟ้มเป็นแฟ้มผลลัพธ์ตัวอย่างสำหรับการตั้งค่าสถานะแต่ละ ratersให้ไว้ในตาราง 5 Rater 1 มีทั้ง VR_L และ 3_H ธง แนะนำที่ rater นี้มีแนวโน้มการ กำหนดคะแนนตรงกลาง Raters ที่ 2 และ 3 ทั้งสองมีความขัดแย้ง ด้วยคะแนนสุดท้าย AD และผู้นำการให้คะแนนจะตรวจสอบ raters เหล่านี้อย่างใกล้ชิดในอนาคต Raters ที่จัดอันดับที่ discrepant บ่อย ๆ จากคะแนนสุดท้ายจะนำมาสู่การพิจารณาของผู้นำการให้คะแนน ธงชนิดนี้สามารถให้ความถูกต้องข้อมูลแต่ละ rater ประสิทธิภาพคะแนนตั้งแต่คะแนนขั้นสุดท้ายทั้งหมดสำหรับการตอบสนองด้วยมีจัดอันดับ discrepant โดย raters ที่ใช้จัดอันดับซึ่งถือได้ว่าถูกต้อง มันเป็นสิ่งสำคัญโปรดสังเกตว่า ค่าสถานะเหล่านี้เป็นเพียงชี้นำของต้องตรวจสอบเพิ่มเติม มันเป็นเป็นไปได้ โดยการกำหนดโอกาส ให้ rater ที่อาจพบชุดของคำตอบระยะเวลาที่ได้คะแนนต่ำกว่ากลุ่มเฉลี่ยของ raters สมควรแก่ และดังนั้น การให้คะแนนจะถูกต้อง กลับไปอ่านเพิ่มเติมและตรวจสอบจำเป็นเพื่อกำหนด rater ที่ว่าในความเป็นจริงมีปัญหากับการให้คะแนนอย่างถูกต้อง

ผลลัพธ์ (ไทย) 2:

ตัวอย่างไฟล์ที่ส่งออกที่ไม่ถูกต้องสำหรับผู้ประเมินบุคคลที่
ระบุไว้ในตารางที่ 5 หมู่ 1 ได้ทั้ง VR_L และธง 3_H บอกว่าเจ๋งนี้มีแนวโน้มที่จะกำหนด
คะแนนที่อยู่ตรงกลาง ผู้ประเมินที่ 2 และ 3 ทั้งสองมีความแตกต่างที่มีคะแนนสุดท้าย โฆษณาและผู้นำการให้คะแนน
จะตรวจสอบผู้ประเมินเหล่านี้อย่างใกล้ชิดต่อไปในอนาคต ผู้ประเมินที่มีการจัดอันดับมักจะไม่ตรงกันจาก
คะแนนสุดท้ายจะมาถึงความสนใจของผู้นำการให้คะแนน ชนิดของธงนี้สามารถให้ความถูกต้องของ
ข้อมูลเกี่ยวกับผลการปฏิบัติงานของแต่ละบุคคลการให้คะแนนประเมินตั้งแต่ทุกคะแนนขั้นสุดท้ายสำหรับการตอบสนองที่มี
การจัดอันดับไม่ตรงกันที่ให้บริการโดยผู้เชี่ยวชาญผู้ประเมินที่มีการจัดอันดับได้รับการพิจารณาเป็นที่ถูกต้อง มันเป็น
สิ่งสำคัญที่จะทราบว่าธงเหล่านี้เป็นเพียงการชี้นำความจำเป็นในการตรวจสอบต่อไป มันเป็น
ไปได้โดยการโอนโอกาสที่ผู้ประเมินอาจพบชุดของการตอบสนองในช่วงเวลา
ที่สมควรได้รับคะแนนต่ำกว่าค่าเฉลี่ยของสระว่ายน้ำผู้ประเมินและดังนั้นการให้คะแนนของพวกเขาจะ
มีความถูกต้อง อ่านเพิ่มเติมกลับและการตรวจสอบเป็นสิ่งที่จำเป็นเพื่อตรวจสอบว่าผู้ประเมินในความเป็นจริง
มีปัญหากับการให้คะแนนได้อย่างถูกต้อง

ผลลัพธ์ (ไทย) 3:

ตัวอย่างไฟล์ออกสำหรับผู้ประเมินแต่ละสถานะคือ
ไว้ในตารางที่ 5 ระดับ 1 มีทั้ง vr_l และ 3_h ธงบอกว่ากลุ่มนี้มีแนวโน้มที่จะมอบหมาย
คะแนนกลาง จำนวน 2 และ 3 ซึ่งมีความแตกต่างกับคะแนนสุดท้าย โฆษณา และ คะแนนนำ
จะตรวจสอบจำนวนเหล่านี้อย่างใกล้ชิดต่อไปในอนาคต ผู้ประเมินที่แตกต่างกันจาก
อันดับอยู่บ่อย ๆคะแนนสุดท้ายถูกนำมาถึงความสนใจของผู้นำคะแนน . ธงชนิดนี้สามารถให้ความถูกต้องของข้อมูลในแต่ละระดับคะแนน
งานทั้งหมดตั้งแต่คะแนนรอบสุดท้ายเพื่อตอบสนอง
คะแนนแตกต่างกันไว้ โดยผู้เชี่ยวชาญอันดับ 2 ซึ่งถือได้ว่าเป็นถูกต้อง มันคือ
เป็นสิ่งสำคัญที่จะต้องทราบว่าธงเหล่านี้เป็นเพียงข้อเสนอที่ต้องสอบสวนต่อไป มันคือ
เป็นไปได้โดยการกำหนดโอกาสที่คนไทยอาจพบชุดของการตอบสนองในช่วงเวลา
ที่สมควรได้รับคะแนนต่ำกว่าค่าเฉลี่ยของ 2 สระ และ ดังนั้น ของพวกเขา คะแนนจะ
ได้ถูกต้องกลับมาอ่านและติดตามเพิ่มเติมเป็นสิ่งจำเป็นเพื่อตรวจสอบว่ามีคนไทยอยู่ในความเป็นจริงมีปัญหากับคะแนน

แม่น