Quality assurance of assessment dec

Quality assurance of assessment decisions
One of the objectives of the BAA’s quality assurance of the Assessment Centre Certification and Examination process is to achieve consistency of examination decisions. The responsibility for examination decisions lies with the Assessment Centre, and the role of the BAA is to provide moderation feedback (verification of outcomes). However as TPQI staff identified, the observation visits focus on system and procedure compliance rather than the validity of assessment decisions and ‘moderation’ feedback is not provided.
‘Internal’ quality assurance of examiner decisions is the responsibility of an Assessment Centre committee that currently still checks 100% of examiner decisions. This is to comply with ISO17024 requirements. NZQA continues to caution the practicality and value of this approach. As assessment activities scale up, adherence to this policy will demand a huge investment of time and resources. NZQA has previously recommended that TPQI considers adopt a sampling approach to the moderation of assessment decisions.
There are no processes yet in place yet for inter-Assessment Centre consistency checks. While the use of the common assessment tools somewhat mitigates this risk, the reliance on assessors’ professional judgements and less detailed assessment schedules, still allows for the potential of considerable variance to occur across Assessment Centres.
Use of Assessment Tools
Another emerging issue is the non-use by examiners of the assessment tools that accompany the occupational standards by examiners. BAA staff noted that some examiners had been observed using their own assessments or not following assessment tool guidelines in decision-making. This situation appears to have arisen due to examiner complaints over the impracticability (overly complex or not fit-for-purpose) of some of the centrally designed assessment tools, the lack of detail or insufficient evidence guidance in assessment schedules, or simply deciding they ‘knew better’. This issue links to that of quality design identified by the BNPQS.
TPQI self assessment
TPQI staff identified the following specific concerns:
• the need for a clear point of accountability in the process of certification of assessment centres
• observation visits focus on checking examination procedure have been correctly followed but lack ways to verify the outcomes of the procedure (consistency of examination decision by examiners)
• compliance procedures need to be designed to reflect a ‘high trust, high accountability’ philosophy
• quality assurance measures need to be designed to achieve consistency of examiner decisions (across Assessment Centres, different examiner groups, different examination periods etc.)

To address some of these concerns, TPQI staff proposed actions and/or recommendations are:
• to identify key areas which need compliance measures for all Assessment Centres (to minimise compliance burden on Assessment Centres)
• that ‘burdensome’ measures should only be imposed on those Assessment Centres with complaints or accountability issues
• observer visit reports need modification so that there is a more rapid feedback loop to Assessment Centres on the outcomes of an observation
• assessment tools need to establish clear criteria for examiners to make consistent examination decisions
• to include ‘annotated’ examples in assessment tools
• to develop and implement a moderation process to ensure consistency of examiner decisions across Assessment Centres.

ผลลัพธ์ (ไทย) 1:

คุณภาพของการประเมินวัตถุประสงค์ของการประกันคุณภาพของบารับรองศูนย์ประเมินและกระบวนการตรวจสอบอย่างใดอย่างหนึ่งคือเพื่อให้บรรลุความสอดคล้องของตรวจสอบตัดสิน ความรับผิดชอบการตัดสินใจสอบอยู่กับศูนย์ประเมินผล และบทบาทของบาเป็นการ ให้ผลป้อนกลับดูแล (ตรวจสอบผล) อย่างไรก็ตาม TPQI พนักงานที่ระบุ เน้นเข้าสังเกตการณ์ปฏิบัติตามระบบและกระบวนการ มากกว่าความถูกต้องของการตัดสินใจประเมินและ 'ดูแล' ข้อเสนอแนะไม่มี'ภายใน' คุณภาพการตัดสินใจของผู้ตรวจสอบรับผิดชอบของกรรมการประเมินศูนย์ที่ปัจจุบันยังคงตรวจสอบ 100% การตัดสินใจของผู้ตรวจสอบ ทั้งนี้เพื่อให้สอดคล้องกับความต้องการ ISO17024 NZQA ยังคงเตือนงานและค่าของวิธีการนี้ เป็นการประเมินกิจกรรมปรับ ยึดมั่นในนโยบายนี้จะต้องลงทุนขนาดใหญ่ของเวลาและทรัพยากร NZQA ได้แนะนำไว้ก่อนหน้านี้ว่า TPQI พิจารณาใช้วิธีการสุ่มตัวอย่างในการดูแลการประเมินการตัดสินใจ ไม่มีกระบวนการ ในสถานที่ แต่ สำหรับการตรวจสอบความสอดคล้องของศูนย์ประเมินระหว่าง ในขณะที่การใช้เครื่องมือการประเมินทั่วไปค่อนข้างช่วยลดผลกระทบความเสี่ยงนี้ ความเชื่อมั่นในวิจารณญาณของผู้ประเมินมืออาชีพ และรายละเอียดกำหนดการประเมินน้อยกว่า ยังช่วยให้ได้ผลต่างมากจะเกิดขึ้นระหว่างการประเมินศูนย์ใช้เครื่องมือประเมินเกิดปัญหาอื่นไม่ใช้ โดยผู้ประเมินเครื่องมือที่มาพร้อมกับมาตรฐานอาชีว โดยผู้ พนักงานบาตั้งข้อสังเกตว่า บางผู้มีการสังเกตโดยใช้การประเมินตนเองหรือแนะนำเครื่องมือประเมินต่อไปนี้ไม่ตัดสินใจ สถานการณ์นี้จะ เกิดขึ้นเนื่องจากผู้ตรวจสอบร้องเรียนผ่าน impracticability (ซับซ้อนเกินไป หรือไม่พอดีสำหรับวัตถุประสงค์) ของเครื่องมือประเมินออกกลาง การขาดรายละเอียดหรือหลักฐานไม่เพียงพอแนะนำในตารางการประเมิน หรือตัดสินใจเพียงแค่พวกเขา 'รู้ดี' การเชื่อมโยงของปัญหานี้ที่ระบุ โดย BNPQS ในการออกแบบคุณภาพTPQI ประเมินตนเองพนักงาน TPQI ระบุความกังวลเฉพาะต่อไปนี้:•ต้องการจุดชัดเจนของความรับผิดชอบในกระบวนการรับรองของศูนย์ประเมิน•สังเกตชมเน้นตรวจสอบขั้นตอนตรวจสอบได้รับการปฏิบัติตามอย่างถูกต้องแต่ขาดวิธีการตรวจสอบผลลัพธ์ของกระบวนการ (ความสอดคล้องของการตรวจสอบการตัดสินใจโดยผู้)ขั้นตอนการปฏิบัติต้องออกแบบให้สะท้อนถึงปรัชญา 'เชื่อถือสูง ความรับผิดชอบสูง'•คุณภาพคุณภาพจำเป็นต้องออกแบบเพื่อให้บรรลุความสอดคล้องของผู้ตรวจสอบ (ผ่าน ศูนย์ประเมิน กลุ่มหน้าที่แตกต่างกัน ระยะเวลาตรวจสอบแตกต่างกันเป็นต้น)ที่อยู่ของความกังวลเหล่านี้ TPQI พนักงานเสนอการดำเนินการหรือคำแนะนำ:•ระบุพื้นที่สำคัญที่ต้องปฏิบัติตามมาตรการทั้งหมดประเมินศูนย์ (เพื่อลดภาระการปฏิบัติตามบนศูนย์ประเมิน)•ที่ว่า 'ยุ่ง' มาตรการควรเฉพาะกำหนดบนศูนย์ประเมินผู้ร้องเรียนหรือปัญหาความรับผิดชอบ•รายงานการเยี่ยมสังเกตการณ์ต้องปรับเปลี่ยนให้เป็นเร็วกว่าวนข้อเสนอแนะการประเมินศูนย์ที่สังเกตการ•ประเมินเครื่องมือที่จำเป็นต้องสร้างเกณฑ์ที่ชัดเจนสำหรับผู้สอบที่สอดคล้องกันตัดสินใจ•การรวมตัวอย่าง 'ใส่คำอธิบายประกอบ' ในเครื่องมือการประเมิน•การพัฒนา และใช้กระบวนการดูแลเพื่อให้แน่ใจความสอดคล้องของผู้ตรวจสอบตัดสินใจข้ามศูนย์ประเมิน

ผลลัพธ์ (ไทย) 2:

การประกันคุณภาพของการตัดสินใจการประเมิน
หนึ่งในวัตถุประสงค์ของการประกันคุณภาพ BAA ของการรับรองศูนย์ประเมินและขั้นตอนการตรวจสอบคือการบรรลุความสอดคล้องของการตัดสินใจการตรวจสอบ ความรับผิดชอบในการตรวจสอบการตัดสินใจอยู่กับศูนย์ประเมินและบทบาทของ BAA คือการให้ข้อเสนอแนะการดูแล (การตรวจสอบผล) แต่เป็นพนักงาน TPQI ระบุเข้าชมสังเกตมุ่งเน้นไปที่ระบบและการปฏิบัติตามขั้นตอนมากกว่าความถูกต้องของการตัดสินใจการประเมินและ 'ดูแล' ข้อเสนอแนะไม่ให้.
ประกันคุณภาพ 'ภายใน' ของการตัดสินใจของผู้ตรวจสอบเป็นความรับผิดชอบของคณะกรรมการศูนย์ประเมินว่าขณะนี้ยังคงเป็น ตรวจสอบ 100% ของการตัดสินใจของผู้ตรวจสอบ นี้คือการปฏิบัติตามข้อกำหนด ISO17024 NZQA ยังคงระมัดระวังการปฏิบัติจริงและความคุ้มค่าของวิธีการนี้ ในฐานะที่เป็นกิจกรรมการประเมินระดับขึ้นยึดมั่นในนโยบายนี้จะมีความต้องการการลงทุนขนาดใหญ่ของเวลาและทรัพยากร NZQA ได้ให้คำแนะนำก่อนหน้านี้ว่า TPQI พิจารณานำวิธีการสุ่มตัวอย่างเพื่อการดูแลของการตัดสินใจการประเมิน.
มีกระบวนการยังไม่มียังอยู่ในสถานที่สำหรับ Inter-ศูนย์ประเมินตรวจสอบความสอดคล้อง ในขณะที่การใช้งานของเครื่องมือในการประเมินร่วมกันค่อนข้างจะช่วยลดทอนความเสี่ยงนี้เชื่อมั่นในคำตัดสินมืออาชีพชดใช้ 'และตารางการประเมินรายละเอียดน้อยที่ยังคงช่วยให้มีศักยภาพของความแปรปรวนมากที่จะเกิดขึ้นระหว่างการประเมินศูนย์.
การใช้เครื่องมือการประเมิน
อีกปัญหาที่เกิดขึ้นใหม่คือไม่ใช่ ใช้งานโดยผู้ตรวจสอบของเครื่องมือในการประเมินที่มาพร้อมกับมาตรฐานการประกอบอาชีพโดยการตรวจสอบ พนักงาน BAA ตั้งข้อสังเกตว่าผู้ตรวจสอบบางส่วนได้รับการปฏิบัติโดยใช้การประเมินผลของตัวเองหรือไม่ปฏิบัติตามหลักเกณฑ์เครื่องมือการประเมินในการตัดสินใจ สถานการณ์เช่นนี้ดูเหมือนจะเกิดขึ้นเนื่องจากการร้องเรียนของผู้ตรวจสอบมากกว่าการไม่สามารถทำได้ (ซับซ้อนเกินไปหรือไม่เหมาะสมสำหรับวัตถุประสงค์) ของบางส่วนของเครื่องมือในการประเมินได้รับการออกแบบจากส่วนกลางขาดรายละเอียดหรือคำแนะนำหลักฐานไม่เพียงพอในตารางการประเมินหรือเพียงแค่การตัดสินใจที่พวกเขา รู้ดี ' . ปัญหานี้เชื่อมโยงไปยังที่ของการออกแบบที่มีคุณภาพที่ระบุโดย BNPQS
TPQI ประเมินตนเอง
พนักงาน TPQI ระบุเฉพาะความกังวลต่อไปนี้:
•ความจำเป็นในการเป็นจุดที่ชัดเจนของความรับผิดชอบในกระบวนการของการรับรองของศูนย์ประเมิน
•เข้าชมสังเกตมุ่งเน้นไปที่การตรวจสอบขั้นตอนการตรวจสอบได้ รับการปฏิบัติตามอย่างถูกต้อง แต่วิธีการขาดการตรวจสอบผลของขั้นตอนที่ (ความสอดคล้องของการตัดสินใจการตรวจสอบโดยผู้ตรวจสอบ)
•ขั้นตอนการปฏิบัติตามจะต้องมีการออกแบบมาเพื่อสะท้อนให้เห็นถึง 'ความไว้วางใจสูงความรับผิดชอบสูง' ปรัชญา
•คุณภาพมาตรการประกันจะต้องมีการออกแบบเพื่อให้บรรลุความสอดคล้อง ของการตัดสินใจของผู้ตรวจสอบ (ตรงข้ามศูนย์การประเมินกลุ่มผู้ตรวจสอบที่แตกต่างกันการตรวจสอบระยะเวลาที่แตกต่างกัน ฯลฯ ) เพื่อแก้ไขบางส่วนของความกังวลเหล่านี้พนักงาน TPQI การกระทำและ / หรือคำแนะนำที่นำเสนอมีดังนี้: •เพื่อระบุพื้นที่ที่สำคัญที่จำเป็นต้องมีมาตรการปฏิบัติตามสำหรับศูนย์การประเมินทั้งหมด (เพื่อ ลดภาระการปฏิบัติตามการประเมินศูนย์) •ว่ามาตรการ 'ภาระ' ควรจะกำหนดไว้ว่าผู้ประเมินศูนย์กับข้อร้องเรียนหรือปัญหาความรับผิดชอบ•รายงานผู้สังเกตการณ์เข้าชมต้องปรับเปลี่ยนเพื่อให้มีความเป็นห่วงความคิดเห็นอย่างรวดเร็วมากขึ้นในการประเมินศูนย์ต่อผลลัพธ์ของการสังเกตนั้น•เครื่องมือในการประเมินจะต้องกำหนดเกณฑ์ที่ชัดเจนสำหรับการตรวจสอบในการตัดสินใจการตรวจสอบความสอดคล้อง•เพื่อรวม 'ข้อเขียน' ตัวอย่างเครื่องมือในการประเมิน•ในการพัฒนาและดำเนินการขั้นตอนการดูแลเพื่อให้สอดคล้องของการตัดสินใจของผู้ตรวจสอบทั่วประเมินศูนย์