SummaryThe primary objective of the

Summary
The primary objective of the present paper was to exemplify the application of Standards 2.14, 2.15, and 14.15, deriving and publishing the statistics recommended when cut scores are used for classifying students.
Twelve data sets were employed. Two software systems, Lertap 5 (Nelson, 2000), and BB-Class
(Brennan, 2004) were applied to the data sets in order to obtain the statistics wanted: estimates of (1) the
standard error of measurement at the cut score (CSEM), (2) classification consistency ( p0 ), and (3), the
value of the dependability index at the cut score (Φ(λ)). Results are presented above in Tables 1 and
It is hoped that the publication of these results will contribute to establishing basal data for others to Refer to. The twelve data sets represent the work of professional test developers in three areas of the world; they are thought to be representative of present day practice.
A secondary objective was to investigate and experiment with the use of appropriate software. Prior to this paper, Lertap 5 could be used to derive estimates of p0 and Φ(λ), but it did not have a facility for reporting CSEMs, conditional standard error of measurement estimates. (Now it does.)
The TVAP program (Biddle, 2003) is a comprehensive system; its manual alone represents a solid resource for developers and users of mastery tests. However, its use of Thorndike’s (1951) method of deriving CSEMs would not be recommended unless sample size is sufficient to provide an adequate number of results within each score interval.
Lertap computes its estimate of p0 using a method suggested by Peng and Subkoviak (1980), a
computational shortcut to Huyhn (1976). Hanson and Brennan (1990) found reason to question the adequacy of the two-parameter beta binomial model which underpins Huyhn’s approach, finding that a four-parameter model was superior in some cases. Brennan’s (2004) BB-Class program was used to look into this matter; it was found that the Peng-Subkoviak estimates produced by Lertap were adequate as long as test score distributions were free from clusters of scores at either end of the range.
The appendix provides an example of Lertap 5 control lines which would produce reports with
CSEM, p0 , and Φ(λ) estimates for a range of cut-score (“mastery=”) settings.

ผลลัพธ์ (ไทย) 1:

สรุปวัตถุประสงค์หลักของกระดาษปัจจุบันได้ exemplify แอพลิเคชันมาตรฐาน 2.14, 2.15 และ 14.15 บริษัทฯ และเผยแพร่สถิติที่แนะนำเมื่อใช้ตัดคะแนนในประเภทนักเรียนชุดข้อมูล 12 ถูกจ้าง ระบบซอฟต์แวร์สอง Lertap 5 (เนลสัน 2000), และบีบีคลาส(Brennan, 2004) ที่ใช้กับชุดข้อมูลเพื่อให้ได้สถิติที่ต้องการ: ประเมิน (1) การข้อผิดพลาดมาตรฐานของการวัดที่ตัดคะแนน (CSEM), การจัดประเภท (2) ความสอดคล้อง (p0), และ (3), การค่าของดัชนี dependability ที่ตัดคะแนน (Φ(λ)) ผลลัพธ์จะแสดงข้างบนในตาราง 1 และหวังว่า การเผยแพร่ผลลัพธ์เหล่านี้จะสนับสนุนการสร้างข้อมูลโรคผู้อื่นเพื่อดู ชุดข้อมูล 12 แสดงการทำงานของนักพัฒนามืออาชีพทดสอบในพื้นที่สามโลก พวกเขาจะคิดว่า เป็น ตัวแทนของการปฏิบัติปัจจุบันวัตถุประสงค์รองคือการ ตรวจสอบ และทดลองการใช้ซอฟต์แวร์ที่เหมาะสม ก่อนนี้กระดาษ Lertap 5 สามารถใช้ได้รับการประเมินของ p0 และΦ(λ) แต่มันไม่มีสิ่งอำนวยความสะดวกสำหรับการ CSEMs ข้อผิดพลาดมาตรฐานเงื่อนไขการวัดประเมิน (ตอนนี้ไม่)โปรแกรม TVAP (Biddle, 2003) เป็นระบบที่ครอบคลุม คู่มือการอยู่คนเดียวหมายถึงทรัพยากรที่เป็นของแข็งสำหรับนักพัฒนาและผู้ใช้สามารถทดสอบ อย่างไรก็ตาม การใช้วิธีการของ Thorndike (1951) ของบริษัทฯ CSEMs จะไม่ได้แนะนำยกเว้นขนาดตัวอย่างเพียงพอเพื่อให้จำนวนผลที่เพียงพอในแต่ละช่วงคะแนนLertap คำนวณการประเมินของ p0 ใช้วิธีแนะนำเปงและ Subkoviak (1980), การทางลัดที่คำนวณไป Huyhn (1976) แฮนสันและเบรนแนน (1990) พบเหตุผลเพียงพอรุ่นทวินามเบต้าสองพารามิเตอร์ซึ่ง underpins ของ Huyhn วิธี หาว่า แบบ 4 พารามิเตอร์เหนือกว่าในบางกรณี คำถาม ใช้ของเบรนแนน (2004) คลาส BB โปรแกรมให้ดูในเรื่องนี้ พบว่า ประเมินเป็ง Subkoviak ผลิต โดย Lertap ได้เพียงพอตราบใดที่การกระจายของคะแนนการทดสอบได้จากของคะแนนที่เป็นจุดสิ้นสุดของช่วงนั้นภาคผนวกให้ตัวอย่างของบรรทัดควบคุม Lertap 5 ที่จะทำรายงานด้วยประมาณ CSEM, p0 และΦ(λ)ในช่วงของการตัดคะแนน ("เป็นครู =") การตั้งค่า

ผลลัพธ์ (ไทย) 2:

สรุป
วัตถุประสงค์หลักของกระดาษในปัจจุบันคือการเป็นตัวอย่างการประยุกต์ใช้มาตรฐาน 2.14, 2.15 และ 14.15 สืบมาและการเผยแพร่สถิติที่แนะนำเมื่อคะแนนตัดที่ใช้สำหรับการแบ่งประเภทของนักเรียน.
สิบสองชุดข้อมูลที่ถูกว่าจ้าง สองระบบซอฟต์แวร์ Lertap 5 (เนลสัน, 2000) และ BB-Class
(เบรนแนน, 2004) ถูกนำไปใช้กับชุดข้อมูลเพื่อให้ได้สถิติที่ต้องการ: ประมาณการของ (1)
ข้อผิดพลาดมาตรฐานของการวัดที่ตัดคะแนน ( CSEM), (2) การจัดหมวดหมู่ความสอดคล้อง (p0) และ (3)
ค่าดัชนีความเชื่อถือที่ตัดคะแนน (Φ (λ)) ผลการค้นหาจะนำเสนอข้างต้นในตารางที่ 1 และ
ก็หวังว่าการประกาศของผลลัพธ์เหล่านี้จะส่งผลให้การสร้างฐานข้อมูลเพื่อให้ผู้อื่นอ้างถึง สิบสองชุดข้อมูลเป็นตัวแทนของการทำงานของนักพัฒนาทดสอบมืออาชีพในพื้นที่สามของโลก; พวกเขามีความคิดที่จะเป็นตัวแทนของการปฏิบัติในยุคปัจจุบัน.
วัตถุประสงค์รองคือการตรวจสอบและการทดสอบด้วยการใช้ซอฟต์แวร์ที่เหมาะสม ก่อนที่จะมีกระดาษนี้ Lertap 5 สามารถนำมาใช้จะได้รับการประเมินและ p0 Φ (λ) แต่มันไม่ได้มีสิ่งอำนวยความสะดวกสำหรับการรายงาน CSEMs ข้อผิดพลาดมาตรฐานตามเงื่อนไขของการประมาณการการวัด (ตอนนี้มันจะ.)
โปรแกรม TVAP (เฮย์เวิร์ด, 2003) เป็นระบบที่ครอบคลุม; คู่มือการเพียงอย่างเดียวหมายถึงทรัพยากรที่มั่นคงสำหรับนักพัฒนาและผู้ใช้จากการทดสอบการเรียนรู้ อย่างไรก็ตามการใช้ของ Thorndike ของ (1951) วิธีการได้มา CSEMs จะไม่ได้รับการแนะนำเว้นแต่ขนาดของกลุ่มตัวอย่างจะเพียงพอที่จะให้จำนวนที่เพียงพอของผลภายในแต่ละช่วงคะแนน.
Lertap คำนวณประมาณการของ p0 โดยใช้วิธีการที่แนะนำโดยเป็งและ Subkoviak (1980 ) ซึ่งเป็น
ทางลัดในการคำนวณ Huyhn (1976) แฮนสันและเบรนแนน (1990) พบว่าไม่มีเหตุผลที่จะตั้งคำถามกับความเพียงพอของสองพารามิเตอร์รูปแบบทวินามเบต้าซึ่งรมย์วิธี Huyhn ที่พบว่ารูปแบบที่สี่พารามิเตอร์ได้ดีกว่าในบางกรณี เบรนแนนของ (2004) โปรแกรม BB-Class ถูกใช้ในการเข้าไปดูเรื่องนี้ พบว่าประมาณการ Peng-Subkoviak ผลิตโดย Lertap เพียงพอตราบเท่าที่การกระจายคะแนนการทดสอบเป็นอิสระจากกลุ่มของคะแนนที่ปลายทั้งสองของช่วง.
ภาคผนวกให้ตัวอย่างของ Lertap 5 สายควบคุมซึ่งจะผลิตรายงานที่มี
CSEM, p0 และΦ (λ) ประมาณการสำหรับช่วงของการตัดคะแนน ("การเรียนรู้ =") การตั้งค่า

ผลลัพธ์ (ไทย) 3:

สรุปวัตถุประสงค์หลักของกระดาษในปัจจุบัน คือ ยกตัวอย่างการประยุกต์ใช้มาตรฐาน 2.14 2.15 , 14.15 และใช้ และเผยแพร่สถิติที่แนะนำเมื่อคะแนนตัดใช้เพื่อจัดกลุ่มนักเรียน ชุดข้อมูล
12 งาน สองซอฟต์แวร์ระบบ lertap 5 ( เนลสัน , 2000 ) และ
คลาส BB ( เบรนแนน2004 ) มาใช้กับชุดข้อมูลเพื่อให้ได้ข้อมูลที่ต้องการ : ประมาณ ( 1 )
ความคลาดเคลื่อนมาตรฐานของการวัดที่ตัดคะแนน ( csem ) , ( 2 ) การจำแนกความสอดคล้อง ( PO ) และ ( 3 ) , ค่าดัชนีความเชื่อถือได้
ที่ตัดคะแนน ( Φ ( λ ) ) ผลลัพธ์ที่ได้จะแสดงในตารางที่ 1 และ
ข้างบนก็หวังว่าการประกาศผลเหล่านี้จะนำไปสู่การจัดตั้งข้อมูลพื้นฐานสำหรับคนอื่น ๆที่จะอ้างถึง ข้อมูล 12 ชุดแสดงการทํางานของนักพัฒนาทดสอบมืออาชีพ พื้นที่ 1 ใน 3 ของโลก พวกเขามีความคิดที่จะเป็นตัวแทนของการปฏิบัติในปัจจุบัน
วัตถุประสงค์รองเพื่อศึกษาและทดลองใช้ซอฟต์แวร์ที่เหมาะสม ก่อนที่กระดาษนี้lertap 5 อาจจะเคยได้รับการประเมิน และΦ ( λด้วย ) แต่มันไม่ได้มีสถานที่สำหรับการรายงาน csems ความคลาดเคลื่อนมาตรฐานของการวัดประเมินเงื่อนไข . ตอนนี้ ( มัน )
โปรแกรม tvap ( เฮย์เวิร์ด , 2003 ) เป็นระบบที่ครอบคลุม คู่มือของคนเดียวเป็นทรัพยากรที่เป็นของแข็งสำหรับนักพัฒนาและผู้ใช้แบบทดสอบการเรียนรู้ . อย่างไรก็ตามการใช้งานของธอร์นไดค์ ( 1951 ) วิธีการได้รับ csems จะไม่แนะนำถ้าขนาดตัวอย่างไม่เพียงพอที่จะให้มีจำนวนเพียงพอของผลคะแนนในแต่ละช่วง .
lertap คำนวณประมาณของ PO โดยใช้วิธีที่แนะนำโดยเปง และ subkoviak ( 1980 ) ,
ลัดคอมพิวเตอร์เพื่อ huyhn ( 1976 )แฮนสันและ เบรน ( 1990 ) พบเหตุผลที่จะถามความเพียงพอของทั้งสองพารามิเตอร์ Beta แบบรุ่นที่สนับสนุนแนวทางของ huyhn , พบว่าแบบจำลองสี่พารามิเตอร์ที่เหนือกว่าในบางกรณี เบรนแนน ( 2004 ) โปรแกรมเรียน BB ใช้ดูในเรื่องนี้พบว่าเปง subkoviak ประมาณการผลิตโดย lertap ได้เพียงพอ ตราบใดที่คะแนนการทดสอบการแจกแจงเป็นอิสระจากกลุ่มของคะแนนที่สิ้นสุดของช่วง .
ไส้ติ่งให้ตัวอย่างของ lertap 5 สายควบคุม ซึ่งจะผลิตรายงานที่มี csem P0
, , และΦ ( λ ) ประมาณการสำหรับช่วงของคะแนน ตัด ( Mastery = " ) การตั้งค่า