Extensive rater training and calibr

Extensive rater training and calibration was not performed before scoring the data. Even so, rater effects are small for the conceptual sophistication construct (z $ ˙0.2) and the validity construct (z $ ˙0.3). The larger rater effects for the specificity construct (z < ˙0.4) are grouped in two narrow clusters, notable in comparison to the relatively flat distribution of rater effects for the other two constructs. This grouping suggests two different scoring interpretations were each applied relatively consistently. This interpretation is supported by rater reports indicating that MR responses, in which sinking is attributed to the density of the object being greater than the density of the medium, were particularly troublesome to score using the specificity outcome space. Some raters consistently placed these responses in the inexact category, as they are similar to responses in which sinking is attributed to the mass of an object being greater than its volume. Such a response is true only when mass is measured with units g and volume is measured with units mL. Stated without units, therefore, such a response is inexact. Other raters consistently placed the density comparison in the exact category, as specifying units in this case is not necessary because one density will always be greater than another regardless of the units used. Reconciling these scoring interpretations would likely decrease the rater effect for the specificity construct. The latter interpretation strikes us as more consistent with the spirit of the specificity construct map.

Although rater effects would likely be smaller as a result of more extensive training and calibration, we always recommend that rater effects be rechecked after any training. Ideally, rater harshness estimates should be included in the measurement model, as was the case here, so that they do not introduce error into the person proficiency estimates.

With the rater effects accounted for by the measurement model, reliability was satisfactory (r # .85) and greater than that for the accuracy estimates (r D .67). The greater reliability of the estimates associated with the three EBRAS constructs as compared to those associated with the accuracy dimension reflects the additional information provided by a polytomous outcome space. That a meaningful polytomous outcome space can be consistently applied to the data reflects the advantages of the multilevel cognitive model of latent proficiency represented by the EBRAS construct maps. This is one of the reasons why we recommend that assessment design always begin with the development of construct maps rather than items

ผลลัพธ์ (ไทย) 1:

Extensive rater training and calibration was not performed before scoring the data. Even so, rater effects are small for the conceptual sophistication construct (z $ ˙0.2) and the validity construct (z $ ˙0.3). The larger rater effects for the specificity construct (z < ˙0.4) are grouped in two narrow clusters, notable in comparison to the relatively flat distribution of rater effects for the other two constructs. This grouping suggests two different scoring interpretations were each applied relatively consistently. This interpretation is supported by rater reports indicating that MR responses, in which sinking is attributed to the density of the object being greater than the density of the medium, were particularly troublesome to score using the specificity outcome space. Some raters consistently placed these responses in the inexact category, as they are similar to responses in which sinking is attributed to the mass of an object being greater than its volume. Such a response is true only when mass is measured with units g and volume is measured with units mL. Stated without units, therefore, such a response is inexact. Other raters consistently placed the density comparison in the exact category, as specifying units in this case is not necessary because one density will always be greater than another regardless of the units used. Reconciling these scoring interpretations would likely decrease the rater effect for the specificity construct. The latter interpretation strikes us as more consistent with the spirit of the specificity construct map.แม้ว่าการประเมินผลจะมีขนาดเล็กผลครอบคลุมมากกว่าการฝึกอบรมและการสอบเทียบ เราเสมอแนะนำให้ ประเมินผลตรวจสอบหลังการฝึกอบรมใด ๆ การประเมินถ่ายประเมินควรจะรวมในแบบวัด เป็นกรณีนี้ เพื่อให้พวกเขาไม่ปรากฏข้อผิดพลาดในการประเมินวัดระดับบุคคลผลประเมินตามแบบการประเมิน ความน่าเชื่อถือได้เป็นที่พอใจ (r #.85) และที่มากกว่าสำหรับความถูกต้องประมาณการ (r D .67). การประเมินที่เกี่ยวข้องกับโครงสร้าง EBRAS สามเมื่อเทียบกับผู้ที่เกี่ยวข้องกับมิติความแม่นยำความน่าเชื่อถือมากขึ้นสะท้อนให้เห็นถึงข้อมูลที่เพิ่มเติมมาจากช่องว่างผล polytomous ว่า พื้นที่ผลประโยชน์ polytomous สามารถจะสอดคล้องกับข้อมูลสะท้อนให้เห็นถึงข้อดีของรูปแบบหลายระดับความรู้ความเข้าใจความสามารถแฝงที่แสดง โดย EBRAS การสร้างแผนที่ นี่คือเหตุผลทำไมเราขอแนะนำว่า การออกแบบการประเมินเสมอเริ่มต้น ด้วยการพัฒนาโครงสร้างแผนที่ไม่ใช่สินค้าอย่างใดอย่างหนึ่ง

ผลลัพธ์ (ไทย) 2:

การฝึกอบรมผู้ประเมินที่กว้างขวางและการสอบเทียบไม่ได้ดำเนินการก่อนที่จะให้คะแนนข้อมูล ดังนั้นแม้ผลกระทบผู้ประเมินมีขนาดเล็กสำหรับการสร้างแนวความคิดที่ซับซ้อน (Z $ ˙0.2) และสร้างความถูกต้อง (Z $ ˙0.3) ประเมินผลกระทบที่มีขนาดใหญ่สำหรับการสร้างความจำเพาะ (Z <˙0.4) จะถูกจัดกลุ่มในสองกลุ่มแคบ ๆ ที่โดดเด่นในการเปรียบเทียบกับการกระจายค่อนข้างแบนของผลประเมินอื่น ๆ สำหรับสองโครงสร้าง การจัดกลุ่มนี้แสดงให้เห็นสองการตีความที่แตกต่างกันให้คะแนนถูกนำไปใช้ในแต่ละที่ค่อนข้างสม่ำเสมอ การตีความนี้ได้รับการสนับสนุนจากรายงานประเมินแสดงให้เห็นว่าการตอบสนองนายซึ่งในการจมประกอบกับความหนาแน่นของวัตถุที่เป็นมากกว่าความหนาแน่นของกลางที่ถูกลำบากโดยเฉพาะอย่างยิ่งที่จะทำคะแนนใช้พื้นที่เฉพาะเจาะจงผล ผู้ประเมินบางอย่างสม่ำเสมอวางคำตอบเหล่านี้อยู่ในหมวดหมู่ไม่แน่นอนเช่นที่พวกเขามีความคล้ายคลึงกับการตอบสนองในการที่จมประกอบกับมวลของวัตถุที่เป็นมากกว่าปริมาณที่เป็นไปตามสัญญา เช่นการตอบสนองเป็นความจริงเฉพาะเมื่อมวลเป็นวัดที่มีหน่วยกรัมและปริมาณเป็นวัดที่มีหน่วยมล โดยไม่ต้องระบุหน่วยดังนั้นการตอบสนองเช่นเป็นไม่แน่นอน ผู้ประเมินอื่น ๆ อย่างต่อเนื่องวางการเปรียบเทียบความหนาแน่นในหมวดหมู่ที่แน่นอนตามที่ระบุหน่วยในกรณีนี้ไม่จำเป็นเพราะความหนาแน่นมักจะสูงกว่าที่อื่นโดยไม่คำนึงถึงหน่วยที่ใช้ กลับมาคืนดีตีความคะแนนเหล่านี้มีแนวโน้มที่จะลดลงผลประเมินในการสร้างความจำเพาะ การตีความหลังเราเป็นนัดสอดคล้องกันมากขึ้นด้วยจิตวิญญาณของความจำเพาะแผนที่สร้างได้.

แม้ว่าผลกระทบประเมินแนวโน้มว่าจะมีขนาดเล็กลงเป็นผลมาจากการฝึกอบรมอย่างกว้างขวางมากขึ้นและการสอบเทียบที่เรามักจะแนะนำว่าผลกระทบจะประเมิน rechecked หลังการฝึกอบรมใด ๆ จะเป็นการดีที่ผู้ประเมินประมาณการความรุนแรงควรรวมอยู่ในรูปแบบการวัดเช่นกรณีที่นี่เพื่อที่ว่าพวกเขาไม่ได้แนะนำข้อผิดพลาดเข้าไปในประมาณการความสามารถคน.

กับผลกระทบที่ประเมินคิดเป็นแบบวัดความน่าเชื่อถือเป็นที่น่าพอใจ (R # 85) และสูงกว่าที่ประมาณการความถูกต้อง (R D 67) ความน่าเชื่อถือมากขึ้นจากประมาณการที่เกี่ยวข้องกับโครงสร้างสาม EBRAS เมื่อเทียบกับผู้ที่เกี่ยวข้องกับมิติความถูกต้องสะท้อนให้เห็นถึงข้อมูลเพิ่มเติมที่ได้รับจากพื้นที่ผลพหุวิภาค ที่เป็นพื้นที่ที่มีความหมายผล polytomous สามารถนำมาใช้อย่างต่อเนื่องกับข้อมูลที่สะท้อนให้เห็นถึงข้อดีของรูปแบบองค์ความรู้หลายระดับของความสามารถแฝงตัวแทนจาก EBRAS สร้างแผนที่ นี้เป็นหนึ่งในเหตุผลที่ว่าทำไมเราขอแนะนำว่าการออกแบบการประเมินมักจะเริ่มต้นด้วยการพัฒนาของการสร้างแผนที่มากกว่ารายการ

ผลลัพธ์ (ไทย) 3:

การฝึกอบรมระดับที่กว้างขวาง และการไม่ปฏิบัติก่อนที่ข้อมูลเกณฑ์การให้คะแนน ดังนั้นแม้ไม่มีผลมีขนาดเล็กสำหรับความซับซ้อนแนวคิดสร้าง ( Z $ ˙ 0.2 ) และความถูกต้องสร้าง ( Z $ ˙ 0.3 ) ขนาดใหญ่ไม่มีผลสำหรับเพาะสร้าง ( Z < ˙ 0.4 ) แบ่งออกเป็นสองกลุ่มแคบ ๆเด่น ในการเปรียบเทียบกับการกระจายค่อนข้างแบนของระดับผลสำหรับอีกสองโครงสร้าง . กลุ่มนี้แสดงให้เห็นการตีความแตกต่างกันสองคะแนนแต่ละคน ใช้ค่อนข้างสม่ำเสมอ การตีความนี้ได้รับการสนับสนุนโดยรายงานระบุว่า นายไม่มีการตอบสนอง ซึ่งจะประกอบกับความหนาแน่นของวัตถุที่ถูกมากกว่าความหนาแน่นของตัวกลางเป็นยุ่งยากโดยเฉพาะอย่างยิ่งเพื่อใช้ผลคะแนนเฉพาะพื้นที่ 2 . การตอบสนองเหล่านี้บางอย่างอยู่ในประเภทไม่ละเอียดตามที่พวกเขาจะคล้ายกับการตอบสนองที่จมมาประกอบกับมวลของวัตถุมีมากกว่าปริมาณ . การตอบสนองดังกล่าวเป็นจริงเฉพาะเมื่อมวลเป็นวัดที่มีหน่วยกรัมและปริมาณวัดด้วยหน่วยมิลลิลิตรระบุไม่มีหน่วย ดังนั้น การตอบสนองดังกล่าวจะไม่ละเอียด . จำนวนอื่น ๆวางไว้อย่างต่อเนื่องความหนาแน่นเปรียบเทียบประเภทที่แน่นอน เช่น การระบุหน่วยในกรณีนี้คือไม่จำเป็น เพราะความหนาแน่นจะเป็นมากกว่าอีก ไม่ว่าหน่วยที่ใช้ ยอมรับการตีความเหล่านี้คะแนนอาจลดระดับต่อความจำเพาะสร้าง การตีความหลังนัดเราเป็นมากขึ้นสอดคล้องกับจิตวิญญาณของความจำเพาะสร้างแผนที่แม้ว่าจะไม่มีผล อาจจะมีขนาดเล็กลง ผลของการฝึกอบรมที่กว้างขวางมากขึ้นและปรับแต่ง เรามักจะแนะนำให้ระดับผลเป็นมาตรฐานหลังจากการฝึกอบรมใด ๆ ใจกลาง ระดับความรุนแรงประมาณการควรจะรวมอยู่ในโมเดลการวัด เป็น กรณี นี้ เพื่อที่พวกเขาไม่แนะนำข้อผิดพลาดในบุคคลถิ่นที่ประมาณการกับระดับผลคิดโดยรูปแบบการวัดความน่าเชื่อถือและ ( r # . 85 ) และสูงกว่าประมาณการเพื่อความถูกต้อง ( R D . 67 ) มากขึ้นความน่าเชื่อถือของการประเมินที่เกี่ยวข้องกับสาม ebras สร้างเมื่อเทียบกับผู้ที่เกี่ยวข้องกับความถูกต้องมิติที่สะท้อนให้เห็นถึงข้อมูลเพิ่มเติมให้ โดยพื้นที่ผลหญิง . ที่พื้นที่ที่มีผลหญิงสามารถใช้อย่างต่อเนื่องเพื่อให้ข้อมูลสะท้อนให้เห็นถึงข้อดีของรูปแบบการคิดแบบแฝงความสามารถแสดงโดย ebras สร้างแผนที่ นี้เป็นหนึ่งในเหตุผลที่เราขอแนะนำในการประเมินการออกแบบมักจะเริ่มต้นด้วยการสร้างแผนที่มากกว่ารายการ