The separation between PV and FV th

The separation between PV and FV thresholds depends on the reasoning process required by the item. For the items that require application of a rule to a specific object (i.e., 3b, 3c, 4cA, 6bA, 6dA, 6dB), very few partially valid responses were observed; this process is relatively straightforward, and only in rare cases did a student’s deduction of the correct premise or claim contradict their stated rule. Exceptions to this trend occurred when the specific object described in the item stem fell outside the range of applicability of the rule. These items (4cB, 6fB), as predicted, elicited many more PV responses.

In contrast to items requiring application, items requiring analysis or interpretation (i.e., 4b, 7abA, 6bB) elicited many partially valid responses. By far the most common fallacy observed in these responses was stating a rule or describing evidence that ignores some of the data. For example, a typical PV response might describe the common characteristics of a class of objects that sink but forget to describe the characteristics of the objects that float or subsurface float.

Considering all the validity thresholds together, the most difficult item was Item 3c. This item was designed to probe students’ facility with identifying counterevidence that would disprove a stated rule. As expected, this aspect of valid reasoning was particularly difficult. On the other end of the scale, the easiest items were Items 6bA and 6dA. These two items present the buoyancy of an object in freshwater and require the student to predict the buoyancy of the same object in saltwater by choosing one of five pictures showing different outcomes. In particular, both the NL and FV thresholds were lower than all the other items. We attribute the low FV thresholds to the familiarity of this item as a canonical example and demonstration in science classrooms. If students remember these items from class, that would explain why responses tend to be both FV and IE, as explained in the Specificity section.


Accuracy. Among the accuracy items, by far the three hardest (4cB, 6dA, 6eB) all require the student to recognize that it is impossible to tell whether an object would sink or float given the information presented. These items were 2.0 to 3.0 logits more difficult than the mean item difficulty; the model predicts a student with mean proficiency (0.5 logits) would have only a 5 to 15% probability of answering these items correctly. Although two of these three items were well modeled as indicated by their fit statistics, the third (6eB) elicited more random responses than expected (MS D 1.34, t D 2.8). This item required students to agree or disagree with a hypothetical student’s prediction. Because this format elicited expected responses from similar items (i.e., 7bA, 6cB), the lack of a definite answer in this case apparently encourages students to accept the offered prediction rather than report their uncertainty. Based on the unexpected responses, this tendency must be only weakly correlated with the measured proficiency.

The easiest accuracy item (6cB) provided data on the buoyancy of certain objects and asked whether an additional object would sink or float. Although other items with this format (i.e., 4cA, 7bA) were relatively difficult, the objects in Item 6cB were presented so their relative properties were displayed visually rather than with numerical data. This may have made the comparison much simpler.

In addition to Item 6eB, two other accuracy items elicited unexpected responses. The first item (1a) requires students to not only determine the density of two liquids relative to an object but also use that information to predict which liquid would float on top of the other liquid. This extended reasoning may have drawn upon proficiencies not strongly correlated with what the accuracy dimension measures, leading to surprisingly unpredictable responses (MS D 1.20, t D 3.1). The second item (6bA) asks students what would happen to a block when moved from freshwater to saltwater. As described previously, this item presents a canonical situation, discussed and demonstrated in many science classrooms. Consequently, students may have found it easier to recall rather than deduce the correct answer, leading to surprisingly predictable responses (MS D 0.80, t D !2.4).

These results underscore fairly ubiquitous item design principles: (a) Items should be de-signed with a clear model of how multiple proficiencies, if necessary, contribute to producing a response; otherwise, unexpected responses are more likely; (b) although items should reflect the content and procedures valued by the curriculum (American Educational Research Association et al., 1999; Wilson, 2005), they shouldn’t be clones of common situations encountered in the classroom as this is likely to stimulate recall rather than the latent proficiency; and (c) even when guidelines such as these are employed in item design,

ผลลัพธ์ (ไทย) 2:

การแยกระหว่าง PV และเกณฑ์ FV ขึ้นอยู่กับขั้นตอนการให้เหตุผลที่จำเป็นโดยรายการ สำหรับรายการที่จำเป็นต้องมีการประยุกต์ใช้กฎเพื่อวัตถุที่เฉพาะเจาะจง (เช่น 3B, 3C, 4cA, 6BA, 6DA, 6dB) น้อยมากคำตอบที่ถูกต้องบางส่วนถูกตั้งข้อสังเกต; ขั้นตอนนี้จะค่อนข้างตรงไปตรงมาและเฉพาะในกรณีที่หายากไม่หักของนักเรียนของสถานที่ตั้งที่ถูกต้องหรือข้อเรียกร้องขัดแย้งกับกฎของพวกเขากล่าว ข้อยกเว้นแนวโน้มนี้เกิดขึ้นเมื่อวัตถุที่เฉพาะเจาะจงที่อธิบายไว้ในลำต้นรายการลดลงนอกช่วงของการบังคับของกฎ รายการเหล่านี้ (4cB, 6FB) เป็นที่คาดการณ์, ออกมาจำนวนมากการตอบสนองมากขึ้น PV.

ในทางตรงกันข้ามกับรายการที่กำหนดโปรแกรมรายการที่ต้องวิเคราะห์หรือการตีความ (เช่น 4B, 7abA, 6BB) ก่อให้เกิดการตอบสนองที่ถูกต้องบางส่วนจำนวนมาก ไกลโดยการเข้าใจผิดที่พบมากที่สุดที่สังเกตในคำตอบเหล่านี้ได้รับการระบุกฎหรืออธิบายหลักฐานที่แสดงว่าไม่สนใจข้อมูลบางส่วน ยกตัวอย่างเช่นการตอบสนอง PV ทั่วไปอาจอธิบายลักษณะทั่วไปของชั้นเรียนของวัตถุที่จม แต่ลืมที่จะอธิบายลักษณะของวัตถุที่ลอยหรือดินลอย. the

พิจารณาทั้งหมดเกณฑ์ความถูกต้องร่วมกันรายการที่ยากที่สุดคือ 3c รายการ รายการนี้ถูกออกแบบมาเพื่อตรวจสอบสิ่งอำนวยความสะดวกของนักเรียนที่มีการระบุ counterevidence ที่จะหักล้างกฎที่ระบุไว้ คาดว่าจะเป็นลักษณะของการให้เหตุผลที่ถูกต้องนี้เป็นเรื่องยากโดยเฉพาะอย่างยิ่ง ในส่วนอื่น ๆ ของขนาดรายการที่ง่ายที่สุดที่เป็นรายการ 6BA และ 6DA ทั้งสองรายการจะนำเสนอการลอยตัวของวัตถุในน้ำจืดนั้นและต้องมีนักเรียนที่จะคาดการณ์การลอยตัวของวัตถุเดียวกันในน้ำเค็มโดยเลือกหนึ่งในห้าของภาพที่แสดงให้เห็นผลลัพธ์ที่แตกต่าง โดยเฉพาะอย่างยิ่งทั้ง NL และ FV เกณฑ์ต่ำกว่าทุกรายการอื่น ๆ เราเชื่อเกณฑ์ FV ต่ำเพื่อความคุ้นเคยของรายการนี้เป็นตัวอย่างที่เป็นที่ยอมรับและการสาธิตในห้องเรียนวิทยาศาสตร์ หากนักเรียนจำรายการเหล่านี้จากระดับที่จะอธิบายว่าทำไมคำตอบมีแนวโน้มที่จะเป็นได้ทั้ง FV และ IE ตามที่อธิบายไว้ในส่วนจำเพาะ.


ความถูกต้อง ในรายการความถูกต้องโดยไกลที่ยากที่สุดในสาม (4cB, 6DA, 6EB) ทั้งหมดต้องของนักเรียนที่จะรับรู้ว่ามันเป็นไปไม่ได้ที่จะบอกว่าวัตถุจะจมหรือลอยได้รับข้อมูลที่นำเสนอ รายการเหล่านี้เป็น 2.0-3.0 logits ยากกว่าความยากลำบากในรายการเฉลี่ย; รูปแบบการคาดการณ์ของนักเรียนที่มีความสามารถเฉลี่ย (0.5 logits) จะมีเพียงความน่าจะเป็น 5 ถึง 15% ของการตอบได้อย่างถูกต้องรายการเหล่านี้ แม้ว่าทั้งสองของทั้งสามรายการถูกย่อมดีตามที่ระบุโดยสถิติพอดีของพวกเขาที่สาม (6EB) ก่อให้เกิดการตอบสนองแบบสุ่มมากกว่าที่คาดไว้ (MS D 1.34, T D 2.8) รายการนี้ต้องให้นักเรียนที่จะเห็นด้วยหรือไม่เห็นด้วยกับการคาดการณ์ของนักเรียนสมมุติ เพราะรูปแบบนี้ออกมาตอบสนองที่คาดว่าจะมาจากรายการที่คล้ายกัน (เช่น 7ba, 6cB) ขาดคำตอบที่ชัดเจนในกรณีนี้เห็นได้ชัดว่าสนับสนุนให้นักเรียนที่จะยอมรับคำทำนายที่นำเสนอมากกว่ารายงานความไม่แน่นอนของพวกเขา ขึ้นอยู่กับการตอบสนองที่ไม่คาดคิดแนวโน้มนี้จะต้องมีความสัมพันธ์เพียงอย่างอ่อนกับความสามารถที่วัด.

รายการความถูกต้องที่ง่ายที่สุด (6cB) ที่มีข้อมูลเกี่ยวกับการลอยตัวของวัตถุบางอย่างและถามว่าวัตถุเพิ่มเติมจะจมหรือลอย แม้ว่ารายการอื่น ๆ ที่มีรูปแบบนี้ (เช่น 4cA, 7ba) ค่อนข้างยากวัตถุในรายการ 6cB ถูกนำเสนอเพื่อให้คุณสมบัติญาติของพวกเขามีการแสดงผลทางสายตามากกว่ากับข้อมูลตัวเลข เรื่องนี้อาจจะทำให้การเปรียบเทียบที่ง่ายมาก.

นอกจาก 6EB รายการสองรายการความถูกต้องอื่น ๆ ที่ก่อให้เกิดการตอบสนองที่ไม่คาดคิด รายการแรก (1A) นักเรียนต้องไม่เพียง แต่ตรวจสอบความหนาแน่นของของเหลวที่สองเมื่อเทียบกับวัตถุ แต่ยังใช้ข้อมูลที่จะคาดการณ์ที่ของเหลวจะลอยอยู่ด้านบนของของเหลวอื่น ๆ เหตุผลนี้อาจขยายได้วาดเมื่อ proficiencies ไม่มีความสัมพันธ์อย่างมากกับสิ่งที่เป็นความถูกต้องมิติมาตรการที่นำไปสู่การตอบสนองที่คาดเดาไม่น่าแปลกใจ (MS D 1.20, T D 3.1) รายการที่สอง (6BA) ให้นักเรียนสิ่งที่จะเกิดขึ้นกับบล็อกเมื่อย้ายจากน้ำจืดน้ำเค็ม ตามที่อธิบายไว้ก่อนหน้านี้ที่มีการจัดรายการนี้เป็นสถานการณ์ที่ยอมรับหารือและแสดงให้เห็นในห้องเรียนวิทยาศาสตร์จำนวนมาก . ดังนั้นนักเรียนอาจจะพบว่ามันง่ายที่จะจำมากกว่าสรุปคำตอบที่ถูกนำไปสู่การตอบสนองที่คาดการณ์ที่น่าแปลกใจ (! MS D 0.80, T D 2.4)

ผลการศึกษานี้เน้นย้ำหลักการออกแบบรายการที่แพร่หลายอย่างเป็นธรรม (ก) รายการที่ควรจะ de- ลงนามที่มีรูปแบบที่ชัดเจนของความช่ำชองวิธีการหลายกรณีที่จำเป็นนำไปสู่การผลิตตอบสนอง; การตอบสนองที่ไม่คาดคิดอย่างอื่นมีแนวโน้มมากขึ้น; (ข) แม้ว่ารายการควรจะสะท้อนถึงเนื้อหาและวิธีการที่มูลค่าโดยหลักสูตร (วิจัยการศึกษาสมาคมอเมริกัน et al, 1999;. วิลสัน, 2005) พวกเขาไม่ควรจะโคลนสถานการณ์ทั่วไปที่พบในห้องเรียนเช่นนี้มีแนวโน้มที่จะกระตุ้นให้เกิดการ จำได้มากกว่าความสามารถแฝง; และ (ค) แม้ในขณะที่แนวทางเช่นนี้มีการจ้างงานในการออกแบบรายการ