The separation between PV and FV th

The separation between PV and FV thresholds depends on the reasoning process required by the item. For the items that require application of a rule to a specific object (i.e., 3b, 3c, 4cA, 6bA, 6dA, 6dB), very few partially valid responses were observed; this process is relatively straightforward, and only in rare cases did a student’s deduction of the correct premise or claim contradict their stated rule. Exceptions to this trend occurred when the specific object described in the item stem fell outside the range of applicability of the rule. These items (4cB, 6fB), as predicted, elicited many more PV responses.

In contrast to items requiring application, items requiring analysis or interpretation (i.e., 4b, 7abA, 6bB) elicited many partially valid responses. By far the most common fallacy observed in these responses was stating a rule or describing evidence that ignores some of the data. For example, a typical PV response might describe the common characteristics of a class of objects that sink but forget to describe the characteristics of the objects that float or subsurface float.

Considering all the validity thresholds together, the most difficult item was Item 3c. This item was designed to probe students’ facility with identifying counterevidence that would disprove a stated rule. As expected, this aspect of valid reasoning was particularly difficult. On the other end of the scale, the easiest items were Items 6bA and 6dA. These two items present the buoyancy of an object in freshwater and require the student to predict the buoyancy of the same object in saltwater by choosing one of five pictures showing different outcomes. In particular, both the NL and FV thresholds were lower than all the other items. We attribute the low FV thresholds to the familiarity of this item as a canonical example and demonstration in science classrooms. If students remember these items from class, that would explain why responses tend to be both FV and IE, as explained in the Specificity section.


Accuracy. Among the accuracy items, by far the three hardest (4cB, 6dA, 6eB) all require the student to recognize that it is impossible to tell whether an object would sink or float given the information presented. These items were 2.0 to 3.0 logits more difficult than the mean item difficulty; the model predicts a student with mean proficiency (0.5 logits) would have only a 5 to 15% probability of answering these items correctly. Although two of these three items were well modeled as indicated by their fit statistics, the third (6eB) elicited more random responses than expected (MS D 1.34, t D 2.8). This item required students to agree or disagree with a hypothetical student’s prediction. Because this format elicited expected responses from similar items (i.e., 7bA, 6cB), the lack of a definite answer in this case apparently encourages students to accept the offered prediction rather than report their uncertainty. Based on the unexpected responses, this tendency must be only weakly correlated with the measured proficiency.

The easiest accuracy item (6cB) provided data on the buoyancy of certain objects and asked whether an additional object would sink or float. Although other items with this format (i.e., 4cA, 7bA) were relatively difficult, the objects in Item 6cB were presented so their relative properties were displayed visually rather than with numerical data. This may have made the comparison much simpler.

In addition to Item 6eB, two other accuracy items elicited unexpected responses. The first item (1a) requires students to not only determine the density of two liquids relative to an object but also use that information to predict which liquid would float on top of the other liquid. This extended reasoning may have drawn upon proficiencies not strongly correlated with what the accuracy dimension measures, leading to surprisingly unpredictable responses (MS D 1.20, t D 3.1). The second item (6bA) asks students what would happen to a block when moved from freshwater to saltwater. As described previously, this item presents a canonical situation, discussed and demonstrated in many science classrooms. Consequently, students may have found it easier to recall rather than deduce the correct answer, leading to surprisingly predictable responses (MS D 0.80, t D !2.4).

These results underscore fairly ubiquitous item design principles: (a) Items should be de-signed with a clear model of how multiple proficiencies, if necessary, contribute to producing a response; otherwise, unexpected responses are more likely; (b) although items should reflect the content and procedures valued by the curriculum (American Educational Research Association et al., 1999; Wilson, 2005), they shouldn’t be clones of common situations encountered in the classroom as this is likely to stimulate recall rather than the latent proficiency; and (c) even when guidelines such as these are employed in item design,

ผลลัพธ์ (ไทย) 1:

การแยกระหว่าง PV และ FV ขีดจำกัดขึ้นอยู่กับกระบวนการให้เหตุผลที่จำเป็น โดยสินค้า สำหรับสินค้าที่ต้องใช้โปรแกรมประยุกต์ของกฎเพื่อวัตถุ (เช่น 3b, 3c, 4cA, 6bA, 6dA, 6dB), การตอบสนองบางส่วนถูกต้องน้อยมากถูกตั้งข้อสังเกต กระบวนการนี้ค่อนข้างตรงไปตรงมา และเฉพาะในบางกรณีไม่หักสถานที่ถูกต้องของนักเรียน หรือเรียกร้องขัดแย้งกับกฎระบุไว้ ข้อยกเว้นแนวโน้มนี้เกิดขึ้นเมื่อวัตถุที่อธิบายไว้ในลำต้นสินค้าตกนอกช่วงของการยอมรับกฎ รายการเหล่านี้ (4cB, 6fB), เป็นที่คาดการณ์ elicited ตอบ PV เพิ่มเติมมากมายตรงกันข้ามกับศัพท์ประยุกต์ รายการที่ต้องการวิเคราะห์หรือตีความ (เช่น 4b, 7abA, 6bB) เกิดหลายคำตอบที่ถูกต้องเพียงบางส่วน โดยทั่วไปสังเกตในคำตอบเหล่านี้เข้าใจผิดกฎระบุ หรืออธิบายหลักฐานที่ละเว้นข้อมูลบางส่วน ตัวอย่างเช่น การตอบสนองทั่วไปของ PV อาจอธิบายลักษณะทั่วไปของคลาสของวัตถุที่จม แต่ลืมอธิบายคุณลักษณะของวัตถุ ที่ลอยหรือลอยใต้ผิวดินพิจารณาเกณฑ์อายุทั้งหมดด้วยกัน สินค้ายากที่สุดคือ สินค้า 3c รายการนี้ถูกออกแบบให้สอบสวนอำนวยความสะดวกนักกับการระบุ counterevidence ที่จะพิสูจน์หักล้างกฎระบุไว้ ตามที่คาดไว้ ด้านนี้ให้เหตุผลที่ถูกต้องเป็นเรื่องยากโดยเฉพาะอย่างยิ่ง ในส่วนอื่น ๆ ของเครื่องชั่ง สินค้าง่ายที่สุดถูกสินค้า 6bA และ 6dA สินค้าทั้งสองนี้แสดงการลอยตัวของวัตถุในน้ำจืด และต้องการนักเรียนจะทำนายการลอยตัวของวัตถุเดียวกันในน้ำเค็ม โดยการเลือกหนึ่งในห้ารูปแสดงผลลัพธ์ต่าง ๆ โดยเฉพาะอย่างยิ่ง NL และ FV เกณฑ์ต่ำกว่ารายการอื่น ๆ ได้ เราสามารถกำหนด FV thresholds ต่ำกับความคุ้นเคยของสินค้านี้เป็นตัวอย่างมาตรฐานและสาธิตในห้องเรียนวิทยาศาสตร์ ถ้านักเรียนจำสินค้าเหล่านี้จากคลาส ที่จะอธิบายว่า ทำไมคำตอบมักจะ FV และ IE ตามที่อธิบายไว้ในส่วนความจำเพาะความถูกต้อง ระหว่างรายการความถูกต้อง โดยไกลสามที่ยากที่สุด (4cB, 6dA, 6eB) ทั้งหมดต้องมีนักเรียนรับรู้ว่า มันเป็นไปไม่ได้บอกว่า วัตถุจะจมหรือลอยให้ข้อมูลที่นำเสนอ รายการเหล่านี้ได้ยากกว่าสินค้าหมายถึงความยากลำบาก logits 2.0 3.0 แบบจำลองการคาดการณ์นักเรียนที่ มีหมายถึงความสามารถ (0.5 logits) จะมีโอกาสเพียง 5-15% ของตอบรายการเหล่านี้อย่างถูกต้อง แม้ว่าทั้งสองสามรายการเหล่านี้ถูกจำลองตามที่ระบุ โดยสถิติพอดี สาม (6eB) เกิดการตอบสนองสุ่มมากขึ้นกว่าที่คาดไว้ (MS D 1.34, t D 2.8) สินค้านี้ต้องการนักเรียนเห็นด้วย หรือไม่เห็นด้วยกับการคาดเดาของนักเรียนสมมุติ เนื่องจากรูปแบบนี้เกิดการตอบสนองที่คาดไว้จากรายการที่คล้ายกัน (เช่น 7bA, 6cB), ไม่มีคำตอบที่แน่นอนในกรณีนี้เห็นได้ชัดว่าสนับสนุนให้นักเรียนยอมรับการนำเสนอการคาดการณ์ มากกว่าที่รายงานความไม่แน่นอนของพวกเขา ตามการตอบสนองที่ไม่คาดคิด แนวโน้มนี้ต้องเฉพาะอ่อนมีความสัมพันธ์กับความสามารถวัดให้ข้อมูลในการลอยตัวของวัตถุบางอย่าง และถามว่า ต้องจม หรือลอยวัตถุเพิ่มเติมสินค้าแม่นยำที่ง่ายที่สุด (6cB) แม้ว่ารายการอื่น ๆ ด้วย (เช่น 4cA, 7bA) รูปแบบนี้ได้ค่อนข้างยาก วัตถุใน 6cB สินค้าถูกแสดงดังนั้นคุณสมบัติของญาติได้แสดงภาพแทนที่ ด้วยข้อมูลตัวเลข นี้อาจทำการเปรียบเทียบง่ายมาก นอกจาก 6eB สินค้า ความถูกต้องอื่น ๆ สองรายการเกิดการตอบสนองที่ไม่คาดคิด รายการแรก (1a) ต้องการนักเรียนไม่เพียงแต่กำหนดความหนาแน่นของของเหลวสองสัมพันธ์กับวัตถุ แต่ยัง ใช้ข้อมูลการคาดการณ์ของเหลวซึ่งจะลอยอยู่ด้านบนของเหลว ขยายเหตุผลอาจมีออกเมื่อ proficiencies ที่ไม่ความสัมพันธ์กับสิ่งถูกต้องมิติมาตรการ นำไปสู่คำตอบที่คาดไม่ถึงจู่ ๆ (MS D 1.20, t D 3.1) รายการสอง (6bA) ให้นักเรียนจะเกิดอะไรขึ้นบล็อกเมื่อย้ายจากน้ำจืดน้ำเค็ม ตามที่อธิบายไว้ก่อนหน้านี้ รายการนี้แสดงสถานการณ์มาตรฐาน กล่าวถึง และสาธิตในห้องเรียนวิทยาศาสตร์มากมาย ดังนั้น นักเรียนอาจพบว่ามันง่ายต่อการจำ มากกว่า deduce คำตอบที่ถูกต้อง นำไปสู่คำตอบที่คาดเดาใจ (MS D 0.80, t D ! 2.4)ผลลัพธ์เหล่านี้เน้นหลักการออกแบบสินค้าอย่างแพร่หลาย: ควรยกเลิกเซ็น ด้วยแบบที่ชัดเจนของ proficiencies หลายวิธี ถ้าจำเป็น นำไปสู่การตอบสนอง การผลิตสินค้า (a) มิฉะนั้น มีแนวโน้ม การตอบสนองที่ไม่คาดคิด (ข) แม้ว่ารายการควรสะท้อนถึงเนื้อหาและขั้นตอนมูลค่า โดยหลักสูตร (อเมริกันศึกษาวิจัยสมาคม et al. 1999 วิลสัน 2005), พวกเขาไม่ควรเป็นโคลนของสถานการณ์ทั่วไปที่พบในห้องเรียนเช่นนี้เป็นแนวโน้มที่จะกระตุ้นเรียกคืนมากกว่าความสามารถแฝง และ (ค) แม้ว่าแนวทางเช่นนี้ถูกว่าจ้างในการออกแบบสินค้า

ผลลัพธ์ (ไทย) 2:

การแยกระหว่าง PV และเกณฑ์ FV ขึ้นอยู่กับขั้นตอนการให้เหตุผลที่จำเป็นโดยรายการ สำหรับรายการที่จำเป็นต้องมีการประยุกต์ใช้กฎเพื่อวัตถุที่เฉพาะเจาะจง (เช่น 3B, 3C, 4cA, 6BA, 6DA, 6dB) น้อยมากคำตอบที่ถูกต้องบางส่วนถูกตั้งข้อสังเกต; ขั้นตอนนี้จะค่อนข้างตรงไปตรงมาและเฉพาะในกรณีที่หายากไม่หักของนักเรียนของสถานที่ตั้งที่ถูกต้องหรือข้อเรียกร้องขัดแย้งกับกฎของพวกเขากล่าว ข้อยกเว้นแนวโน้มนี้เกิดขึ้นเมื่อวัตถุที่เฉพาะเจาะจงที่อธิบายไว้ในลำต้นรายการลดลงนอกช่วงของการบังคับของกฎ รายการเหล่านี้ (4cB, 6FB) เป็นที่คาดการณ์, ออกมาจำนวนมากการตอบสนองมากขึ้น PV.

ในทางตรงกันข้ามกับรายการที่กำหนดโปรแกรมรายการที่ต้องวิเคราะห์หรือการตีความ (เช่น 4B, 7abA, 6BB) ก่อให้เกิดการตอบสนองที่ถูกต้องบางส่วนจำนวนมาก ไกลโดยการเข้าใจผิดที่พบมากที่สุดที่สังเกตในคำตอบเหล่านี้ได้รับการระบุกฎหรืออธิบายหลักฐานที่แสดงว่าไม่สนใจข้อมูลบางส่วน ยกตัวอย่างเช่นการตอบสนอง PV ทั่วไปอาจอธิบายลักษณะทั่วไปของชั้นเรียนของวัตถุที่จม แต่ลืมที่จะอธิบายลักษณะของวัตถุที่ลอยหรือดินลอย. the

พิจารณาทั้งหมดเกณฑ์ความถูกต้องร่วมกันรายการที่ยากที่สุดคือ 3c รายการ รายการนี้ถูกออกแบบมาเพื่อตรวจสอบสิ่งอำนวยความสะดวกของนักเรียนที่มีการระบุ counterevidence ที่จะหักล้างกฎที่ระบุไว้ คาดว่าจะเป็นลักษณะของการให้เหตุผลที่ถูกต้องนี้เป็นเรื่องยากโดยเฉพาะอย่างยิ่ง ในส่วนอื่น ๆ ของขนาดรายการที่ง่ายที่สุดที่เป็นรายการ 6BA และ 6DA ทั้งสองรายการจะนำเสนอการลอยตัวของวัตถุในน้ำจืดนั้นและต้องมีนักเรียนที่จะคาดการณ์การลอยตัวของวัตถุเดียวกันในน้ำเค็มโดยเลือกหนึ่งในห้าของภาพที่แสดงให้เห็นผลลัพธ์ที่แตกต่าง โดยเฉพาะอย่างยิ่งทั้ง NL และ FV เกณฑ์ต่ำกว่าทุกรายการอื่น ๆ เราเชื่อเกณฑ์ FV ต่ำเพื่อความคุ้นเคยของรายการนี้เป็นตัวอย่างที่เป็นที่ยอมรับและการสาธิตในห้องเรียนวิทยาศาสตร์ หากนักเรียนจำรายการเหล่านี้จากระดับที่จะอธิบายว่าทำไมคำตอบมีแนวโน้มที่จะเป็นได้ทั้ง FV และ IE ตามที่อธิบายไว้ในส่วนจำเพาะ.


ความถูกต้อง ในรายการความถูกต้องโดยไกลที่ยากที่สุดในสาม (4cB, 6DA, 6EB) ทั้งหมดต้องของนักเรียนที่จะรับรู้ว่ามันเป็นไปไม่ได้ที่จะบอกว่าวัตถุจะจมหรือลอยได้รับข้อมูลที่นำเสนอ รายการเหล่านี้เป็น 2.0-3.0 logits ยากกว่าความยากลำบากในรายการเฉลี่ย; รูปแบบการคาดการณ์ของนักเรียนที่มีความสามารถเฉลี่ย (0.5 logits) จะมีเพียงความน่าจะเป็น 5 ถึง 15% ของการตอบได้อย่างถูกต้องรายการเหล่านี้ แม้ว่าทั้งสองของทั้งสามรายการถูกย่อมดีตามที่ระบุโดยสถิติพอดีของพวกเขาที่สาม (6EB) ก่อให้เกิดการตอบสนองแบบสุ่มมากกว่าที่คาดไว้ (MS D 1.34, T D 2.8) รายการนี้ต้องให้นักเรียนที่จะเห็นด้วยหรือไม่เห็นด้วยกับการคาดการณ์ของนักเรียนสมมุติ เพราะรูปแบบนี้ออกมาตอบสนองที่คาดว่าจะมาจากรายการที่คล้ายกัน (เช่น 7ba, 6cB) ขาดคำตอบที่ชัดเจนในกรณีนี้เห็นได้ชัดว่าสนับสนุนให้นักเรียนที่จะยอมรับคำทำนายที่นำเสนอมากกว่ารายงานความไม่แน่นอนของพวกเขา ขึ้นอยู่กับการตอบสนองที่ไม่คาดคิดแนวโน้มนี้จะต้องมีความสัมพันธ์เพียงอย่างอ่อนกับความสามารถที่วัด.

รายการความถูกต้องที่ง่ายที่สุด (6cB) ที่มีข้อมูลเกี่ยวกับการลอยตัวของวัตถุบางอย่างและถามว่าวัตถุเพิ่มเติมจะจมหรือลอย แม้ว่ารายการอื่น ๆ ที่มีรูปแบบนี้ (เช่น 4cA, 7ba) ค่อนข้างยากวัตถุในรายการ 6cB ถูกนำเสนอเพื่อให้คุณสมบัติญาติของพวกเขามีการแสดงผลทางสายตามากกว่ากับข้อมูลตัวเลข เรื่องนี้อาจจะทำให้การเปรียบเทียบที่ง่ายมาก.

นอกจาก 6EB รายการสองรายการความถูกต้องอื่น ๆ ที่ก่อให้เกิดการตอบสนองที่ไม่คาดคิด รายการแรก (1A) นักเรียนต้องไม่เพียง แต่ตรวจสอบความหนาแน่นของของเหลวที่สองเมื่อเทียบกับวัตถุ แต่ยังใช้ข้อมูลที่จะคาดการณ์ที่ของเหลวจะลอยอยู่ด้านบนของของเหลวอื่น ๆ เหตุผลนี้อาจขยายได้วาดเมื่อ proficiencies ไม่มีความสัมพันธ์อย่างมากกับสิ่งที่เป็นความถูกต้องมิติมาตรการที่นำไปสู่การตอบสนองที่คาดเดาไม่น่าแปลกใจ (MS D 1.20, T D 3.1) รายการที่สอง (6BA) ให้นักเรียนสิ่งที่จะเกิดขึ้นกับบล็อกเมื่อย้ายจากน้ำจืดน้ำเค็ม ตามที่อธิบายไว้ก่อนหน้านี้ที่มีการจัดรายการนี้เป็นสถานการณ์ที่ยอมรับหารือและแสดงให้เห็นในห้องเรียนวิทยาศาสตร์จำนวนมาก . ดังนั้นนักเรียนอาจจะพบว่ามันง่ายที่จะจำมากกว่าสรุปคำตอบที่ถูกนำไปสู่การตอบสนองที่คาดการณ์ที่น่าแปลกใจ (! MS D 0.80, T D 2.4)

ผลการศึกษานี้เน้นย้ำหลักการออกแบบรายการที่แพร่หลายอย่างเป็นธรรม (ก) รายการที่ควรจะ de- ลงนามที่มีรูปแบบที่ชัดเจนของความช่ำชองวิธีการหลายกรณีที่จำเป็นนำไปสู่การผลิตตอบสนอง; การตอบสนองที่ไม่คาดคิดอย่างอื่นมีแนวโน้มมากขึ้น; (ข) แม้ว่ารายการควรจะสะท้อนถึงเนื้อหาและวิธีการที่มูลค่าโดยหลักสูตร (วิจัยการศึกษาสมาคมอเมริกัน et al, 1999;. วิลสัน, 2005) พวกเขาไม่ควรจะโคลนสถานการณ์ทั่วไปที่พบในห้องเรียนเช่นนี้มีแนวโน้มที่จะกระตุ้นให้เกิดการ จำได้มากกว่าความสามารถแฝง; และ (ค) แม้ในขณะที่แนวทางเช่นนี้มีการจ้างงานในการออกแบบรายการ

ผลลัพธ์ (ไทย) 3:

การแยกระหว่าง PV และ FV ซึ่งขึ้นอยู่กับเหตุผล กระบวนการบังคับใช้โดยรายการ สำหรับสินค้าที่ต้องมีการใช้กฎกับวัตถุที่เฉพาะเจาะจง ( เช่น 3B 3C , 4ca 6ba 6da , , , , , 6db ) น้อยมาก การตอบสนองที่ถูกต้องบางส่วนพบว่า กระบวนการนี้จะค่อนข้างตรงไปตรงมา และในบางกรณีก็หักเป็นนักเรียนของหลักฐานที่ถูกต้อง หรือการขัดแย้งของพวกเขาระบุกฎ ข้อยกเว้นแนวโน้มนี้เกิดขึ้นเมื่อวัตถุที่เฉพาะเจาะจงที่อธิบายไว้ในรายการต้นล้มนอกช่วงของการประยุกต์ใช้กฎ รายการเหล่านี้ 4cb 6fb , ) ตามคาด ได้มาอีกหลายต่อการตอบสนองในทางตรงกันข้ามกับรายการที่ต้องการการตีความการวิเคราะห์หรือรายการที่ต้องการ ( เช่น 7aba 4B , , 6bb ) โดยใช้การตอบสนองที่ถูกต้องบางส่วนของหลาย ไกลโดยที่พบมากที่สุดที่พบในการตอบสนองเหล่านี้ถูกเข้าใจผิด ระบุกฏ หรือ อธิบายถึงหลักฐานที่มองข้ามบางส่วนของข้อมูล ตัวอย่างเช่น การตอบสนอง PV โดยทั่วไปอาจจะอธิบายลักษณะทั่วไปของคลาสของวัตถุที่จม แต่ลืมที่จะอธิบายลักษณะของวัตถุที่ลอยหรือดินลอยพิจารณาเกณฑ์ทั้งหมดความตรงกัน ที่ยากที่สุดคือข้อ 3 C . สินค้านี้ถูกออกแบบมาเพื่อตรวจสอบสถานที่ของนักเรียน ด้วยการระบุ counterevidence ที่จะหักล้างระบุกฎ เป็นไปตามคาด ด้านนี้ของเหตุผลที่ถูกต้องได้ยาก ในส่วนอื่น ๆของเครื่องชั่ง , รายการที่ง่ายที่สุดและมีรายการ 6ba 6da . สองรายการนี้นำเสนอการลอยตัวของวัตถุในน้ำจืด และต้องการให้นักเรียนคาดเดาการลอยตัวของวัตถุเดียวกันในหลด เลือกหนึ่งในห้าภาพการแสดงผลที่แตกต่างกัน โดยเฉพาะ ทั้งฉันและ FV ซึ่งต่ำกว่าทุก ๆรายการ เราคุณลักษณะที่ธรณีประตู FV ต่ำเพื่อความคุ้นเคยของรายการนี้เป็นตัวแบบมาตรฐานและการสาธิตในชั้นเรียนวิทยาศาสตร์ ถ้านักเรียนจำได้ว่ารายการเหล่านี้จากคลาส ที่อธิบายว่าทำไมการตอบสนองมักจะเป็นทั้ง FV และ IE ตามที่อธิบายในส่วนที่เฉพาะเจาะจง .ความถูกต้อง รายการของ ความถูกต้อง โดยไกลที่สุด ( 6da 4cb , สาม , 6eb ) ทั้งหมดต้องมีนักเรียนที่จะยอมรับว่ามันเป็นไปไม่ได้ที่จะบอกได้ว่าวัตถุจะจมหรือลอยได้รับข้อมูลที่นำเสนอ รายการเหล่านี้เป็น 2.0 กับ 3.0 logits ยากกว่าหมายถึงข้อ ; แบบจำลองคาดการณ์นักเรียนกับหมายถึงถิ่น ( 0.5 logits ) จะมีเพียง 5 ถึง 15 % ความน่าจะเป็นในการตอบรายการเหล่านี้ได้อย่างถูกต้อง ถึงสองรายการทั้งสามอยู่กันแบบพอดี แสดงโดยสถิติของพวกเขาที่สาม ( 6eb ) โดยใช้การสุ่มมากกว่าคาด ( MS D 1.34 , T D 2.8 ) รายการนี้ต้องการให้นักเรียนเห็นด้วยหรือไม่เห็นด้วยกับการทำนายสมมุติของเด็ก . เพราะรูปแบบนี้ได้มาคาดหวังคำตอบจากรายการที่คล้ายกัน ( เช่น 7ba 6cb , ) , ไม่มีคำตอบที่ชัดเจนในกรณีนี้เห็นได้ชัดว่า ส่งเสริมให้นักเรียนยอมรับเสนอการทำนายมากกว่าการรายงานความไม่แน่นอนของ ขึ้นอยู่กับการตอบสนองที่ไม่คาดคิด , แนวโน้มนี้จะต้องเพียงอย่างอ่อน มีความสัมพันธ์กับวัดถิ่นสินค้า ความถูกต้อง ที่ง่ายที่สุด ( 6cb ) ให้ข้อมูลเกี่ยวกับการลอยตัวของวัตถุบางอย่าง และถามว่าวัตถุเพิ่มเติมจะจมหรือลอย แม้ว่ารายการอื่น ๆที่มีรูปแบบนี้ ( เช่น 4ca 7ba , ) ได้ค่อนข้างยาก วัตถุในรายการ 6cb ถูกนำเสนอเพื่อแสดงคุณสมบัติของญาติเป็นสายตามากกว่าข้อมูลเชิงตัวเลข นี้อาจจะทำให้การเปรียบเทียบง่ายกว่ามากนอกจากรายการ 6eb สองรายการถูกต้องอื่น ๆโดยใช้การตอบสนองที่ไม่คาดคิด รายการแรก ซึ่งมีนักเรียนที่ไม่เพียง แต่ตรวจสอบความหนาแน่นของของเหลวสองเทียบกับวัตถุ แต่ยังใช้ข้อมูลพยากรณ์ที่ของเหลวจะลอยอยู่ด้านบนของของเหลวอื่น ๆ นี้ขยายเหตุผลอาจจะวาดต่อกรมสามัญศึกษาไม่ความสัมพันธ์อย่างยิ่งกับสิ่งที่ความถูกต้องมิติมาตรการไปสู่การตอบสนองอย่างคาดไม่ถึง ( MS D . T D 3.1 ) รายการที่ 2 ( 6ba ) ขอให้นักเรียนจะเกิดอะไรขึ้นกับบล็อกเมื่อย้ายจากปลาน้ำจืดกับปลาน้ำเค็ม ตามที่อธิบายไว้ก่อนหน้านี้ รายการนี้นำเสนอสถานการณ์ Canonical , กล่าวถึงและแสดงให้เห็นถึงในห้องเรียนวิทยาศาสตร์มากมาย จากนั้น นักศึกษาอาจจะพบว่ามันง่ายต่อการเรียกคืนมากกว่าสรุปคำตอบที่ถูกต้อง ทำให้เกิดการตอบสนอง จู่ ๆได้ ( MS D 0.80 T D 2.4 )ผลลัพธ์เหล่านี้เน้นรายการที่ค่อนข้างแพร่หลาย หลักการออกแบบ : ( ) รายการควร de ลงชื่อด้วยรูปแบบที่ชัดเจนของวิธีการหลายกรมสามัญศึกษา ถ้าจำเป็น สนับสนุนการผลิต การตอบสนอง มิฉะนั้น การตอบสนองที่ไม่คาดคิดมีโอกาส ; ( b ) ถึงแม้ว่ารายการควรสะท้อนให้เห็นถึงเนื้อหาและขั้นตอนมูลค่า โดยหลักสูตรการศึกษา ( อเมริกันสมาคมวิจัยและ al . , 1999 ; วิลสัน , 2005 ) , พวกเขาไม่ควรโคลนของสถานการณ์ทั่วไปที่พบในชั้นเรียนนี้มีแนวโน้มที่จะกระตุ้นให้เกิดการเรียกคืนมากกว่าความสามารถแฝง และ ( c ) แม้ว่าแนวทางเช่นเหล่านี้จะใช้ในการออกแบบสินค้า