Scientific Reasoning as a Multidime

Scientific Reasoning as a Multidimensional Proficiency

An issue that invariably arises when we work with teachers around scoring student work is what and how many aspects of a student’s response should be taken into account when assigning scores. Often, this discussion centers on whether the student has the right idea and/or whether they can express that idea in correct scientific language. In our experience, teachers have difficulty coming to a consensus on how to define these characteristics, how to locate evidence of them in student work, and their relative importance.

The EBRAS sheds light on these issues by disentangling and defining in detail the profi-ciencies that contribute to students’ use of evidence in scientific reasoning. The constructs of conceptual sophistication, specificity, and validity are an alternative framework for evaluating student work, one that is more accurate, precise, and meaningful than characterizing whether a student has the right idea or is using correct scientific terminology. Having the right idea most likely depends on both conceptual sophistication (which characterizes conceptual understanding and diagnoses the presence of misconceptions) and validity (which characterizes whether those concepts are correctly applied to the situation at hand). Using correct scientific terminology most likely depends on specificity (which captures whether conditions of applicability are clearly defined) but also conceptual sophistication (as the conceptual sophistication outcome space relies on the concepts named in student responses to determine levels of conceptual sophistication). That the three EBRAS constructs are confounded in the characterizations of both having the right idea and using correct scientific terminology helps to explain why the evaluation of students’ scientific reasoning by teachers has been, in our experience, contentious and difficult.

Accurate performance on traditional forced-choice science assessment items is positively predicted about equally well by the conceptual sophistication and validity proficiencies (see Table 11). Yet, together, these two proficiencies explain only 47% of the variation in accuracy. That other proficiencies would underlie accurate performance on this type of item is not surpris-ing; what is notable is that so much of the variance is unexplained. Although further research may discover and define additional proficiencies related to scientific reasoning, the magnitude of this unexplained variance suggests that some proficiencies not related to scientific reasoning (perhaps, e.g., test-taking strategies or cognitive processes of recognition and recall) must also explain substantial amounts of the variance. This speaks strongly against the interpretation of accurate performance on traditional forced-choice science assessment items as being a good indicator of proficient scientific reasoning. Furthermore, scientific reasoning has been shown to involve at least one proficiency, specificity, that (a) can be reliably measured given this data, (b) is not very strongly correlated (r < .9) with the other dimensions, (c) yet does not explain a statistically significant amount of the variation in accuracy (p D .92). These results nicely illustrate the stance of the EBR Framework (Brown et al., this issue) that accuracy is best thought of as one but not the only outcome of a scientific reasoning process that depends on multiple, separable proficiencies. Based on the EBR Framework, the EBRAS is a tool that allows the characterization of students’ use of evidence in deep, rigorous, and multidimensional terms, making observable the quality of individual components and processes involved in scientific reasoning. Such a characterization is complementary, but not equivalent, to a determination of whether a student’s claims are true or false.

ผลลัพธ์ (ไทย) 1:

เหตุผลทางวิทยาศาสตร์เป็นความสามารถหลายมิติปัญหาที่เกิดขึ้นอย่างสม่ำเสมอเมื่อเราทำงานกับครูรอบให้คะแนนงานนักเรียน คือ อะไร และวิธีการหลายด้านของการตอบสนองของนักเรียนควรนำมาพิจารณาเมื่อกำหนดคะแนน มักจะ สนทนานี้ศูนย์บนว่านักเรียนมีความคิดขวาหรือว่าพวกเขาสามารถแสดงความคิดที่ว่าภาษาทางวิทยาศาสตร์ที่ถูกต้อง ในประสบการณ์ของเรา ครูมีปัญหามาเป็นเอกฉันท์ในการกำหนดลักษณะเหล่านี้ วิธีการค้นหาหลักฐานของพวกเขาในการทำงานนักเรียน และความสำคัญของพวกเขาEBRAS เพิงปัญหาเหล่านี้ โดย disentangling และการกำหนดในรายละเอียด ciencies กำไรที่สนับสนุนการใช้หลักฐานในการใช้เหตุผลทางวิทยาศาสตร์ โครงสร้างแนวคิด ความจำเพาะ และ ความถูกต้องจะมีกรอบทางเลือกสำหรับการประเมินผลงานนักเรียน ที่ถูกต้อง แม่นยำ และมีความหมายมากกว่าการศึกษาว่านักเรียนมีความคิดขวา หรือใช้ศัพท์ทางวิทยาศาสตร์ที่ถูกต้อง มีความคิดขวามักขึ้นอยู่กับแนวคิดความซับซ้อน (ซึ่งลักษณะความเข้าใจแนวคิด และวินิจฉัยของความเข้าใจผิด) และมีผลบังคับใช้ (ซึ่งแสดงลักษณะว่าแนวคิดเหล่านั้นอย่างถูกต้องใช้กับสถานการณ์ที่มือ) ใช้ศัพท์ทางวิทยาศาสตร์ถูกต้องมากที่สุดตามความจำเพาะ (ซึ่งจับว่าเงื่อนไขการบังคับใช้ถูกกำหนดไว้อย่างชัดเจน) แต่ยังแนวคิดซับซ้อน (เป็นผลที่ได้แนวคิดซับซ้อน พื้นที่อาศัยแนวคิดที่มีชื่อในการตอบสนองของนักเรียนเพื่อกำหนดระดับของความซับซ้อนแนวคิด) ที่ของโครงสร้าง EBRAS ที่สามเป็น confounded ใน characterizations ของทั้งสองมีความคิดขวา และใช้ศัพท์ทางวิทยาศาสตร์ที่ถูกต้องช่วยอธิบายทำไมการประเมินของนักวิทยาศาสตร์ใช้เหตุผล โดยครูผู้สอนได้รับ ประสบการณ์ โต้เถียง และยากบวกมีการคาดการณ์แม่นยำประสิทธิภาพรายการประเมินแบบบังคับเลือกวิทยาศาสตร์ประมาณเท่า ๆ กัน โดยที่แนวคิดความซับซ้อนและมีผลบังคับใช้ proficiencies (ดูตาราง 11) ยัง โดด proficiencies ที่สองเหล่านี้อธิบายเพียง 47% ของการเปลี่ยนแปลงในความถูกต้อง ว่า proficiencies อื่น ๆ จะอยู่ภายใต้ประสิทธิภาพการทำงานที่ถูกต้องในรายการชนิดนี้จะไม่อิง surpris มีอะไรโดดเด่นเป็นของตัวแปรไม่คาดหมายของ แม้ว่างานวิจัยเพิ่มเติมอาจค้นพบ และเพิ่มเติม proficiencies ที่เกี่ยวข้องกับเหตุผลทางวิทยาศาสตร์ ขนาดนี้ไม่ได้อธิบายผลต่างแนะนำว่า บาง proficiencies ไม่เกี่ยวข้องกับเหตุผลทางวิทยาศาสตร์ (บางที เช่น ทดสอบการกลยุทธ์หรือกระบวนการทางปัญญาการจดจำและเรียกคืน) ต้องอธิบายพบจำนวนของผลต่าง นี้พูดขอกับการตีความถูกต้องประสิทธิภาพในแบบบังคับเลือกวิทยาศาสตร์รายการประเมินเป็น ตัวบ่งชี้ที่ดีของเหตุผลทางวิทยาศาสตร์ที่มีความเชี่ยวชาญ นอกจากนี้ ได้รับการแสดงที่เกี่ยวข้องกับอย่างน้อยหนึ่งระดับ ความจำเพาะ ที่ (ก) สามารถวัดได้อย่างน่าเชื่อถือให้ข้อมูล การใช้เหตุผลทางวิทยาศาสตร์ (b) แต่ไม่มีความสัมพันธ์อย่างมาก (r < .9) มีมิติอื่น ๆ, (c) ได้อธิบายการเปลี่ยนแปลงจำนวนมีนัยสำคัญทางสถิติในความแม่นยำ (p D .92). ผลลัพธ์เหล่านี้แสดงให้เห็นท่าทางของ EBR Framework (น้ำตาล et al. ปัญหานี้) ที่แม่นยำที่สุดที่คิดว่า เป็นแต่ไม่ได้ผลเท่าของกระบวนการใช้เหตุผลทางวิทยาศาสตร์ที่ขึ้นอยู่กับหลาย separable proficiencies อย่าง ตามกรอบปฏิบัติของ EBR, EBRAS เป็นเครื่องมือที่ช่วยให้จำแนกลักษณะของการใช้หลักฐานของนักเรียนในแง่ลึก เข้มงวด และหลายมิติ ทำให้สังเกตได้เกี่ยวข้องกับคุณภาพของแต่ละองค์ประกอบและกระบวนการในการใช้เหตุผลทางวิทยาศาสตร์ การจำแนกลักษณะดังกล่าวคือเสริม แต่ไม่เทียบ เท่า การกำหนดว่านักร้องเป็นจริง หรือเท็จ