Design of an assessment system for

Design of an assessment system for collaborative problem solving in STEM education
Abstract
This study developed an assessment system for evaluating junior high students’ collaborative problem-solving skills (CPS) in the context of science, technology, engineering, and mathematics (STEM) education. The main theoretical basis for designing the CPS learning goals of this assessment system is the matrix of collaborative problem solving proposed by the Organisation for Economic Co-operation Development (OECD). In this assessment system, there are eight assessment modules in STEM education developed by four groups of researchers who participated in this study. The modules were delivered as a web-based learning platform, where the computer was programmed to act as the agent of collaboration (rather than human-to-human collaboration), thus making this exploratory study more unique. The eight modules included problem tasks such as designing shelves, using a microwave oven, construct a house, etc. In order to ensure the validity of the assessment system, including the eight assessment modules in STEM education, three specialists were invited to examine the eight modules’ content validity. Additionally, in order to ensure criterion-related validity of the effectiveness of the modules, they were tested among 222 Taiwanese junior high students. Discrimination and difficulty indices were obtained for student CPS performance on each of the eight modules. Furthermore, intercorrelations were obtained for the students’ performance on each of the eight assessment modules in relation to overall and each of three collaborative problem-solving skills, i.e., (1) Establishing and maintaining shared understandings, (2) Taking appropriate action to solve the problem, and (3) Establishing and maintaining team organization. The following conclusions are drawn: (1) there was an evidence that the assessment system items had acceptable difficulty and satisfactory discrimination; (2) the intercorrelations of the students’ performance on the eight tasks in relation to overall and each of the three collaborative problem-solving skill dimensions were sufficiently significant, in most cases, to conclude that the eight tasks are consistently producing the same performance outcomes for overall and each of the three skills; that is, this assessment system was deemed effective for evaluating junior high students’ collaborative problem-solving skills in STEM education; and (3) with respect to some of the challenges in evaluating students’ collaborative problem-solving skills, one of the most demanding for us was designing a series of tasks and questions in evaluating students’ performance in establishing and maintaining team organization. Hence, we recommend that further research on students’ performance in establishing and maintaining team organization should be the focus of future studies.

ผลลัพธ์ (ไทย) 1:

การออกแบบระบบการประเมินสำหรับการแก้ปัญหาร่วมกันในการศึกษาต้นบทคัดย่อศึกษาพัฒนาระบบการประเมินการประเมินสำหรับเด็กสูงนักเรียนร่วมกันแก้ปัญหาทักษะ (ของวิทยาลัย) ในบริบท ของวิทยาศาสตร์ เทคโนโลยี วิศวกรรม การศึกษาคณิตศาสตร์ (ก้าน) หลักทฤษฎีพื้นฐานของการออกแบบของวิทยาลัยที่เป้าหมายนี้ระบบประเมินการเรียนรู้เป็นเมตริกซ์ของการแก้ปัญหาร่วมกันเสนอ โดยองค์กรสำหรับเศรษฐกิจความร่วมมือการพัฒนา (OECD) ในระบบนี้ประเมิน มีโมดูลการประเมินแปดในศึกษาสเต็มที่พัฒนา โดยนักวิจัยที่เข้าร่วมในการศึกษานี้กลุ่ม 4 โมถูกส่งเป็นการเรียนรู้บนเว็บ ซึ่งโปรแกรมคอมพิวเตอร์ที่ทำหน้าที่เป็นตัวแทนของความร่วมมือ (แทนมนุษย์เพื่อมนุษย์ร่วม), จึง ทำการศึกษาเชิงบุกเบิกเพิ่มเติมเฉพาะ โมแปดรวมปัญหางานเช่นการออกแบบชั้นวาง ใช้เตาอบไมโครเวฟ สร้างบ้าน ฯลฯ เพื่อให้ถูกต้องของระบบประเมิน รวมถึงโมดูล 8 การประเมินศึกษาต้นกำเนิด ผู้เชี่ยวชาญสามถูกเชิญตรวจสอบตั้งแต่เนื้อหาของโมดูล 8 นอกจากนี้ เพื่อให้มีผลบังคับใช้ที่เกี่ยวข้องกับเกณฑ์ประสิทธิภาพของโม พวกเขาถูกทดสอบระหว่าง 222 ไต้หวันจูเนียร์สูงนักศึกษา ดัชนีที่เลือกปฏิบัติและความยากลำบากได้รับนักศึกษาของวิทยาลัยประสิทธิภาพในแต่ละโมดูล 8 นอกจากนี้ intercorrelations ได้รับประสิทธิภาพการทำงานของนักเรียนแต่ละโมดูล 8 การประเมินเกี่ยวกับโดยรวมและ 3 ร่วมกันการแก้ปัญหาทักษะ เช่น, (1) สร้าง และรักษาการใช้ร่วมกันเปลี่ยนความเข้าใจ การดำเนินการที่เหมาะสม (2) การแก้ปัญหา และ (3) สร้าง และรักษาการทีมองค์กรแต่ละ ข้อสรุปต่อไปนี้จะวาด: มี (1) ไม่มีหลักฐานว่า สินค้าระบบประเมินมีความยากที่ยอมรับและการเลือกปฏิบัติเป็นที่พอใจ (2 intercorrelations)ประสิทธิภาพการทำงานของนักเรียนงานแปดเกี่ยวกับโดยรวมและแต่ละมิติทั้งสามร่วมกันการแก้ปัญหาทักษะสำคัญพอ ส่วนใหญ่ การสรุปว่า งานแปดอย่างจะผลิตผลประสิทธิภาพการทำงานที่เดียวกันในภาพรวมและแต่ละของทักษะสาม คือ ระบบการประเมินนี้ได้ถือว่าการประเมินจูเนียร์สูงนักเรียนร่วมกันแก้ปัญหาทักษะในก้านการศึกษา และ (3) กับบางส่วนของความท้าทายในการประเมินทักษะการแก้ปัญหาร่วมกันของนักเรียน หนึ่งต้องการเราได้ออกแบบชุดงานและคำถามในการประเมินประสิทธิภาพการทำงานของนักเรียนในการสร้าง และรักษากลุ่มคนองค์กร ดังนั้น เราขอแนะนำที่วิจัยประสิทธิภาพของนักเรียนในการสร้าง และรักษากลุ่มคนองค์กรควรเป็นจุดเน้นของการศึกษาในอนาคตต่อไป

ผลลัพธ์ (ไทย) 2:

การออกแบบระบบการประเมินสำหรับปัญหาการทำงานร่วมกันในการแก้ปัญหาการศึกษา STEM
บทคัดย่อการศึกษาครั้งนี้การพัฒนาระบบการประเมินสำหรับการประเมินนักเรียนมัธยม 'การแก้ปัญหาการทำงานร่วมกันทักษะ (CPS) ในบริบทของวิทยาศาสตร์เทคโนโลยีวิศวกรรมและคณิตศาสตร์ (STEM) การศึกษา
ทฤษฎีพื้นฐานหลักสำหรับการออกแบบเป้าหมายการเรียนรู้ CPS ของระบบการประเมินนี้เป็นเมทริกซ์ของการทำงานร่วมกันแก้ปัญหาที่เสนอโดยองค์การเพื่อการพัฒนาความร่วมมือทางเศรษฐกิจ (OECD) ในระบบการประเมินนี้มีแปดโมดูลการประเมินในการศึกษา STEM พัฒนาโดยสี่กลุ่มของนักวิจัยที่เข้าร่วมในการศึกษาครั้งนี้ โมดูลที่ถูกส่งมาเป็นเวทีการเรียนรู้บนเว็บที่ใช้คอมพิวเตอร์เป็นโปรแกรมที่จะทำหน้าที่เป็นตัวแทนของความร่วมมือ (มากกว่ามนุษย์สู่มนุษย์ทำงานร่วมกัน) จึงทำให้การศึกษาสำรวจที่ไม่ซ้ำกัน แปดโมดูลรวมถึงปัญหาการทำงานเช่นการออกแบบชั้นวางโดยใช้เตาอบไมโครเวฟสร้างบ้าน ฯลฯ เพื่อให้มั่นใจในความถูกต้องของระบบการประเมินรวมทั้งโมดูลแปดประเมินในการศึกษา STEM สามผู้เชี่ยวชาญได้รับเชิญไปตรวจสอบแปด โมดูล 'ความตรงตามเนื้อหา นอกจากนี้เพื่อให้ถูกต้องตามเกณฑ์ที่เกี่ยวข้องกับประสิทธิภาพของโมดูลที่พวกเขาได้รับการทดสอบในหมู่นักเรียน 222 สูงไต้หวันจูเนียร์ การเลือกปฏิบัติและดัชนีความยากลำบากที่ได้รับในการดำเนินงานของนักเรียน CPS ในแต่ละแปดโมดูล นอกจากนี้ intercorrelations ที่ได้รับในการดำเนินงานของนักเรียนในแต่ละโมดูลแปดประเมินในความสัมพันธ์กับโดยรวมและแต่ละสามการแก้ปัญหาการทำงานร่วมกันทักษะคือ (1) การสร้างและรักษาความเข้าใจร่วมกัน (2) การดำเนินการที่เหมาะสมในการแก้ปัญหา ปัญหาที่เกิดขึ้นและ (3) การสร้างและรักษาองค์กรทีม ข้อสรุปต่อไปนี้จะมีการวาด: (1) มีหลักฐานว่ารายการระบบการประเมินผลมีความยากลำบากที่ยอมรับและการเลือกปฏิบัติที่น่าพอใจส; (2) intercorrelations ผลการดำเนินงานของนักเรียนในแปดงานที่เกี่ยวข้องกับการโดยรวมและแต่ละแห่งที่สามในการแก้ปัญหาการทำงานร่วมกันขนาดทักษะอย่างมีนัยสำคัญเพียงพอในกรณีส่วนใหญ่จะสรุปได้ว่าแปดงานอย่างสม่ำเสมอผลิตผลการดำเนินงานเดียวกัน สำหรับภาพรวมและแต่ละสามทักษะ นั่นคือระบบการประเมินนี้ก็ถือว่ามีประสิทธิภาพสำหรับการประเมินนักเรียนมัธยม 'การแก้ปัญหาการทำงานร่วมกันในการศึกษาทักษะ STEM; และ (3) ส่วนที่เกี่ยวกับบางส่วนของความท้าทายในการประเมินนักเรียนทักษะการแก้ปัญหาการทำงานร่วมกันเป็นหนึ่งในความต้องการมากที่สุดสำหรับเราที่ได้รับการออกแบบชุดของงานและคำถามในการประเมินนักเรียนประสิทธิภาพการทำงานในการสร้างและรักษาองค์กรทีม ดังนั้นเราขอแนะนำว่าการวิจัยเพิ่มเติมเกี่ยวกับผลการดำเนินงานของนักเรียนในการสร้างและรักษาองค์กรทีมควรจะมุ่งเน้นการศึกษาในอนาคต

ผลลัพธ์ (ไทย) 3:

การออกแบบระบบการประเมินผลการแก้ไขปัญหาร่วมกันในการศึกษาบทคัดย่อการศึกษาครั้งนี้มีวัตถุประสงค์เพื่อพัฒนาระบบการประเมินผลการประเมินของนักเรียน ม.ต้น และทักษะการแก้ปัญหา ( CPS ) ในบริบทของวิทยาศาสตร์เทคโนโลยีวิศวกรรมและคณิตศาสตร์ ( STEM ) การศึกษา หลักทฤษฎีพื้นฐานสำหรับการออกแบบ CPS เป้าหมายในการเรียนระบบการประเมินนี้เป็นเมทริกซ์ของปัญหาร่วมกันแก้ไขที่เสนอโดยองค์กรเพื่อการพัฒนาเศรษฐกิจร่วมปฏิบัติการ ( OECD ) ในระบบการประเมินนี้มี 8 โมดูลประเมินในการศึกษาที่พัฒนาโดยกลุ่มนักวิจัยที่เข้าร่วมในการศึกษานี้ โมดูลที่ถูกส่งเป็นการเรียนการสอนผ่านเว็บแพลตฟอร์ม ที่คอมพิวเตอร์ได้โปรแกรม แสดงเป็น ตัวแทนของความร่วมมือ ( มากกว่ามนุษย์ถึงความร่วมมือของมนุษย์ ) จึงทำให้การศึกษาเชิงสำรวจนี้ที่ไม่ซ้ำกันมากขึ้น แปดโมดูลรวมปัญหางาน เช่น ออกแบบ ชั้นวางสินค้า ใช้เตาไมโครเวฟ , สร้างบ้าน , ฯลฯ เพื่อให้มั่นใจในความถูกต้องของระบบการประเมิน รวมทั้งแปดการประเมินโมดูลในการศึกษาต้น , ผู้เชี่ยวชาญสามถูกเชิญไปตรวจสอบความตรงตามเนื้อหา แปดโมดูล ' . ทั้งนี้ เพื่อตรวจสอบความตรงตามเกณฑ์สัมพันธ์ของประสิทธิภาพของโมดูลที่พวกเขาถูกทดสอบในไต้หวัน ม.ต้น 222 คน การเลือกปฏิบัติและดัชนีความยากได้งาน CPS นักเรียนในแต่ละแปดโมดูล นอกจากนี้ intercorrelations ได้รับการแสดงของนักเรียนในแต่ละแปดโมดูลในความสัมพันธ์กับการประเมินโดยรวมและแต่ละของทั้งสามร่วมกันทักษะการแก้โจทย์ปัญหา ได้แก่ ( 1 ) การสร้างและรักษาความเข้าใจร่วมกัน ( 2 ) การกระทำที่เหมาะสม เพื่อแก้ปัญหา และ ( 3 ) การสร้างและรักษาองค์กร ทีมงาน ข้อสรุปต่อไปนี้วาด : ( 1 ) มีหลักฐานว่า การประเมินรายการที่ระบบมีความยากลําบาก ยอมรับได้ และการเลือกปฏิบัติที่น่าพอใจ ; ( 2 ) มีค่าอยู่ในการปฏิบัติของนักเรียนต่อ 8 งานในความสัมพันธ์โดยรวมและแต่ละสามร่วมกันแก้ปัญหา ทักษะมิติอย่างมีนัยสำคัญเพียงพอในกรณีส่วนใหญ่ลงความเห็นว่า 8 งานอย่างต่อเนื่องผลิตผลการปฏิบัติงานเดียวกัน โดยรวมและแต่ละสามทักษะ นั่นคือ ระบบการประเมินนี้ถือว่ามีผลการประเมินทักษะการแก้ปัญหาของนักเรียนมัธยมต้นร่วมกันในการศึกษา และ ( 3 ) ส่วนที่เกี่ยวข้องกับบางส่วนของความท้าทายในการประเมิน solvi ปัญหาร่วมกันของนักเรียน ทักษะของ หนึ่งในความต้องการมากที่สุดสำหรับเรา คือ การออกแบบชุดของงานและคำถามในการประเมินการปฏิบัติงานของนักศึกษาในการสร้างและรักษาองค์กร ทีมงาน ดังนั้น เราแนะนำให้ศึกษาเพิ่มเติม เกี่ยวกับการปฏิบัติงานของนักศึกษาในการสร้างและรักษาทีมองค์กรควรจะมุ่งเน้นในการศึกษาในอนาคต