19.5 ITS EVALUATIONSBuilding a tuto

19.5 ITS EVALUATIONS

Building a tutor and not evaluating it is like building a boat and not taking it in the water. We find the evaluation as exciting as the process of developing the ITS. Often, the results are surprising, and sometimes they are humbling. With careful experimental design, they will always be informative. (Shute & Regian, 1993, p. 268).

Which systems instruct effectively? What makes them effective? One might think that increasing the personalization of instruction (e.g., model-tracing) would enhance learning efficiency, and in the process, improve both the rate and quality of knowledge and skill acquisition. But results cited in the literature on learning, in relation to increased computer adaptivity, are equivocal. In some cases, researchers have reported no advantage of error remediation in relation to learning outcome (e.g., Bunderson & Olsen, 1983; Sleeman, Kelly, Martinak, Ward & Moore, 1989). In others, some advantage has been reported for more personalized remediation (e.g., Anderson, Conrad & Corbett, 1989; Shute, 1993a; Swan, 1983).

If, however, more researchers conducted controlled ITS evaluations, this issue would be easier to resolve. But, in addition to the availability of relatively few reported evaluations of ITS, there has been little agreement upon a standard approach for designing and assessing these systems(see 39.5). Results from six ITS evaluations will now be presented.

19.5.1 Six ITS Evaluations

A few examples of systematic, controlled evaluations of ITS reported in the literature include: the LISP tutor (e.g., Anderson, Farrell, & Sauers, 1984) instructing LISP programming skills; Smithtown (Shute & Glaser, 1990, 1991), a discovery world that teaches scientific inquiry skills in the context of microeconomics; Sherlock (Nichols, Pokorny, Jones, Gott, & Alley, in preparation; Lesgold, Lajoie, Bunzo & Eggan, 1992), a tutor for avionics troubleshooting; Bridge (Bonar, Cunningham, Beatty, & Weil, 1988; Shute, 1991) teaching Pascal programming skills; Stat Lady instructing statistical procedures (Shute & Gawlick-Grendell, 1993), and the Geometry tutor (Anderson, Boyle & Yost, 1985), providing an environment in which students can prove geometry theorems. Results from these evaluations show that these tutors do accelerate learning with, at the very least, no degradation in outcome performance compared to appropriate control groups.

ผลลัพธ์ (ไทย) 1:

19.5 ของการประเมินสร้างครูสอนพิเศษ และไม่ทำการประเมินเป็นเหมือนอาคารเรือ และไม่ถ่ายในน้ำ เราพบว่าการประเมินเป็นที่น่าตื่นเต้นเป็นกระบวนการของการพัฒนา มักจะ ผลน่าแปลกใจ และบางครั้งพวกเขาตาด ด้วยการออกแบบการทดลองอย่างระมัดระวัง พวกเขามักจะให้ข้อมูล (Shute & Regian, 1993, p. 268)ระบบที่แนะนำได้อย่างมีประสิทธิภาพ สิ่งที่ทำให้พวกเขามีประสิทธิภาพ หนึ่งอาจคิดว่า การตั้งค่าส่วนบุคคลการเรียนการสอนที่เพิ่มขึ้น (เช่น การติดตามรุ่น) จะเพิ่มประสิทธิภาพการเรียนรู้ และในกระบวนการ ปรับปรุงทั้งราคาและคุณภาพของการลงทุนความรู้และทักษะ แต่ผลที่อ้างในวรรณคดีในการเรียนรู้ เกี่ยวกับคอมพิวเตอร์เพิ่มขึ้น adaptivity สองแง่สองง่าม ในบางกรณี นักวิจัยได้รายงานข้อผิดพลาดด้านเกี่ยวกับการเรียนรู้ผล (เช่น Bunderson & Olsen, 1983 ไม่เอาเปรียบ Sleeman ชาย Martinak, Ward และ มัวร์ 1989) คนอื่น ประโยชน์บางมีการรายงานการค้าส่วนบุคคลมากขึ้น (เช่น แอนเดอร์สัน คอนราด และ คอร์เบตต์ 1989 Shute, 1993a หงส์ 1983)ถ้า อย่างไรก็ตาม นักวิจัยเพิ่มเติมดำเนินการควบคุมการประเมินผล จะง่ายต่อการแก้ไขปัญหานี้ แต่ นอกจากความพร้อมของการประเมินรายงานค่อนข้างน้อยของ ได้มีข้อตกลงเล็ก ๆ น้อย ๆ ตามวิธีการมาตรฐานสำหรับการออกแบบ และประเมินระบบเหล่านี้ (ดู 39.5) ตอนนี้จะแสดงผลจากการประเมินของหก19.5.1 หกการประเมินผลรวมถึงเป็นตัวอย่างของการประเมินอย่างเป็นระบบ การควบคุมของรายงานในวรรณคดี: ติวภาษาลิสป์ (เช่น แอนเดอร์สัน ฟาร์เรล & Sauers, 1984) สอนทักษะ การเขียนโปรแกรมภาษาลิสป์ Smithtown (Shute & Glaser, 1990, 1991), ค้นพบโลกที่สอนทักษะการสอบถามทางวิทยาศาสตร์ในบริบทของเศรษฐศาสตร์จุลภาค เชอร์ล็อก (นิโคล Pokorny โจนส์ Gott และ ซอย ในการเตรียม Lesgold, Lajoie, Bunzo & Eggan, 1992), ผู้ปกครองสำหรับการแก้ไขปัญหา avionics บริดจ์ (Bonar คันนิงแฮม เบต์ตี & Weil, 1988 Shute, 1991) การสอนทักษะ การเขียนโปรแกรมปาสคาล สถิติผู้หญิงที่สอนวิธีการทางสถิติ (Shute และ Gawlick-Grendell, 1993), และกวดวิชาเรขาคณิต (แอนเดอร์สัน บอยล์ และ Yost, 1985), ให้สภาพแวดล้อมของนักเรียนซึ่งสามารถพิสูจน์ theorems เรขาคณิต ผลจากการประเมินเหล่านี้แสดงว่า ผู้สอนเหล่านี้เร่งการเรียนรู้ ด้วย ที่เสื่อมสภาพอย่างน้อยที่สุด ไม่มีประสิทธิภาพผลที่ได้เมื่อเทียบกับกลุ่มควบคุมที่เหมาะสม

ผลลัพธ์ (ไทย) 2:

19.5 การประเมินผล ITS

อาคารเป็นครูสอนพิเศษและไม่ได้ประเมินมันเป็นเหมือนการสร้างเรือและไม่ได้ใช้มันในน้ำ เราพบว่าการประเมินผลเป็นที่น่าตื่นเต้นเป็นกระบวนการของการพัฒนาตน บ่อยครั้งที่ผลเป็นที่น่าแปลกใจและบางครั้งพวกเขาจะอ่อนน้อมถ่อมตน ด้วยการออกแบบการทดลองระวังพวกเขามักจะให้ข้อมูล (Shute & Regian 1993, น. 268).

ซึ่งระบบการสั่งให้มีประสิทธิภาพ? อะไรทำให้พวกเขามีประสิทธิภาพได้อย่างไร หนึ่งอาจคิดว่าการเพิ่มส่วนบุคคลของการเรียนการสอน (เช่นรูปแบบการติดตาม) จะส่งเสริมการเรียนรู้อย่างมีประสิทธิภาพและในขั้นตอนการปรับปรุงทั้งอัตราและคุณภาพของความรู้และทักษะการเข้าซื้อกิจการ แต่ผลที่อ้างถึงในหนังสือที่เกี่ยวกับการเรียนรู้เกี่ยวกับการปรับตัวเพิ่มขึ้นของเครื่องคอมพิวเตอร์จะยังไม่มีข้อยุติ ในบางกรณีที่นักวิจัยได้รายงานประโยชน์จากการฟื้นฟูไม่มีข้อผิดพลาดในความสัมพันธ์กับผลการเรียนรู้ (เช่น Bunderson และโอลเซ่น, 1983; Sleeman เคลลี่ Martinak วอร์ดและมัวร์, 1989) ในคนอื่น ๆ ได้เปรียบบางอย่างได้รับการรายงานในการฟื้นฟูส่วนบุคคลมากขึ้น (เช่นแอนเดอคอนราดและ Corbett, 1989; Shute, 1993a; หงส์ 1983).

แต่ถ้านักวิจัยอื่น ๆ ดำเนินการควบคุมการประเมินผล ITS ปัญหานี้จะง่ายต่อการแก้ไข . แต่นอกเหนือไปจากความพร้อมของการประเมินผลการรายงานค่อนข้างน้อยของตนได้มีการทำข้อตกลงเล็ก ๆ น้อย ๆ เมื่อวิธีการมาตรฐานในการออกแบบและการประเมินระบบเหล่านี้ (ดู 39.5) ผลลัพธ์ที่ได้จากการประเมินผลการหกในขณะนี้จะนำเสนอ.

19.5.1 หกประเมิน

ตัวอย่างบางส่วนของระบบการประเมินผลการควบคุมของรายงานในวรรณคดีรวม: LISP ครูสอนพิเศษ (เช่นแอนเดอฟาร์เรลและ Sauers, 1984) สอนการเขียนโปรแกรม LISP ทักษะ สมิททาวน์ (Shute และตับ 1990, 1991), การค้นพบโลกที่สอนทักษะทางวิทยาศาสตร์ในบริบทของเศรษฐศาสตร์จุลภาค; Sherlock (นิโคลส์ Pokorny โจนส์พระผู้เป็นเจ้าและตรอกในการเตรียม; Lesgold, ชัว, Bunzo & Eggan, 1992), ครูสอนพิเศษสำหรับการแก้ไขปัญหาการบิน; สะพาน (Bonar คันนิงแฮม, เบ็ตตี้ & Weil, 1988; Shute, 1991) การเรียนการสอนทักษะการเขียนโปรแกรมภาษาปาสคาล; สถิติของเลดี้สอนวิธีการทางสถิติ (Shute & Gawlick-Grendell, 1993) และครูสอนพิเศษเรขาคณิต (เดอร์สันบอยล์และสต์ 1985) ให้สภาพแวดล้อมที่นักเรียนสามารถพิสูจน์ทฤษฎีบทเรขาคณิต ผลลัพธ์ที่ได้จากการประเมินเหล่านี้แสดงให้เห็นว่าครูเหล่านี้จะเร่งการเรียนรู้กับที่อย่างน้อยมากลดประสิทธิภาพการทำงานผลไม่เมื่อเทียบกับกลุ่มควบคุมที่เหมาะสม

ผลลัพธ์ (ไทย) 3:

19.5 ของการประเมินการสร้างและประเมินติว ไม่เหมือนอาคารเรือ และ ไม่ได้ถ่ายในน้ำ เราพบการประเมินที่น่าตื่นเต้นเป็นขั้นตอนของการพัฒนาของ มักจะ , ผลลัพธ์ที่น่าแปลกใจและบางครั้งพวกเขาจะง่ายมากครับ ด้วยการออกแบบการทดลอง ระวัง จะเป็นข้อมูลเสมอ ( ชูต & regian , 2536 , หน้า 268 )ซึ่งระบบการสอนได้อย่างมีประสิทธิภาพ อะไรที่ทำให้พวกเขามีประสิทธิภาพได้อย่างไร หนึ่งอาจจะคิดว่าการเพิ่มจำนวนมากของการสอน ( เช่น รูปแบบการติดตาม ) จะเพิ่มประสิทธิภาพการเรียนรู้ และ กระบวนการ ปรับปรุงทั้งอัตราและคุณภาพของความรู้และการเรียนรู้ทักษะ แต่ผลที่อ้างในวรรณคดี ในการเรียนรู้ ในความสัมพันธ์กับการเพิ่มขึ้น adaptivity คอมพิวเตอร์จะน่าสงสัย . ในบางกรณี , นักวิจัยได้รายงานว่าไม่มีข้อผิดพลาดจากการสัมพันธ์กับผลการเรียนรู้ ( เช่น bunderson & Olsen , 1983 ; สลีแมน , เคลลี่ , martinak วอร์ด & มัวร์ , 1989 ) ในอื่น ๆบาง ประโยชน์ที่ได้รับรายงานการส่วนบุคคลมากขึ้น ( เช่น แอนเดอร์สัน คอนราด & Corbett , 1989 ; Shute 1993a ; , หงส์ , 1983 )ถ้า , อย่างไรก็ตาม , นักวิจัยมากขึ้นดำเนินการควบคุมการประเมินผลของ ปัญหานี้จะง่ายต่อการแก้ไข แต่ นอกจากความพร้อมของค่อนข้างน้อย รายงานการประเมินตนมีข้อตกลงเล็กน้อยตามวิธีการมาตรฐานสำหรับการออกแบบและประเมินระบบเหล่านี้ ( ดู 39.5 ) ผลลัพธ์จากหกของการประเมินผลจะแสดง19.5.1 6 การประเมินผลของตัวอย่างของระบบ ควบคุม ประเมินผลของรายงานในวรรณคดีรวม : อ้อแอ้ติวเตอร์ ( เช่น แอนเดอร์สัน ฟาร์เรล , และเซาเอิร์ส , 1984 ) สอนทักษะการเขียนโปรแกรมภาษาลิสป์ ; smithtown ( Shute & กลาเซอร์ , 2533 , 2534 ) , การค้นพบโลกที่สอนทักษะการแสวงหาความรู้ทางวิทยาศาสตร์ในบริบทของเศรษฐศาสตร์จุลภาค ; Sherlock ( นิโคล ก็อตต์ โพกอร์นี , โจนส์ และตรอก ในการเตรียม lesgold lajoie bunzo & ; , , eggan , 1992 ) , ครูสอนพิเศษสำหรับ ZTE แก้ปัญหา ; สะพาน Bonar คันนิงแฮม , บิวตี้ , และ , วีล , 1988 ; ชูต , 1991 ) สอนทักษะการเขียนโปรแกรม Pascal ; stat สุภาพสตรีสอนวิธีการทางสถิติ ( Shute & gawlick grendell 1993 ) และเรขาคณิตติว ( แอนเดอร์สัน บอยล์ & โยส , 1985 ) , การให้สภาพแวดล้อมที่นักเรียนสามารถพิสูจน์ ทฤษฎีบทเรขาคณิต ผลลัพธ์จากการประเมินผลเหล่านี้แสดงให้เห็นว่า ครูเหล่านี้จะเร่งเรียน อย่างน้อยที่สุด ไม่มีการย่อยสลายในการแสดงผลเมื่อเทียบกับกลุ่มควบคุมที่เหมาะสม