A different set of open-ended quest

A different set of open-ended questions should be used after the implementation of the
design instance. They should ask the participants such things as what they did and did not like
about the various elements of the instance, what helped them, what did not help them, whether
they felt that the materials and activities were appropriate for their needs, what changes they
would make if they could, and whether they felt they attained the objectives. The purpose of the
debriefing questions is to give the participants an opportunity to reflect on and evaluate the
implementation of the design instance as a whole, to point out any strengths and weaknesses not
mentioned before, and to make any additional comments. They should be strongly encouraged
to point out weaknesses. Reliability or consistency across participants should be assessed so the
point of saturation can be determined.
One additional point is worth mentioning here. Participants sometimes forget details about
the design instance, and they have to be reminded where a particular element came in the overall
process. Once shown, they usually have a lot to say. We suggest, then, after the first open ended questions, to have the participants trace back through the process to specifically recall
their impressions. It can be particularly helpful to show the participant a video tape of the
process.
Usually, the most useful data come from one-to-one interviews with participants during
the implementation of the design instance, because you avoid the memory-loss problem of
interviews after the fact and you can overcome problems that might jeopardize data collection in
the remainder of the implementation. But interviews during the implementation have less
external validity because of their intrusiveness. As in formative evaluation, we recommend
starting with the richer but less valid data collection technique (one-to-one interviews during the
implementation of the design instance) and moving to progressively less rich but more
representative techniques (small-group and field trials with interviews afterwards) to confirm the
richer findings. It is usually helpful to record the interviews. And, in the more authentic trials
for which the interviews are conducted afterwards, it is often helpful to video record the
implementation of the design instance and have the participant comment about it while viewing
the tape. Also, "member checking" (Guba & Lincoln, 1981) should be done with each
participant as soon as possible after the information is recorded. One technique for member
checking is to show each participant a typed summary of the information s/he contributed and
discuss its accuracy.The data collection should always focus on how to improve the design theory. We have found it beneficial to focus on what should not be changed (strengths), as well as what should be
changed (weaknesses). Wherever weaknesses are found, it is, of course, important to get the
learners’ (or users') suggestions for ways to overcome those weaknesses, or at very least their
reactions to any ideas you have about how to overcome each weakness. Several iterations of
data collection are strongly advised (equivalent to increasing the number of subjects in an
experimental study), to assess dependability of results. In these iterations, it is wise to
systematically vary the situation (types of people and conditions) as much as you can, within the
limits of the class of situations for which the theory is intended. This enables you to identify
situationalities (different methods for different contextual conditions) and enhances external
validity (generalizability) Data analysis should be conducted during the data collection process, if possible, to
identify consistency of data across students. Of major concern is identifying the principal
strengths and weaknesses in the instruction and what improvements could be made to the theory.
Data analysis involves three activities: data reduction, data display, and conclusion drawing
(Miles & Huberman, 1984). Data reduction is “selecting, focusing, simplifying, abstracting, and
transforming the ‘raw’ data....” (Miles & Huberman, 1984, p. 21). The analytical procedure
outlined by Miles and Huberman (1984) focuses on categorizing the data by the types of
observations made during the implementation of the design instance or the types of answers to
questions during debriefing. Summary information could be placed in a series of matrices (such
as those developed by Roma, 1990) which specify relevant situational characteristics (e.g., the
students, content, and context) and array categories of data (e.g., elements of the theory) across
them. Each cell would then represent either a positive/negative or yes/no response, depending
on the nature of the data. Specific recommendations for improvement could be keyed to each weakness identified in the matrix and described in detail apart from the matrix.

ผลลัพธ์ (ไทย) 1:

ชุดของคำถามปลายเปิดควรใช้หลังจากการดำเนินงานของการอินสแตนซ์ของการออกแบบ พวกเขาควรถามผู้เข้าร่วมกิจกรรมดังกล่าวเป็นสิ่งที่ทำ และไม่ชอบเกี่ยวกับองค์ประกอบต่าง ๆ ของอินสแตนซ์ สิ่งช่วย อะไรไม่ช่วยพวกเขา ว่าพวกเขารู้สึกว่า วัสดุและกิจกรรมมีความเหมาะสมกับความต้องการ การเปลี่ยนแปลงพวกเขาจะทำให้ถ้าพวกเขาไม่ และไม่ว่าพวกเขารู้สึกว่า พวกเขาบรรลุวัตถุประสงค์ วัตถุประสงค์ของการเป็นข้อคำถามเพื่อ ให้ผู้เข้าร่วมมีโอกาสสะท้อน และประเมินการการใช้งานของอินสแตนซ์ของการออกแบบทั้งหมด ชี้ให้เห็นจุดแข็งและจุดอ่อนใด ๆ ไม่กล่าวก่อน และ เพื่อให้ข้อคิดเห็นใด ๆ เพิ่มเติม พวกเขาควรจะสนับสนุนเพื่อชี้ให้เห็นจุดอ่อน ควรประเมินความน่าเชื่อถือหรือความสอดคล้องระหว่างผู้เข้าร่วมดังนั้นสามารถกำหนดจุดอิ่มตัวจุดหนึ่งที่เพิ่มเติมเป็นมูลค่าการกล่าวขวัญที่นี่ ผู้เข้าร่วมบางครั้งลืมรายละเอียดเกี่ยวกับอินสแตนซ์การออกแบบ และพวกเขาได้รับการแจ้งเตือนมาเป็นองค์ประกอบเฉพาะในกระบวนการ เมื่อแสดง พวกเขามักจะมีจำนวนมากที่จะพูด เราขอแนะนำ แล้ว หลังจากที่แรกเปิดสิ้นคำถาม มีการติดตามผู้เข้าร่วมหลังขั้นตอนการเรียกคืนโดยเฉพาะความประทับใจของพวกเขา มันจะมีประโยชน์โดยเฉพาะอย่างยิ่งการแสดงเทปวิดีโอของผู้เข้าร่วมการกระบวนการข้อมูลมีประโยชน์มากที่สุดมาจากการสัมภาษณ์ตัวต่อตัวกับผู้เข้าร่วมในระหว่างมักจะอินสแตนซ์การดำเนินการของการออกแบบ เนื่องจากคุณหลีกเลี่ยงปัญหาการสูญเสียความจำหลังจากความจริงและคุณสามารถเอาชนะปัญหาที่อาจอันตรายต่อเก็บรวบรวมข้อมูลในการสัมภาษณ์ส่วนที่เหลือของการใช้งาน แต่สัมภาษณ์ในระหว่างการดำเนินการมีน้อยมีผลบังคับใช้ภายนอกเนื่องจาก intrusiveness ของพวกเขา ในการประเมินผลการก่อสร้าง เราขอแนะนำเริ่มต้น ด้วยการยิ่ง แต่ น้อยเทคนิคการเก็บรวบรวมข้อมูลที่ถูกต้อง (การสัมภาษณ์แบบหนึ่งต่อหนึ่งระหว่างการการใช้งานของอินสแตนซ์ของการออกแบบ) และย้ายไปรวยก้าวหน้าน้อยลงแต่เพิ่มเติมพนักงานเทคนิค (กลุ่มเล็กและทดลองกับการสัมภาษณ์ภายหลัง) เพื่อยืนยันการผลการวิจัยยิ่งขึ้น ก็มักจะเป็นประโยชน์ในการบันทึกการสัมภาษณ์ และ ในการทดลองจริงมากขึ้นสำหรับซึ่งการสัมภาษณ์จะดำเนินการหลังจากนั้น ก็มักจะช่วยในการบันทึกวิดีโอการการดำเนินงานของการออกแบบอินสแตนซ์ และมีความคิดเห็นผู้เข้าร่วมเกี่ยวกับมันในขณะที่ดูเทป นอกจากนี้ "สมาชิกตรวจสอบ" (ซาและลินคอล์น 1981) ควรจะทำกับแต่ละผู้เข้าร่วมโดยเร็วที่สุดหลังจากที่บันทึกข้อมูล เทคนิคหนึ่งสำหรับสมาชิกตรวจสอบเป็นผู้เข้าร่วมแสดงสรุปพิมพ์ข้อมูลที่เขาเป็นผู้ให้ และหารือเกี่ยวกับความแม่นยำของมัน การรวบรวมข้อมูลควรจะเน้นวิธีการปรับปรุงทฤษฎีการออกแบบ เราพบว่ามันประโยชน์จะมุ่งเน้นในสิ่งที่ไม่ควรเปลี่ยนแปลง (จุดแข็ง), เช่นเดียวกับสิ่งที่ควรจะเปลี่ยนแปลง (จุดอ่อน) ทุกที่ที่พบจุดอ่อน จำเป็น แน่นอน ต้องได้รับการข้อเสนอแนะของนักเรียน (หรือผู้ใช้) สำหรับวิธีการเอาชนะจุดอ่อนเหล่านั้น หรือที่อย่างน้อยที่สุดของพวกเขาปฏิกิริยาความคิดใด ๆ ที่คุณมีเกี่ยวกับวิธีการเอาชนะความอ่อนแอแต่ละ ทำซ้ำหลายขอแนะนำรวบรวมข้อมูล (เทียบเท่ากับการเพิ่มจำนวนของวัตถุที่มีศึกษาทดลอง), การประเมินประสิทธิภาพของผลลัพธ์ ในการเกิดซ้ำเหล่านี้ ก็ควรระบบแตกต่างสถานการณ์ (ประเภทเงื่อนไขและคน) เท่าที่คุณสามารถ ในการการจำกัดประเภทของสถานการณ์ที่ซึ่งทฤษฎีมีไว้ นี้ช่วยให้คุณระบุsituationalities (วิธีที่แตกต่างกันสำหรับเงื่อนไขบริบทที่แตกต่างกัน) และภายนอกมีผลบังคับใช้ (generalizability) การวิเคราะห์ข้อมูลควรดำเนินการในระหว่างกระบวนการเก็บรวบรวมข้อมูล ถ้าเป็นไปได้ การระบุสอดคล้องกันของข้อมูลระหว่างนักเรียน ความสำคัญคือการระบุหลักการจุดแข็งและจุดอ่อนในการเรียนการสอนและสามารถทำการปรับปรุงใดทฤษฎีวิเคราะห์ข้อมูลที่เกี่ยวข้องกับ 3 กิจกรรม: ลดข้อมูล แสดงข้อมูล และข้อสรุปในการวาดภาพ(ไมล์และ Huberman, 1984) ข้อมูลที่ลดลง "เลือกโฟกัส ลดความซับซ้อน abstracting และแปลงข้อมูล 'วัตถุดิบ'..." (ไมล์และ Huberman, 1984, p. 21) ขั้นตอนการวิเคราะห์ระบุไว้ โดยไมล์และ Huberman (1984) เน้นการจัดหมวดหมู่ข้อมูลตามประเภทของสังเกตการณ์ระหว่างการใช้งานของอินสแตนซ์ของการออกแบบหรือชนิดของคำตอบคำถามระหว่างแสดงรายละเอียด ข้อมูลสรุปอาจถูกวางลงในชุดของเมทริกซ์ (เช่นเป็นผู้ที่พัฒนา โดย Roma, 1990) ซึ่งระบุลักษณะสถานการณ์ที่เกี่ยวข้อง (เช่น การนักเรียน เนื้อหา และบริบท) และอาร์เรย์ประเภทของข้อมูล (เช่น องค์ประกอบของทฤษฎี) ผ่านพวกเขา แต่ละเซลล์แล้วจะแสดงค่าบวก/ลบหรือใช่/ไม่ตอบสนอง ขึ้นอยู่กับในลักษณะของข้อมูล คำแนะนำเฉพาะสำหรับการปรับปรุงอาจต้องป้อนราคาจะอ่อนแต่ละตัวในเมทริกซ์ และอธิบายรายละเอียดนอกเหนือจากเมตริกซ์

ผลลัพธ์ (ไทย) 2:

ชุดที่แตกต่างกันของคำถามปลายเปิดควรใช้หลังจากการดำเนินการ
เช่นการออกแบบ พวกเขาควรจะขอให้ผู้เข้าร่วมกิจกรรมดังกล่าวเป็นสิ่งที่พวกเขาและไม่ชอบ
เกี่ยวกับองค์ประกอบต่างๆของอินสแตนซ์สิ่งที่ช่วยให้พวกเขาสิ่งที่ไม่ได้ช่วยให้พวกเขาไม่ว่า
พวกเขารู้สึกว่าวัสดุและกิจกรรมมีความเหมาะสมสำหรับความต้องการของพวกเขาสิ่งที่พวกเขามีการเปลี่ยนแปลง
จะทำให้ถ้าพวกเขาได้และไม่ว่าพวกเขารู้สึกว่าพวกเขาบรรลุวัตถุประสงค์ วัตถุประสงค์ของ
คำถามซักถามคือเพื่อให้ผู้เข้าร่วมมีโอกาสที่จะสะท้อนให้เห็นถึงและประเมินผลด้วย
การดำเนินการเช่นการออกแบบโดยรวมจะชี้ให้เห็นจุดแข็งและจุดอ่อนใด ๆ ที่ไม่ได้
กล่าวถึงก่อนและเพื่อให้การแสดงความคิดเห็นใด ๆ เพิ่มเติม
พวกเขาควรจะได้รับการสนับสนุนเป็นอย่างยิ่ง ที่จะชี้ให้เห็นจุดอ่อน ความน่าเชื่อถือหรือความสม่ำเสมอทั่วทั้งผู้เข้าร่วมควรมีการประเมินเพื่อให้
จุดของความอิ่มตัวสามารถกำหนด
จุดหนึ่งที่เพิ่มเติมเป็นมูลค่าการกล่าวขวัญที่นี่ ผู้เข้าร่วมบางครั้งลืมรายละเอียดเกี่ยวกับ
ตัวอย่างการออกแบบและพวกเขาจะต้องได้รับการเตือนที่เป็นองค์ประกอบโดยเฉพาะอย่างยิ่งมาในภาพรวม
กระบวนการ เมื่อแสดงให้เห็นพวกเขามักจะมีจำนวนมากที่จะพูด เราขอแนะนำให้แล้วหลังจากที่เปิดครั้งแรกสิ้นสุดวันที่คำถามที่จะมีผู้เข้าร่วมตรวจสอบย้อนกลับผ่านกระบวนการเฉพาะจำ
ประทับใจของพวกเขา มันอาจจะเป็นประโยชน์อย่างยิ่งที่จะแสดงให้ผู้เข้าร่วมวิดีโอเทปของ
กระบวนการ
โดยปกติแล้ว
ข้อมูลที่เป็นประโยชน์มากที่สุดมาจากหนึ่งต่อหนึ่งการสัมภาษณ์กับผู้เข้าร่วมในระหว่าง การดำเนินการเช่นการออกแบบเพราะคุณหลีกเลี่ยงปัญหาหน่วยความจำการสูญเสียของ
การสัมภาษณ์ตามความเป็นจริงและคุณสามารถเอาชนะปัญหาที่อาจเป็นอันตรายต่อการเก็บรวบรวมข้อมูลใน
ส่วนที่เหลือของ การดำเนินงาน แต่การสัมภาษณ์ในระหว่างการดำเนินการมีน้อย
ความตรงภายนอกเนื่องจากการรุกล้ำของพวกเขา ในขณะที่การประเมินผลการก่อสร้างเราขอแนะนำให้
เริ่มต้นด้วยเทคนิคการเก็บรวบรวมข้อมูลที่ดียิ่งขึ้น แต่ที่ถูกต้องน้อยกว่า (One-to-One สัมภาษณ์ในระหว่าง
การดำเนินการเช่นการออกแบบ) และจะย้ายไปมีความก้าวหน้าน้อยที่อุดมไปด้วย แต่
ตัวแทนเทคนิค (กลุ่มเล็ก ๆ และการทดลองภาคสนามด้วย สัมภาษณ์หลังจากนั้น) เพื่อยืนยัน
ผลการวิจัยที่ดียิ่งขึ้น มันมักจะเป็นประโยชน์ในการบันทึกการสัมภาษณ์
และในการทดลองจริงมากขึ้น ซึ่งการสัมภาษณ์จะดำเนินการหลังจากนั้นก็มักจะเป็นประโยชน์ในการบันทึกวิดีโอ
การดำเนินการเช่นการออกแบบและมีผู้เข้าร่วมแสดงความคิดเห็นเกี่ยวกับเรื่องนี้ในขณะที่ดู
เทป นอกจากนี้การตรวจสอบ "สมาชิก" (Guba และลินคอล์น 1981) ควรจะทำกับแต่ละ
ผู้เข้าร่วมโดยเร็วที่สุดเท่าที่เป็นไปได้หลังจากที่ข้อมูลจะถูกบันทึกไว้ เทคนิคหนึ่งของสมาชิก
ตรวจสอบคือการแสดงให้ผู้เข้าร่วมสรุปพิมพ์ข้อมูล S / เขามีส่วนในแต่ละครั้งและ
หารือเกี่ยวกับการเก็บรวบรวมข้อมูลความถูกมันควรมุ่งเน้นไปที่วิธีการปรับปรุงทฤษฎีการออกแบบ เราได้พบว่ามันเป็นประโยชน์ที่จะมุ่งเน้นในสิ่งที่ไม่ควรจะมีการเปลี่ยนแปลง (จุดแข็ง) เช่นเดียวกับสิ่งที่ควรจะ
มีการเปลี่ยนแปลง (จุดอ่อน)
เมื่อใดก็ตามที่มีการค้นพบจุดอ่อนก็คือแน่นอนสิ่งที่สำคัญที่จะได้รับ การเรียนรู้ (หรือผู้ใช้) ข้อเสนอแนะสำหรับวิธีที่จะเอาชนะจุดอ่อนเหล่านั้นหรือที่อย่างน้อยที่สุดของพวกเขา
ในการเกิดปฏิกิริยากับความคิดใด ๆ ที่คุณมีเกี่ยวกับวิธีที่จะเอาชนะในแต่ละอ่อนแอ ซ้ำหลาย
การเก็บรวบรวมข้อมูลควรอย่างยิ่ง (เทียบเท่ากับการเพิ่มจำนวนของอาสาสมัครใน
การศึกษาทดลอง) เพื่อประเมินความน่าเชื่อถือของผล ในการทำซ้ำเหล่านี้ก็ควรที่จะ
มีระบบที่แตกต่างกันสถานการณ์ (ประเภทของคนและเงื่อนไข) มากที่สุดเท่าที่คุณสามารถจะทำได้ภายใน
ขอบเขตของระดับของสถานการณ์ที่ทฤษฎีที่มีจุดมุ่งหมาย
นี้จะช่วยให้คุณสามารถระบุ situationalities (วิธีการที่แตกต่างกันสำหรับเงื่อนไขบริบทที่แตกต่างกัน) และช่วยเพิ่มภายนอก
วิเคราะห์ความถูกต้อง (generalizability) ข้อมูลควรจะดำเนินการในระหว่างขั้นตอนการเก็บรวบรวมข้อมูลถ้าเป็นไปได้ที่จะ
ระบุความสอดคล้องของข้อมูลในนักเรียน จากความกังวลที่สำคัญคือการระบุเงินต้น
จุดแข็งและจุดอ่อนในการเรียนการสอนและการปรับปรุงสิ่งที่อาจจะทำกับทฤษฎี
การวิเคราะห์ข้อมูลที่เกี่ยวข้องกับสามกิจกรรม: การลดข้อมูล, การแสดงข้อมูลและข้อสรุปการวาดภาพ
(ไมล์ & Huberman, 1984) การลดข้อมูลคือ "การเลือกเน้นง่าย, การสรุปและ
เปลี่ยนข้อมูล 'ดิบ' .... " (ไมล์ & Huberman 1984, น. 21)
ขั้นตอนการวิเคราะห์ ที่ระบุไว้โดยไมล์และ Huberman (1984) มุ่งเน้นไปที่การจัดหมวดหมู่ข้อมูลตามประเภทของ
การสังเกตการณ์ระหว่างการดำเนินการเช่นการออกแบบหรือชนิดของคำตอบให้กับ
คำถามในระหว่างการซักถาม ข้อมูลสรุปอาจจะอยู่ในชุดของการฝึกอบรม (เช่น
เป็นผู้ที่พัฒนาโดย Roma, 1990) ซึ่งระบุลักษณะสถานการณ์ที่เกี่ยวข้อง (เช่น
นักเรียนเนื้อหาและบริบท) และอาเรย์ประเภทของข้อมูล (เช่นองค์ประกอบของทฤษฎี) ข้าม
พวกเขา แต่ละเซลล์แล้วจะเป็นตัวแทนของทั้งบวก / ลบหรือ Yes / No ตอบสนองขึ้นอยู่
กับลักษณะของข้อมูล คำแนะนำเฉพาะสำหรับการปรับปรุงอาจจะเครียดกับแต่ละความอ่อนแอที่ระบุไว้ในเมทริกซ์และอธิบายในรายละเอียดนอกเหนือจากเมทริกซ์ ข้อมูลสรุปอาจจะอยู่ในชุดของการฝึกอบรม (เช่น เป็นผู้ที่พัฒนาโดย Roma, 1990) ซึ่งระบุลักษณะสถานการณ์ที่เกี่ยวข้อง (เช่นนักเรียนเนื้อหาและบริบท) และอาเรย์ประเภทของข้อมูล (เช่นองค์ประกอบของทฤษฎี) ข้ามพวกเขา แต่ละเซลล์แล้วจะเป็นตัวแทนของทั้งบวก / ลบหรือ Yes / No ตอบสนองขึ้นอยู่กับลักษณะของข้อมูล คำแนะนำเฉพาะสำหรับการปรับปรุงอาจจะเครียดกับแต่ละความอ่อนแอที่ระบุไว้ในเมทริกซ์และอธิบายในรายละเอียดนอกเหนือจากเมทริกซ์ ข้อมูลสรุปอาจจะอยู่ในชุดของการฝึกอบรม (เช่น เป็นผู้ที่พัฒนาโดย Roma, 1990) ซึ่งระบุลักษณะสถานการณ์ที่เกี่ยวข้อง (เช่นนักเรียนเนื้อหาและบริบท) และอาเรย์ประเภทของข้อมูล (เช่นองค์ประกอบของทฤษฎี) ข้ามพวกเขา แต่ละเซลล์แล้วจะเป็นตัวแทนของทั้งบวก / ลบหรือ Yes / No ตอบสนองขึ้นอยู่กับลักษณะของข้อมูล คำแนะนำเฉพาะสำหรับการปรับปรุงอาจจะเครียดกับแต่ละความอ่อนแอที่ระบุไว้ในเมทริกซ์และอธิบายในรายละเอียดนอกเหนือจากเมทริกซ์ แต่ละเซลล์แล้วจะเป็นตัวแทนของทั้งบวก / ลบหรือ Yes / No ตอบสนองขึ้นอยู่ กับลักษณะของข้อมูล คำแนะนำเฉพาะสำหรับการปรับปรุงอาจจะเครียดกับแต่ละความอ่อนแอที่ระบุไว้ในเมทริกซ์และอธิบายในรายละเอียดนอกเหนือจากเมทริกซ์ แต่ละเซลล์แล้วจะเป็นตัวแทนของทั้งบวก / ลบหรือ Yes / No ตอบสนองขึ้นอยู่ กับลักษณะของข้อมูล คำแนะนำเฉพาะสำหรับการปรับปรุงอาจจะเครียดกับแต่ละความอ่อนแอที่ระบุไว้ในเมทริกซ์และอธิบายในรายละเอียดนอกเหนือจากเมทริกซ์

ผลลัพธ์ (ไทย) 3:

การตั้งค่าที่แตกต่างกันของคำถามปลายเปิดควรใช้หลังจากการดำเนินงานของออกแบบตัวอย่าง พวกเขาควรจะถามผู้เข้าร่วมต่างๆ เช่น สิ่งที่พวกเขาทำและไม่ได้ เช่นเกี่ยวกับองค์ประกอบต่างๆ ของอินสแตนซ์ ที่ช่วยให้พวกเขาในสิ่งที่ไม่ได้ช่วยพวกเขาหรือไม่พวกเขารู้สึกว่าวัสดุ และกิจกรรมที่เหมาะสมสำหรับความต้องการของตน สิ่งที่เปลี่ยนแปลงพวกเขาถ้าจะให้พวกเขา และไม่ว่าพวกเขารู้สึกว่า พวกเขาบรรลุตามวัตถุประสงค์ วัตถุประสงค์ของสรุปคำถามให้ผู้เข้าร่วมมีโอกาสที่จะสะท้อนและประเมินการใช้ตัวอย่างการออกแบบทั้งหมด เพื่อชี้ให้เห็นจุดแข็งและจุดอ่อนไม่ใด ๆที่กล่าวถึงมาก่อน และให้ข้อคิดเห็นเพิ่มเติมใด ๆ พวกเขาควรได้รับการส่งเสริมอย่างมากชี้จุดอ่อน ความน่าเชื่อถือ หรือความสอดคล้องในผู้ที่ควรประเมิน ดังนั้นจุดที่อิ่มตัวได้อีกหนึ่งจุด มีมูลค่าการกล่าวขวัญที่นี่เลย ผู้เข้าร่วมบางครั้งลืมรายละเอียดเกี่ยวกับตัวอย่างการออกแบบ และพวกเขาต้องได้รับการเตือนว่าองค์ประกอบใดเข้ามาโดยรวมกระบวนการ เมื่อแสดง พวกเขามักจะมีมากที่จะพูด เราแนะนำ แล้ว หลังจากถามจบก่อนเปิดให้มีผู้เข้าร่วมติดตามกลับมาผ่านกระบวนการเพื่อเรียกคืนได้เฉพาะการแสดงผลของพวกเขา มันสามารถโดยเฉพาะอย่างยิ่งเป็นประโยชน์ให้ผู้เข้าร่วมวิดีโอเทปของกระบวนการโดยปกติแล้ว ข้อมูลที่ได้ประโยชน์มากที่สุดจากการสัมภาษณ์ผู้เข้าร่วมในช่วงหนึ่งมาการใช้ตัวอย่างการออกแบบเพราะคุณหลีกเลี่ยงปัญหาของการสูญเสียความทรงจำบทสัมภาษณ์หลังความเป็นจริงและคุณสามารถเอาชนะปัญหาที่อาจเป็นอันตรายในการเก็บข้อมูลส่วนที่เหลือของการใช้งาน แต่การสัมภาษณ์ในระหว่างการดําเนินงานได้น้อยลงความตรงภายนอกเพราะความเจ้ากี้เจ้าการของเขา ในการประเมินผลความก้าวหน้า เราแนะนำเริ่มด้วย รวยแต่เทคนิคการเก็บรวบรวมข้อมูลใช้แบบสัมภาษณ์ ระหว่างน้อยลงการใช้ตัวอย่างการออกแบบ ) และการย้ายผู้รวยน้อยลง แต่เทคนิคฯ ( กลุ่มเล็ก และการทดลองภาคสนาม ด้วยการสัมภาษณ์หลังจากนั้น ) เพื่อยืนยันผลสมบูรณ์ยิ่งขึ้น มันมักจะเป็นประโยชน์ในการบันทึกการสัมภาษณ์ และในการทดลองที่แท้จริงมากขึ้นซึ่งการสัมภาษณ์ดำเนินการภายหลัง มันมักจะเป็นประโยชน์ในการบันทึกวิดีโอการใช้ตัวอย่างการออกแบบ และมีผู้เข้าร่วมแสดงความคิดเห็นเกี่ยวกับมันในขณะที่ดูเทป นอกจากนี้ สมาชิก " ตรวจสอบ " ( กูบ้า & ลินคอล์น , 1981 ) ควรจะทำแต่ละเข้าร่วมโดยเร็วที่สุดหลังจากที่ข้อมูลจะถูกบันทึกไว้ เทคนิคหนึ่งสำหรับสมาชิกการตรวจสอบเพื่อแสดงผู้เข้าร่วมแต่ละพิมพ์สรุปข้อมูลที่ s / เขามีส่วนร่วม และหารือเกี่ยวกับความถูกต้องของ ข้อมูลที่รวบรวมได้ ควรมุ่งเน้นวิธีการพัฒนาทฤษฎีการออกแบบ เราได้พบว่ามันเป็นประโยชน์ที่จะมุ่งเน้นในสิ่งที่ไม่ควรเปลี่ยน ( จุดแข็ง ) เช่นเดียวกับสิ่งที่ควรจะมีเปลี่ยน ( จุดอ่อน ) จุดอ่อนที่พบ มันเป็น แน่นอน ที่สำคัญจะได้รับผู้เรียน ( หรือผู้ใช้ ) คำแนะนำสำหรับวิธีการที่จะเอาชนะจุดอ่อนเหล่านั้น หรือที่ที่น้อยมากของพวกเขาปฏิกิริยากับความคิดเห็นใด ๆที่คุณมีเกี่ยวกับวิธีการที่จะเอาชนะแต่ละอ่อน ซ้ำหลายการเก็บรวบรวมข้อมูลควรอย่างยิ่ง ( เทียบเท่ากับการเพิ่มจำนวนของประชากรในการการศึกษาเชิงทดลอง ) เพื่อประเมินความเชื่อถือได้ของผลลัพธ์ ในรอบนี้ มันเป็นปัญญามีระบบที่แตกต่างกัน สถานการณ์ ( ประเภทของคนและสภาพ ) มากที่สุดเท่าที่คุณสามารถภายในข้อจำกัดของชั้นเรียนของสถานการณ์ ซึ่งทฤษฎีนี้ไว้ นี้ช่วยให้คุณระบุsituationalities ( วิธีการที่แตกต่างกันสำหรับเงื่อนไข บริบทที่แตกต่างกัน ) และช่วยเพิ่มภายนอกความถูกต้อง ( 1 ) การวิเคราะห์ข้อมูลควรใช้ในระหว่างกระบวนการ การเก็บรวบรวมข้อมูล ถ้าเป็นไปได้ระบุความสอดคล้องของข้อมูลข้ามคน ความกังวลหลักคือการระบุหลักจุดแข็งและจุดอ่อนในการสอนและปรับปรุงอะไรสามารถทำได้ตามทฤษฎีการวิเคราะห์ข้อมูลที่เกี่ยวข้องกับ 3 กิจกรรม : การลดข้อมูล การแสดงผลข้อมูล และสรุปผล วาด( ไมล์ & ฮูเบอร์เมิ่น , 1984 ) การลดข้อมูลคือ " การเลือก เน้น ลการสาระสังเขป , และ ,เปลี่ยน ' ' " . . . . . . . ดิบ ( ไมล์ & ฮูเบอร์เมิ่น , 1984 , 21 หน้า ) กระบวนการวิเคราะห์ระบุโดยไมล์ และฮูเบอร์เมิ่น ( 1984 ) เน้นการจัดหมวดหมู่ตามประเภทของข้อมูลสังเกตได้ในระหว่างการออกแบบ เช่น หรือ ชนิดของคำตอบคำถามในระหว่างการสอบสวน ข้อมูลสรุปอาจจะอยู่ในชุดของเมทริกซ์ ( เช่นเป็นผู้ที่พัฒนาโดย Roma , 1990 ) ซึ่งระบุสถานการณ์คุณลักษณะที่เกี่ยวข้อง ( เช่นนักเรียน เนื้อหา และบริบท ) และอาร์เรย์ประเภทของข้อมูล ( เช่นองค์ประกอบของทฤษฎี ) ข้ามพวกเขา แต่ละเซลล์จะแสดงทั้งบวก / ลบ หรือใช่ / ไม่มีการตอบสนองขึ้นในลักษณะของข้อมูล ข้อเสนอแนะที่เฉพาะเจาะจงสำหรับการปรับปรุงสามารถคีย์แต่ละอ่อนระบุในเมทริกซ์และอธิบายในรายละเอียดกันจากเมทริกซ์