3. Collect and analyze formative da

3. Collect and analyze formative data on the instance. Next, you begin data collection
by conducting a formative evaluation of the design instance (see e.g., Dick & Carey, 1990). The
intent is to identify and remove problems in the instance, particularly in the methods prescribed
by the theory. In some situations, design and implementation of the instance occur
simultaneously, in which case the data are collected during the design process (or alternatively
design occurs during the data collection process). In other situations, design and development of
an instance are completed before implementation begins, in which case data collection comes as
a separate phase of activity. In still other situations, you can do a combination—some smallscale
testing of parts as you design the instance, then larger-scale testing of the whole when it is
completed. First, you should prepare the participants, so that they will be more open in providing you
with the data you need. This can be done by explaining that you are testing a new method, that
you want them to be highly critical of it, and that any problems encountered will be due to
weaknesses in the method, not to deficiencies in themselves. Try to establish rapport with them,
and in one-to-one formative evaluations, try to get them to think aloud during the process (in this
case, the instructional process).Three techniques are useful for collecting the formative data: observations, documents,
and interviews. Observations allow you to verify the presence of elements of the design theory
and to see surface reactions of the participants to the elements. Documents on both elements
(methods of instruction, in this case) and outcomes can help you to make judgments about the
value of elements of the theory. For example, test results can help you to gauge how much
learning occurred and what types of learning occurred. Newspaper reports of effects on the
community can provide new insights about the value of certain elements or triangulation for
elements on which you already have some outcome data, assuming the effects reported in the
newspaper reflect the criteria you have established for assessing preferability, as discussed
earlier.
But usually the most useful data come from interviews with the participants. Both
individual and group interviews, or interactions, allow you to probe the reactions and thinking of
the participants (such as teachers and students). They help you to identify strengths and
weaknesses in the design instance, but they also allow you to explore improvements for elements
in the design instance, to explore the likely consequences of removing elements from, or adding
new elements to, the instance, and to explore possible situationalities (ways that methods should
vary for different situations, such as kinds of learning, learners, learning environments, and
development constraints for research on instructional-design theories). Although such data, as
conjecture from the participants, are always suspect, they can also be highly insightful and
useful. At a minimum they will likely provide some hypotheses worthy of testing with subsequent participants and situations. Interviews can be done during or after the
implementation of the instance, or both.
Interactions with the participants during the implementation of the design instance should
be guided by a set of questions that progress from very open-ended ones to very targeted ones.
These questions should be tailored to the design theory under investigation, and should strive to
collect data about how to improve the specific guidelines in the theory, including adding new
guidelines that may better attain the goals targeted by the theory. Therefore, for instructionaldesign
theory the questions should focus on identifying particular aspects of the implementation
of the design instance that helped or hindered learning and finding ways to improve weak
elements. The questions should be used flexibly and responsively, as they are prompted by such
cues as facial expressions (e.g., a quizzical look), and used at break points in the implementation
of the instance. If participants experience difficulties with certain elements of the instance, it is
usually wise to help them overcome those difficulties before they proceed, so that future data
will not be tainted by earlier weaknesses in the instance.

ผลลัพธ์ (ไทย) 1:

3. รวบรวม และวิเคราะห์ข้อมูลก่อสร้างบนอินสแตนซ์ ถัดไป คุณเริ่มต้นเก็บรวบรวมข้อมูลโดยดำเนินการประเมินการก่อสร้างของอินสแตนซ์ของการออกแบบ (ดูเช่น กระเจี๊ยวและ Carey, 1990) การเจตนาคือเพื่อ ระบุ และลบปัญหาในอินสแตนซ์ โดยเฉพาะอย่างยิ่งในวิธีการที่กำหนดโดยทฤษฎีนี้ ในบางสถานการณ์ การออกแบบและการใช้งานของอินสแตนซ์ที่เกิดขึ้นพร้อมกัน ซึ่งในกรณีมีการรวบรวมข้อมูลในระหว่างกระบวนการออกแบบ (หรืออีกวิธีหนึ่งคือการออกแบบเกิดขึ้นในระหว่างกระบวนการเก็บรวบรวมข้อมูล) ในสถานการณ์อื่น ๆ ออกแบบ และพัฒนาอินสแตนซ์จะเสร็จสมบูรณ์ก่อนเริ่มใช้งาน ในกรณี ที่เก็บรวบรวมข้อมูลมาเป็นขั้นตอนที่แยกต่างหากของกิจกรรม ยังสถานการณ์อื่น ๆ คุณสามารถทำการรวม — บางเกล็ดถี่การทดสอบชิ้นส่วน ตามที่คุณออกแบบอินสแตนซ์ แล้วการทดสอบเครื่องชั่งขนาดใหญ่ของทั้งหมดเมื่อเสร็จสมบูรณ์ แรก คุณควรเตรียมผู้เข้าร่วม เพื่อให้พวกเขาจะเปิดมากขึ้นเพื่อให้คุณด้วยข้อมูลคุณต้องการ สามารถทำได้ ด้วยการอธิบายว่า คุณทดสอบวิธีการใหม่ ที่คุณต้องการให้เป็นความสำคัญของมัน และปัญหาใด ๆ ที่พบจะมีการจุดอ่อนในวิธี ไม่ให้ข้อบกพร่องในตัวเอง พยายามสร้างสายสัมพันธ์กับพวกเขาและในการประเมินก่อสร้าง one-to-one พยายามให้เขาคิดว่า ออกเสียงในระหว่างกระบวนการ (ในที่นี้กรณี กระบวนการเรียนการสอน) เทคนิคที่สามมีประโยชน์สำหรับการรวบรวมข้อมูลการก่อสร้าง: สังเกต เอกสารและการสัมภาษณ์ การสังเกตช่วยให้คุณสามารถตรวจสอบสถานะขององค์ประกอบของทฤษฎีการออกแบบและ เพื่อดูองค์ประกอบพื้นผิวปฏิกิริยาของผู้เข้าร่วม เอกสารบนทั้งสององค์ประกอบ(วิธีสอน ในกรณีนี้) และผลสามารถช่วยให้คุณสามารถใช้ดุลยพินิจเกี่ยวกับการค่าขององค์ประกอบของทฤษฎี เช่น ผลการทดสอบสามารถช่วยให้คุณสามารถวัดเท่าใดการเรียนรู้เกิดขึ้นและสิ่งที่ชนิดของการเรียนรู้เกิดขึ้น หนังสือพิมพ์รายงานของผลการชุมชนสามารถให้ข้อมูลเกี่ยวกับค่าขององค์ประกอบหรือระบบสามสกุลสำหรับบางองค์ประกอบที่คุณมีอยู่แล้วบางข้อมูลผลลัพธ์ สมมติว่าผลรายงานในการหนังสือพิมพ์สะท้อนให้เห็นถึงเงื่อนไขที่คุณได้กำหนดไว้สำหรับการประเมิน preferability ตามที่กล่าวไว้ก่อนหน้านี้แต่ข้อมูลมีประโยชน์มากที่สุดมาจากการสัมภาษณ์ผู้เข้าร่วมมักจะ ทั้งสองบุคคล และสัมภาษณ์กลุ่ม หรือปฏิ สัมพันธ์ ช่วยให้คุณหยั่งปฏิกิริยาและความคิดของผู้เข้าร่วม (เช่นครูและนักเรียน) พวกเขาช่วยคุณในการระบุจุดแข็ง และจุดอ่อนในการออกแบบ แต่พวกเขายังช่วยให้คุณสำรวจปรับปรุงองค์ประกอบในกรณีออกแบบ การสำรวจผลแนวโน้มขององค์ประกอบจากการลบ หรือการเพิ่มองค์ประกอบใหม่ อิน และ situationalities เป็นไปได้วิธีที่จะวิธีสำรวจแตกต่างกันสำหรับสถานการณ์ที่แตกต่างกัน เช่นชนิดของการเรียนรู้ ผู้เรียน การเรียนรู้สภาพแวด ล้อม และการพัฒนาข้อจำกัดสำหรับการวิจัยทฤษฎีการออกแบบการสอน) แม้ว่าข้อมูลดังกล่าว เป็นคาดคะเนจากผู้เข้าร่วม มีเสมอสงสัย ยังมีความลึกสูง และมีประโยชน์ อย่างน้อย พวกเขามักจะให้สมมติฐานบางอย่างคุ้มค่าของการทดสอบกับผู้เข้าร่วมที่ตามมาและสถานการณ์ การสัมภาษณ์สามารถทำได้ในระหว่าง หรือหลังการการใช้งานของอินสแตนซ์ หรือทั้งสองควรติดต่อกับผู้เข้าร่วมในระหว่างการใช้งานของอินสแตนซ์ของการออกแบบตามชุดของคำถามที่ก้าวหน้าจากเป้าหมายมากคนมากเปิดคนคำถามเหล่านี้ควรให้เหมาะสมกับทฤษฎีการออกแบบภายใต้การตรวจสอบ และควรพยายามรวบรวมข้อมูลเกี่ยวกับวิธีการปรับปรุงหลักเกณฑ์เฉพาะในทางทฤษฎี รวมทั้งการเพิ่มใหม่แนวทางที่ดีขึ้นอาจบรรลุเป้าหมายตามกำหนดเป้าหมายในทฤษฎี ดังนั้น สำหรับ instructionaldesignทฤษฎีคำถามควรเน้นที่การระบุลักษณะเฉพาะของการใช้งานของอินสแตนซ์ของการออกแบบที่ช่วย หรือขัดขวางการเรียนรู้ และหาวิธีปรับปรุงอ่อนแอองค์ประกอบ คำถามควรใช้อย่างยืดหยุ่น และ responsively ตามที่พวกเขาได้รับการพร้อมท์ โดยเช่นสัญลักษณ์เป็นสีหน้าท่า (เช่น ดู quizzical), และใช้เวลาแบ่งแต้มในการใช้งานของอินสแตนซ์ หากผู้เรียนพบปัญหาในบางองค์ประกอบของอินสแตนซ์มักจะฉลาดที่จะช่วยให้เอาชนะปัญหาเหล่านั้นก่อนที่พวกเขาดำเนินการ ดังนั้นในอนาคตที่ข้อมูลจะไม่มีเอียง ด้วยก่อนหน้านี้จุดอ่อนในอินสแตนซ์

ผลลัพธ์ (ไทย) 2:

3. รวบรวมและวิเคราะห์ข้อมูลการก่อสร้างในอินสแตนซ์ ถัดไปที่คุณจะเริ่มเก็บรวบรวมข้อมูล
โดยการดำเนินการประเมินผลของการออกแบบอินสแตนซ์ (ดูเช่นดิ๊ก & Carey, 1990)
เจตนาคือการระบุและลบปัญหาในกรณีโดยเฉพาะอย่างยิ่งในวิธีการที่กำหนด
โดยทฤษฎี ในบางสถานการณ์การออกแบบและการดำเนินการเช่นนี้เกิดขึ้น
พร้อม ๆ กันซึ่งในกรณีที่ข้อมูลจะถูกเก็บรวบรวมในระหว่างขั้นตอนการออกแบบ (หรืออีกวิธีหนึ่งคือ
การออกแบบที่เกิดขึ้นในระหว่างกระบวนการเก็บรวบรวมข้อมูล) ในสถานการณ์อื่น ๆ การออกแบบและการพัฒนาของ
อินสแตนซ์จะแล้วเสร็จก่อนการดำเนินการเริ่มต้นซึ่งในคอลเลกชันข้อมูลกรณีมาเป็น
ขั้นตอนการแยกจากกันของกิจกรรม ในสถานการณ์อื่น ๆ ยังคง,
คุณสามารถทำรวมกันบางระบบการ ทดสอบของชิ้นส่วนที่คุณออกแบบเช่นนั้นการทดสอบขนาดใหญ่ขนาดของทั้งเมื่อมีการ
เสร็จสิ้น ครั้งแรกที่คุณควรเตรียมความพร้อมเข้าร่วมเพื่อที่พวกเขาจะเปิดกว้างมากขึ้นในการให้คุณ
มีข้อมูลที่คุณต้องการ ซึ่งสามารถทำได้โดยอธิบายว่าคุณกำลังทดสอบวิธีการใหม่ที่
คุณต้องการให้พวกเขาเป็นอย่างมากที่สำคัญของมันและว่าปัญหาใด ๆ ที่พบจะเป็นเนื่องจาก
จุดอ่อนในวิธีการที่จะไม่บกพร่องในตัวเอง พยายามที่จะสร้างสายสัมพันธ์กับพวกเขา
และในหนึ่งต่อหนึ่งการประเมินผลการก่อสร้างพยายามที่จะรับพวกเขาที่จะคิดออกมาดัง ๆ ในระหว่างกระบวนการ (ในนี้
กรณีกระบวนการเรียนการสอน) เทคนิค .Three มีประโยชน์สำหรับการเก็บรวบรวมข้อมูลการก่อสร้าง: สังเกตเอกสาร ,
และการสัมภาษณ์
สังเกตช่วยให้คุณสามารถตรวจสอบการปรากฏตัวขององค์ประกอบของทฤษฎีการออกแบบ และเพื่อดูปฏิกิริยาของพื้นผิวของผู้เข้าร่วมกับองค์ประกอบ เอกสารเกี่ยวกับองค์ประกอบทั้งสอง
(วิธีการเรียนการสอนในกรณีนี้) และผลสามารถช่วยให้คุณให้คำตัดสินเกี่ยวกับ
มูลค่าขององค์ประกอบของทฤษฎี ตัวอย่างเช่นผลการทดสอบสามารถช่วยให้คุณที่จะวัดเท่าใด
การเรียนรู้ที่เกิดขึ้นและสิ่งที่ประเภทของการเรียนรู้ที่เกิดขึ้น รายงานของหนังสือพิมพ์ของผลกระทบใน
ชุมชนสามารถให้ข้อมูลเชิงลึกใหม่เกี่ยวกับคุณค่าขององค์ประกอบบางอย่างหรือสมการสำหรับ
องค์ประกอบที่คุณมีข้อมูลผลบางอย่างสมมติว่าผลกระทบที่มีการรายงานใน
หนังสือพิมพ์สะท้อนให้เห็นถึงเกณฑ์ที่คุณได้สร้างสำหรับการประเมิน preferability ตามที่กล่าวไว้
ก่อนหน้านี้ .
แต่โดยปกติข้อมูลที่เป็นประโยชน์มากที่สุดมาจากการสัมภาษณ์ผู้เข้าร่วม ทั้ง
บุคคลและกลุ่มการสัมภาษณ์หรือการโต้ตอบช่วยให้คุณสามารถแสดงความคิดเห็นปฏิกิริยาและความคิดของ
ผู้เข้าร่วม (เช่นครูและนักเรียน) พวกเขาช่วยให้คุณระบุจุดแข็งและ
จุดอ่อนในกรณีการออกแบบ แต่พวกเขายังช่วยให้คุณสามารถสำรวจการปรับปรุงสำหรับองค์ประกอบ
ในกรณีการออกแบบ, การสำรวจผลกระทบที่มีแนวโน้มของการเอาองค์ประกอบจากหรือเพิ่ม
องค์ประกอบใหม่ที่จะอินสแตนซ์และการสำรวจ situationalities เป็นไปได้ (วิธีการว่าวิธีการควรจะ
แตกต่างกันไปสำหรับสถานการณ์ที่แตกต่างกันเช่นชนิดของการเรียนรู้ของผู้เรียนและสภาพแวดล้อมการเรียนรู้และ
ข้อ จำกัด ของการพัฒนางานวิจัยเกี่ยวกับทฤษฎีการเรียนการสอนการออกแบบ) แม้ว่าข้อมูลดังกล่าว
เป็น การคาดเดาจากผู้เข้าร่วมอยู่เสมอสงสัยว่าพวกเขายังสามารถสูงที่ชาญฉลาดและ
มีประโยชน์ อย่างน้อยพวกเขามีแนวโน้มที่จะให้สมมติฐานบางอย่างที่คุ้มค่าของการทดสอบกับผู้เข้าร่วมที่ตามมาและสถานการณ์ สัมภาษณ์สามารถทำได้ในระหว่างหรือหลัง
การดำเนินงานของอินสแตนซ์หรือทั้งสองอย่าง
การมีปฏิสัมพันธ์กับผู้เข้าร่วมในระหว่างการดำเนินการเช่นการออกแบบที่ควร
ได้รับคำแนะนำจากตั้งคำถามว่ามีความคืบหน้าจากคนที่เปิดกว้างมากกับคนที่ตรงเป้าหมายมาก
คำถามเหล่านี้ควรได้รับการปรับให้เหมาะสมกับทฤษฎีการออกแบบภายใต้การสอบสวนและควรมุ่งมั่นที่จะ
เก็บรวบรวมข้อมูลเกี่ยวกับวิธีการปรับปรุงแนวทางที่เฉพาะเจาะจงในทฤษฎีใหม่รวมทั้งการเพิ่ม
แนวทางที่ดีกว่าอาจจะบรรลุเป้าหมายที่กำหนดเป้าหมายโดยทฤษฎี ดังนั้น,
สำหรับ instructionaldesign ทฤษฎีคำถามควรจะมุ่งเน้นไปที่การระบุลักษณะเฉพาะของการดำเนินการ
ของตัวอย่างการออกแบบที่ช่วยหรือขัดขวางการเรียนรู้และหาวิธีการปรับปรุงที่อ่อนแอ
องค์ประกอบ คำถามควรจะใช้ความยืดหยุ่นและ responsively เช่นที่พวกเขาจะได้รับแจ้งด้วยเช่น
ตัวชี้นำในฐานะการแสดงออกทางสีหน้า (เช่นรูปลักษณ์ที่แปลก) และนำมาใช้ในจุดพักในการดำเนินการ
ของอินสแตนซ์ หากผู้เข้าร่วมประสบปัญหากับองค์ประกอบบางอย่างของอินสแตนซ์ก็คือ
มักจะฉลาดที่จะช่วยให้พวกเขาเอาชนะความยากลำบากเหล่านั้นก่อนที่จะดำเนินการเพื่อให้ข้อมูลในอนาคต
จะไม่ได้รับการปนเปื้อนจากจุดอ่อนก่อนหน้านี้ในอินสแตนซ์ คำถามควรจะใช้ความยืดหยุ่นและ responsively เช่นที่พวกเขาจะได้รับแจ้งด้วยเช่น ตัวชี้นำในฐานะการแสดงออกทางสีหน้า (เช่นรูปลักษณ์ที่แปลก) และนำมาใช้ในจุดพักในการดำเนินการของอินสแตนซ์ หากผู้เข้าร่วมประสบปัญหากับองค์ประกอบบางอย่างของอินสแตนซ์ก็คือมักจะฉลาดที่จะช่วยให้พวกเขาเอาชนะความยากลำบากเหล่านั้นก่อนที่จะดำเนินการเพื่อให้ข้อมูลในอนาคตจะไม่ได้รับการปนเปื้อนจากจุดอ่อนก่อนหน้านี้ในอินสแตนซ์ คำถามควรจะใช้ความยืดหยุ่นและ responsively เช่นที่พวกเขาจะได้รับแจ้งด้วยเช่น ตัวชี้นำในฐานะการแสดงออกทางสีหน้า (เช่นรูปลักษณ์ที่แปลก) และนำมาใช้ในจุดพักในการดำเนินการของอินสแตนซ์ หากผู้เข้าร่วมประสบปัญหากับองค์ประกอบบางอย่างของอินสแตนซ์ก็คือมักจะฉลาดที่จะช่วยให้พวกเขาเอาชนะความยากลำบากเหล่านั้นก่อนที่จะดำเนินการเพื่อให้ข้อมูลในอนาคตจะไม่ได้รับการปนเปื้อนจากจุดอ่อนก่อนหน้านี้ในอินสแตนซ์

ผลลัพธ์ (ไทย) 3:

3 . เก็บรวบรวมและวิเคราะห์ข้อมูลที่ใช้ในตัวอย่าง ถัดไป , คุณเริ่มต้นเก็บรวบรวมข้อมูลโดยทำการประเมินผลความก้าวหน้าของอินสแตนซ์การออกแบบ ( ดูเช่น Dick & Carey , 1990 ) ที่เจตนาคือการระบุและกำจัดปัญหาในอินสแตนซ์ โดยเฉพาะอย่างยิ่งในวิธีการ กำหนดโดยทฤษฎี ในบางสถานการณ์ การออกแบบและใช้ตัวอย่างเกิดขึ้นพร้อมกัน ซึ่งในกรณีนี้ ข้อมูลจะถูกเก็บรวบรวมในระหว่างกระบวนการออกแบบ ( หรืออีกวิธีหนึ่งคือการออกแบบที่เกิดขึ้นในระหว่างกระบวนการเก็บข้อมูล ) ในสถานการณ์อื่น ๆ การออกแบบ และการพัฒนาตัวอย่างจะเสร็จสมบูรณ์ก่อนการเริ่มต้น , ซึ่งในกรณีที่เก็บข้อมูลมาเป็นขั้นตอนการแยกกิจกรรม ในสถานการณ์อื่น ๆยัง คุณสามารถทำการรวมกันมีขนาดเล็กการทดสอบชิ้นส่วนตามที่คุณออกแบบตัวอย่างแล้วขนาดใหญ่การทดสอบทั้งหมดเมื่อมันเป็นเสร็จสมบูรณ์ แรก , คุณควร เตรียม เปิด เพื่อที่พวกเขาจะเปิดมากขึ้นในการให้คุณกับข้อมูลที่คุณต้องการ นี้สามารถทำได้โดยอธิบายว่าคุณกำลังทดสอบวิธีการใหม่คุณต้องการให้พวกเขาเป็นอย่างสูงที่สำคัญ ของ มัน และ ที่ ใด ๆปัญหาที่พบจะเป็นเนื่องจากจุดอ่อนในวิธีการที่จะไม่บกพร่องในตัวเอง พยายามที่จะสร้างสายสัมพันธ์กับพวกเขาในการประเมินผลแบบย่อยและพยายามที่จะรับพวกเขาที่จะคิดดังในระหว่างกระบวนการ ( ในนี้กรณีกระบวนการการสอน สามเทคนิคที่เป็นประโยชน์สำหรับการเก็บรวบรวมข้อมูลย่อย : การสังเกต , เอกสารและแบบสัมภาษณ์ ตัวอย่างช่วยให้คุณสามารถตรวจสอบสถานะขององค์ประกอบของทฤษฎีการออกแบบและดูปฏิกิริยาของผู้เข้าร่วมงานองค์ประกอบ เอกสารทั้งสององค์ประกอบ( วิธีสอน ) ในกรณีนี้และผลที่สามารถช่วยให้คุณตัดสินใจเกี่ยวกับค่าขององค์ประกอบของทฤษฎี ตัวอย่างเช่น ผลการทดสอบจะช่วยให้คุณสามารถที่จะวัดเท่าใดการเรียนรู้จะเกิดขึ้นและสิ่งที่ประเภทของการเรียนรู้ที่เกิดขึ้น รายงานผลในหนังสือพิมพ์ชุมชนที่สามารถให้ข้อมูลเชิงลึกเกี่ยวกับมูลค่าขององค์ประกอบบางอย่าง หรือ สามเหลี่ยมสำหรับองค์ประกอบที่คุณได้ผลข้อมูล สมมติว่าผลรายงานในหนังสือพิมพ์ที่สะท้อนให้เห็นถึงคุณได้สร้างเกณฑ์การประเมิน preferability ดังที่กล่าวก่อนหน้านี้แต่โดยปกติแล้ว ข้อมูลที่ได้ประโยชน์มากที่สุดจากการสัมภาษณ์กับผู้เข้าร่วม ทั้งการสัมภาษณ์เดี่ยวและกลุ่ม หรือโต้ตอบอนุญาตให้คุณตรวจสอบปฏิกิริยาและการคิดของผู้เข้าร่วม ( เช่น ครูและนักเรียน ) พวกเขาช่วยให้คุณสามารถระบุจุดแข็งและจุดอ่อนในอินสแตนซ์ออกแบบ แต่พวกเขายังช่วยให้คุณสามารถสำรวจการปรับปรุงองค์ประกอบในตัวอย่างการออกแบบการสำรวจผลแนวโน้มของการเอาองค์ประกอบจากหรือเพิ่มองค์ประกอบใหม่ , ตัวอย่าง และสำรวจ situationalities ที่สุด ( วิธีที่วิธีการ ควรแตกต่างกันไปสำหรับแต่ละสถานการณ์ เช่นชนิดของการเรียนรู้ ผู้เรียน สภาพแวดล้อมการเรียนรู้ข้อจำกัดในการพัฒนาการวิจัยในทฤษฎีการออกแบบการสอน แม้ว่าข้อมูลดังกล่าว เช่นคาดเดาจากผู้เข้าร่วมมักจะสงสัยว่าพวกเขาสามารถเป็นอย่างชาญฉลาดและที่เป็นประโยชน์ อย่างน้อยพวกเขาอาจจะมีบางสมมติฐานที่คุ้มค่าการทดสอบกับผู้เข้าร่วมที่ตามมา และสถานการณ์ การสัมภาษณ์สามารถทำได้ในระหว่าง หรือหลังการดำเนินงานของอินสแตนซ์ หรือทั้งสองอย่างการสื่อสารกับการมีส่วนร่วมในการใช้ตัวอย่างการออกแบบควรถูกชี้นำโดยชุดของคำถามที่ก้าวหน้ามาก เปิดตัวจากคนที่เป็นเป้าหมายมากคำถามเหล่านี้ควรจะเหมาะกับทฤษฎีการออกแบบภายใต้การสอบสวน และควรมุ่งมั่นรวบรวมข้อมูลเกี่ยวกับวิธีการปรับปรุงแนวทางเฉพาะในทฤษฎี รวมทั้งการเพิ่มใหม่แนวทางที่อาจดีกว่าบรรลุ จุดมุ่งหมาย เป้าหมาย โดยทฤษฎี ดังนั้น สำหรับ instructionaldesignทฤษฎีคำถามควรมุ่งเน้นการระบุลักษณะเฉพาะการดำเนินงานตัวอย่างของการออกแบบที่ช่วยหรือขัดขวางการเรียนรู้และหาวิธีการปรับปรุงที่อ่อนแอองค์ประกอบ คำถามที่ใช้ควรมีความยืดหยุ่นและหน้าที่ตามที่ได้รับแจ้งจาก เช่นคิวเป็นนิพจน์ ( เช่นดูน่าขัน ) และใช้ที่จุดแบ่งในการดำเนินงานของอินสแตนซ์ ถ้าผู้พบปัญหากับองค์ประกอบบางอย่างของอินสแตนซ์ มันเป็นมักจะฉลาดที่จะช่วยให้พวกเขาเอาชนะความยากลำบากเหล่านั้นก่อนที่จะดำเนินการเพื่อให้ข้อมูลในอนาคตจะไม่แปดเปื้อนด้วยก่อนหน้านี้จุดอ่อนในอินสแตนซ์