Analyzing COPUS DataTo compare obse

Analyzing COPUS Data
To compare observer reliability, we calculated Cohen’s kappa
interrater scores for each observation pair. In February,
the average kappa was 0.85, and in April, the average kappa
was 0.91. These are high kappa values and indicate strong
interrater reliability (Landis and Koch, 1977).
To determine the prevalence of each code, we added up
the total number of times each code was marked by both
observers and divided by the total number of codes shared
by both observers. For example, if both observers marked
“Instructor: Lecture” during the same 13 time intervals in a50-min class period and marked the same 25 instructor codes
total for the duration of the class, then 13/25 or 52% of the
codes would be lecture.
As mentioned above, course observations were conducted
in both February and April in order to try to capture teaching
practices that are indicative of the course rather than a particular
day of instruction. For all courses that were observed
more than once (Table 1), the codes were averaged. For example,
in a given course, if 51% of the codes were lecture
in February and 53% of the codes were lecture in April, the
lecture code would be reported as 52%.
It was difficult to get a general sense of trends in student
and instructor behavior when comparing 25 possible COPUS
codes in 51 different courses. Therefore, in addition to looking
at all the COPUS codes individually, we also collapsed
them into four categories describing what the instructor is
doing and four categories describing what the students are
doing (Table 2; F. Jones, personal communication).
The four instructor code categories include: 1) presenting
(P): the instructor is lecturing, possibly using techniques
such as real-time writing or showing demonstrations/
videos; 2) guiding (G): the instructor is asking and answering
questions, including clicker questions, and could be
moving throughout the classroom; 3) administration (A): the
instructor is making announcements of upcoming due dates,
returning assignments, and so on; and 4) other (OI): the instructor
is either waiting for the students to complete a task
without interacting with them or is engaging in an activity
that cannot be easily characterized by the COPUS protocol,
such as listening during student presentations.
The four student code categories include: 1) receiving (R):
the students are listening to the instructor/taking notes;
2) students talking to class (STC): the students are talking
to the whole class, for example, asking and answering questions; 3) students working (SW): the students are working
on problems, worksheets, and so on, either individually
or in groups; and 4) other (OS): the students are either waiting
for the instructor or doing an activity that cannot be easily
characterized by the COPUS protocol, such as collecting
and preparing materials for an upcoming experiment.
Surveying the Faculty on Teaching Practices
All faculty members observed were asked to take the TPI
(Wieman and Gilbert, 2014) online using Qualtrics (Qualtrics,
Provo, UT) between the February and April observations. We
sent three email reminders to the faculty. Thirty-three of the
43 faculty members observed completed the survey. This response
rate is comparable to the average rate in another survey-based
research study of faculty (Ebert-May et al., 2011).
All statistical analyses were performed using SPSS (IBM,
Armonk, NY).

ผลลัพธ์ (ไทย) 1:

วิเคราะห์ข้อมูล COPUSการเปรียบเทียบแหล่งความน่าเชื่อถือ เราได้กัปปะของโคเฮนinterrater คะแนนสำหรับแต่ละคู่การสังเกต ในเดือนกุมภาพันธ์มีกัปปะเฉลี่ย 0.85 และ ในเดือน เมษายน กัปปะเฉลี่ยมี 0.91 เหล่านี้มีค่า kappa สูง และบ่งชี้แข็งแกร่งความ interrater (แลนดิสและคอ 1977)การกำหนดรหัสแต่ละส่วน เราได้เพิ่มขึ้นจำนวนครั้งที่แต่ละรหัสถูกทำเครื่องหมายทั้งผู้สังเกตการณ์ และหาร ด้วยจำนวนรวมของรหัสที่ใช้ร่วมกันโดยผู้สังเกตการณ์ทั้งสอง ตัวอย่างเช่น ถ้าผู้สังเกตการณ์ทั้งสองเครื่อง"ผู้สอน: บรรยาย" ระหว่างกัน 13 ช่วงใน a50 นาทีรอบระยะเวลาเรียน และเครื่องรหัสเดียวกันผู้สอน 25การเรียน รวมแล้ว 13/25 หรือ 52% ของการรหัสจะบรรยายดังกล่าวข้างต้น สังเกตหลักสูตรได้ดำเนินการในเดือนกุมภาพันธ์และเมษายนเพื่อพยายามจับสอนแนวทางปฏิบัติที่มีหลักสูตรมากกว่าเฉพาะส่อวันสอน สำหรับหลักสูตรทั้งหมดที่ถูกสังเกตมากกว่า เมื่อได้รหัส (ตาราง 1), averaged ตัวอย่างในหลักสูตรกำหนด 51% รหัสได้ บรรยายในเดือนกุมภาพันธ์ และ 53% ของรหัสถูกบรรยายในเดือนเมษายน การจะรายงานรหัสบรรยายเป็น 52%ก็ยากที่จะได้รับความรู้สึกทั่วไปของแนวโน้มในนักเรียนและพฤติกรรมผู้สอนเมื่อเปรียบเทียบ COPUS ได้ 25รหัสใน 51 หลักสูตรที่แตกต่างกัน ดังนั้น นอกจากการหาในรหัส COPUS ที เรายังยุบพวกเขาที่อธิบายถึงสิ่งที่ผู้สอนทำและอธิบายนักเรียนเป็น 4 ประเภททำ (ตารางที่ 2 F. Jones สื่อสาร)รวมประเภทรหัสผู้สอน 4: 1) นำเสนอ(P): ผู้สอนจะปาฐกถา อาจใช้เทคนิคเช่นเขียนแบบเรียลไทม์ หรือแสดงการสาธิต /วิดีโอ 2 แนวทาง (G): ผู้สอนถาม และตอบคำ ถาม รวมคำถาม clicker และอาจจะย้ายทั่วห้องเรียน 3) การจัดการ (A): การผู้สอนจะทำให้ประกาศครบกำหนดถึงวันความกำหนด และอื่น ๆ และ 4) อื่น ๆ (OI): ผู้สอนหรือกำลังรอสำหรับนักเรียนที่จะทำงานโดยไม่ต้องโต้ตอบกับพวกเขา หรือเสน่ห์ในกิจกรรมที่ไม่ได้ทั้งหมด โดยโพรโทคอล COPUSเช่นฟังระหว่างการนำเสนอของนักเรียนรวมประเภทรหัสนักศึกษา 4: 1) รับ (R):นักเรียนฟังผู้สอน/การบันทึก2 นักเรียนพูดกับคลาส (STC): นักเรียนกำลังพูดทั้งชั้น ตัวอย่าง การถาม และตอบคำถาม 3) นักศึกษาทำงาน (SW): นักเรียนกำลังทำงานบนปัญหา แผ่นงาน และอื่น ๆ ทั้งทีหรือ ใน กลุ่ม และ 4) อื่น ๆ (OS): นักศึกษาอยู่รอสำหรับผู้สอนหรือทำกิจกรรมที่ไม่ได้โดยโพรโทคอ COPUS เช่นเก็บรวบรวมและเตรียมวัสดุสำหรับการทดลองที่เกิดขึ้นสำรวจบุคลากรในการปฏิบัติการสอนคณาจารย์ทั้งหมดที่สังเกตได้ต้องใช้ทีพีไอ(Wieman และกิลเบิร์ต 2014) ใช้ Qualtrics (Qualtrics ออนไลน์Provo, UT) ระหว่างเดือนกุมภาพันธ์และเมษายนข้อสังเกตุ เราส่งอีเมล์แจ้งเตือนที่สามคณะ สามสิบสามของการคณะที่ 43 สมาชิกสังเกตเสร็จสมบูรณ์แบบ คำตอบนี้จะเทียบเท่ากับอัตราเฉลี่ยในอีกตามแบบสำรวจวิจัยการศึกษาคณะ (Ebert May et al., 2011)สถิติวิเคราะห์ทั้งหมดดำเนินการโดยใช้โปรแกรม (IBMArmonk, NY)

ผลลัพธ์ (ไทย) 2:

การวิเคราะห์ข้อมูล Copus
เพื่อเปรียบเทียบความน่าเชื่อถือสังเกตการณ์เราคำนวณคัปปาโคเฮนคะแนน interrater สำหรับแต่ละคู่สังเกต
ในเดือนกุมภาพันธ์ให้กัปปะเฉลี่ย 0.85 และในเดือนเมษายนที่คัปปาเฉลี่ยเท่ากับ0.91 เหล่านี้เป็นค่าแคปปาสูงและบ่งบอกถึงความแข็งแกร่งความเชื่อมั่น (แลนดิสและโคช์ส 1977). การตรวจสอบความชุกของแต่ละรหัสที่เราได้เพิ่มขึ้นจำนวนครั้งแต่ละรหัสถูกทำเครื่องหมายด้วยทั้งสังเกตการณ์และหารด้วยจำนวนรวมของรหัสที่ใช้ร่วมกันโดยผู้สังเกตการณ์ทั้ง ตัวอย่างเช่นถ้าผู้สังเกตการณ์ทั้งการทำเครื่องหมาย"สอน: บรรยาย" ระหว่างช่วงเวลาเดียวกัน 13 ครั้งในช่วงระดับ A50 นาทีและทำเครื่องหมายเดียวกัน 25 รหัสสอนรวมในช่วงระยะเวลาของการเรียนแล้ว13/25 หรือ 52% ของรหัสจะจะบรรยาย. ดังกล่าวข้างต้นการสังเกตการเรียนการสอนได้ดำเนินการทั้งในเดือนกุมภาพันธ์และเดือนเมษายนในเพื่อที่จะพยายามที่จะจับการเรียนการสอนการปฏิบัติที่แสดงให้เห็นถึงการเรียนการสอนมากกว่าโดยเฉพาะอย่างยิ่งวันที่มีการเรียนการสอน สำหรับหลักสูตรทั้งหมดที่ถูกตั้งข้อสังเกตมากกว่าหนึ่งครั้ง (ตารางที่ 1), รหัสที่ถูกเฉลี่ย ยกตัวอย่างเช่นในหลักสูตรที่กำหนดถ้า 51% ของรหัสที่มีการบรรยายในเดือนกุมภาพันธ์และ53% ของรหัสที่มีการบรรยายในเดือนเมษายนที่รหัสการบรรยายจะได้รับการรายงานว่า52%. มันเป็นเรื่องยากที่จะได้รับความรู้สึกทั่วไปของแนวโน้มใน นักเรียนและพฤติกรรมการสอนเมื่อเปรียบเทียบCopus ไปได้ 25 รหัส 51 หลักสูตรที่แตกต่างกัน ดังนั้นนอกเหนือจากการมองที่ทุกรหัส Copus ทีเรายังทรุดพวกเขาเป็นสี่ประเภทอธิบายสิ่งที่อาจารย์ผู้สอนที่มีการทำและสี่ประเภทที่อธิบายถึงสิ่งที่นักเรียนจะทำ(ตารางที่ 2 เอฟโจนส์, การสื่อสารส่วนบุคคล). สี่อาจารย์ผู้สอน รหัสประเภท ได้แก่ 1) การนำเสนอ(P): อาจารย์ผู้สอนที่มีการบรรยายอาจจะใช้เทคนิคเช่นการเขียนเวลาจริงหรือการแสดงการสาธิต/ วิดีโอ; 2) แนวทาง (G): อาจารย์ผู้สอนจะขอและตอบคำถามรวมทั้งคำถามclicker และอาจจะมีการเคลื่อนย้ายตลอดห้องเรียน; 3) การบริหาร (A) คืออาจารย์ผู้สอนจะทำให้ประกาศวันครบกำหนดที่จะเกิดขึ้นกลับได้รับมอบหมายและอื่นๆ ; และ 4) อื่น ๆ (OI): อาจารย์ผู้สอนเป็นทั้งการรอคอยสำหรับนักเรียนเพื่อให้งานได้โดยไม่ต้องมีปฏิสัมพันธ์กับพวกเขาหรือมีส่วนร่วมในกิจกรรมที่ไม่สามารถที่โดดเด่นได้อย่างง่ายดายโดยโปรโตคอลCopus,. เช่นการฟังในระหว่างการนำเสนอของนักเรียนทั้งสี่ของนักเรียนรหัสประเภท ได้แก่ 1) ได้รับ (R): นักเรียนกำลังฟังผู้สอน / การบันทึก; 2) การพูดคุยกับนักเรียนชั้น (เอสทีซี): นักเรียนกำลังพูดในชั้นเรียนทั้งยกตัวอย่างเช่นการถามและตอบคำถาม; 3) นักเรียนทำงาน (SW): นักเรียนที่มีการทำงานเกี่ยวกับปัญหาแผ่นและอื่นๆ ไม่ว่าจะเป็นรายบุคคลหรือเป็นกลุ่ม; และ 4) อื่น ๆ (OS): นักเรียนกำลังรอสำหรับอาจารย์ผู้สอนหรือทำกิจกรรมที่ไม่สามารถได้อย่างง่ายดายโดดเด่นด้วยโปรโตคอลCopus เช่นการจัดเก็บภาษีและการจัดเตรียมวัสดุสำหรับการทดลองที่จะเกิดขึ้น. สำรวจคณะที่เกี่ยวกับการเรียนการสอนการปฏิบัติที่สมาชิกทุกคนในคณะสังเกตได้ขอให้ใช้เวลาทีพีไอ(Wieman และกิลเบิร์ 2014) ออนไลน์โดยใช้ Qualtrics (Qualtrics, โพรโว, ยูทาห์) ระหว่างเดือนกุมภาพันธ์และเมษายนสังเกต เราส่งสามการแจ้งเตือนอีเมลไปยังคณะ สามสิบสามของ43 อาจารย์สังเกตเสร็จสิ้นการสำรวจ การตอบสนองนี้อัตราใกล้เคียงกับอัตราเฉลี่ยในการสำรวจอีกตามการศึกษาวิจัยของคณาจารย์(เบิร์ทพฤษภาคม et al., 2011). วิเคราะห์ทางสถิติทั้งหมดถูกดำเนินการโดยใช้โปรแกรม SPSS (IBM, อาร์มองก์, นิวยอร์ก)