Analyzing COPUS Data
To compare observer reliability, we calculated Cohen’s kappa
interrater scores for each observation pair. In February,
the average kappa was 0.85, and in April, the average kappa
was 0.91. These are high kappa values and indicate strong
interrater reliability (Landis and Koch, 1977).
To determine the prevalence of each code, we added up
the total number of times each code was marked by both
observers and divided by the total number of codes shared
by both observers. For example, if both observers marked
“Instructor: Lecture” during the same 13 time intervals in a50-min class period and marked the same 25 instructor codes
total for the duration of the class, then 13/25 or 52% of the
codes would be lecture.
As mentioned above, course observations were conducted
in both February and April in order to try to capture teaching
practices that are indicative of the course rather than a particular
day of instruction. For all courses that were observed
more than once (Table 1), the codes were averaged. For example,
in a given course, if 51% of the codes were lecture
in February and 53% of the codes were lecture in April, the
lecture code would be reported as 52%.
It was difficult to get a general sense of trends in student
and instructor behavior when comparing 25 possible COPUS
codes in 51 different courses. Therefore, in addition to looking
at all the COPUS codes individually, we also collapsed
them into four categories describing what the instructor is
doing and four categories describing what the students are
doing (Table 2; F. Jones, personal communication).
The four instructor code categories include: 1) presenting
(P): the instructor is lecturing, possibly using techniques
such as real-time writing or showing demonstrations/
videos; 2) guiding (G): the instructor is asking and answering
questions, including clicker questions, and could be
moving throughout the classroom; 3) administration (A): the
instructor is making announcements of upcoming due dates,
returning assignments, and so on; and 4) other (OI): the instructor
is either waiting for the students to complete a task
without interacting with them or is engaging in an activity
that cannot be easily characterized by the COPUS protocol,
such as listening during student presentations.
The four student code categories include: 1) receiving (R):
the students are listening to the instructor/taking notes;
2) students talking to class (STC): the students are talking
to the whole class, for example, asking and answering questions; 3) students working (SW): the students are working
on problems, worksheets, and so on, either individually
or in groups; and 4) other (OS): the students are either waiting
for the instructor or doing an activity that cannot be easily
characterized by the COPUS protocol, such as collecting
and preparing materials for an upcoming experiment.
Surveying the Faculty on Teaching Practices
All faculty members observed were asked to take the TPI
(Wieman and Gilbert, 2014) online using Qualtrics (Qualtrics,
Provo, UT) between the February and April observations. We
sent three email reminders to the faculty. Thirty-three of the
43 faculty members observed completed the survey. This response
rate is comparable to the average rate in another survey-based
research study of faculty (Ebert-May et al., 2011).
All statistical analyses were performed using SPSS (IBM,
Armonk, NY).
การวิเคราะห์ข้อมูล Copus
เพื่อเปรียบเทียบความน่าเชื่อถือสังเกตการณ์เราคำนวณคัปปาโคเฮนคะแนน interrater สำหรับแต่ละคู่สังเกต
ในเดือนกุมภาพันธ์ให้กัปปะเฉลี่ย 0.85 และในเดือนเมษายนที่คัปปาเฉลี่ยเท่ากับ0.91 เหล่านี้เป็นค่าแคปปาสูงและบ่งบอกถึงความแข็งแกร่งความเชื่อมั่น (แลนดิสและโคช์ส 1977). การตรวจสอบความชุกของแต่ละรหัสที่เราได้เพิ่มขึ้นจำนวนครั้งแต่ละรหัสถูกทำเครื่องหมายด้วยทั้งสังเกตการณ์และหารด้วยจำนวนรวมของรหัสที่ใช้ร่วมกันโดยผู้สังเกตการณ์ทั้ง ตัวอย่างเช่นถ้าผู้สังเกตการณ์ทั้งการทำเครื่องหมาย"สอน: บรรยาย" ระหว่างช่วงเวลาเดียวกัน 13 ครั้งในช่วงระดับ A50 นาทีและทำเครื่องหมายเดียวกัน 25 รหัสสอนรวมในช่วงระยะเวลาของการเรียนแล้ว13/25 หรือ 52% ของรหัสจะจะบรรยาย. ดังกล่าวข้างต้นการสังเกตการเรียนการสอนได้ดำเนินการทั้งในเดือนกุมภาพันธ์และเดือนเมษายนในเพื่อที่จะพยายามที่จะจับการเรียนการสอนการปฏิบัติที่แสดงให้เห็นถึงการเรียนการสอนมากกว่าโดยเฉพาะอย่างยิ่งวันที่มีการเรียนการสอน สำหรับหลักสูตรทั้งหมดที่ถูกตั้งข้อสังเกตมากกว่าหนึ่งครั้ง (ตารางที่ 1), รหัสที่ถูกเฉลี่ย ยกตัวอย่างเช่นในหลักสูตรที่กำหนดถ้า 51% ของรหัสที่มีการบรรยายในเดือนกุมภาพันธ์และ53% ของรหัสที่มีการบรรยายในเดือนเมษายนที่รหัสการบรรยายจะได้รับการรายงานว่า52%. มันเป็นเรื่องยากที่จะได้รับความรู้สึกทั่วไปของแนวโน้มใน นักเรียนและพฤติกรรมการสอนเมื่อเปรียบเทียบCopus ไปได้ 25 รหัส 51 หลักสูตรที่แตกต่างกัน ดังนั้นนอกเหนือจากการมองที่ทุกรหัส Copus ทีเรายังทรุดพวกเขาเป็นสี่ประเภทอธิบายสิ่งที่อาจารย์ผู้สอนที่มีการทำและสี่ประเภทที่อธิบายถึงสิ่งที่นักเรียนจะทำ(ตารางที่ 2 เอฟโจนส์, การสื่อสารส่วนบุคคล). สี่อาจารย์ผู้สอน รหัสประเภท ได้แก่ 1) การนำเสนอ(P): อาจารย์ผู้สอนที่มีการบรรยายอาจจะใช้เทคนิคเช่นการเขียนเวลาจริงหรือการแสดงการสาธิต/ วิดีโอ; 2) แนวทาง (G): อาจารย์ผู้สอนจะขอและตอบคำถามรวมทั้งคำถามclicker และอาจจะมีการเคลื่อนย้ายตลอดห้องเรียน; 3) การบริหาร (A) คืออาจารย์ผู้สอนจะทำให้ประกาศวันครบกำหนดที่จะเกิดขึ้นกลับได้รับมอบหมายและอื่นๆ ; และ 4) อื่น ๆ (OI): อาจารย์ผู้สอนเป็นทั้งการรอคอยสำหรับนักเรียนเพื่อให้งานได้โดยไม่ต้องมีปฏิสัมพันธ์กับพวกเขาหรือมีส่วนร่วมในกิจกรรมที่ไม่สามารถที่โดดเด่นได้อย่างง่ายดายโดยโปรโตคอลCopus,. เช่นการฟังในระหว่างการนำเสนอของนักเรียนทั้งสี่ของนักเรียนรหัสประเภท ได้แก่ 1) ได้รับ (R): นักเรียนกำลังฟังผู้สอน / การบันทึก; 2) การพูดคุยกับนักเรียนชั้น (เอสทีซี): นักเรียนกำลังพูดในชั้นเรียนทั้งยกตัวอย่างเช่นการถามและตอบคำถาม; 3) นักเรียนทำงาน (SW): นักเรียนที่มีการทำงานเกี่ยวกับปัญหาแผ่นและอื่นๆ ไม่ว่าจะเป็นรายบุคคลหรือเป็นกลุ่ม; และ 4) อื่น ๆ (OS): นักเรียนกำลังรอสำหรับอาจารย์ผู้สอนหรือทำกิจกรรมที่ไม่สามารถได้อย่างง่ายดายโดดเด่นด้วยโปรโตคอลCopus เช่นการจัดเก็บภาษีและการจัดเตรียมวัสดุสำหรับการทดลองที่จะเกิดขึ้น. สำรวจคณะที่เกี่ยวกับการเรียนการสอนการปฏิบัติที่สมาชิกทุกคนในคณะสังเกตได้ขอให้ใช้เวลาทีพีไอ(Wieman และกิลเบิร์ 2014) ออนไลน์โดยใช้ Qualtrics (Qualtrics, โพรโว, ยูทาห์) ระหว่างเดือนกุมภาพันธ์และเมษายนสังเกต เราส่งสามการแจ้งเตือนอีเมลไปยังคณะ สามสิบสามของ43 อาจารย์สังเกตเสร็จสิ้นการสำรวจ การตอบสนองนี้อัตราใกล้เคียงกับอัตราเฉลี่ยในการสำรวจอีกตามการศึกษาวิจัยของคณาจารย์(เบิร์ทพฤษภาคม et al., 2011). วิเคราะห์ทางสถิติทั้งหมดถูกดำเนินการโดยใช้โปรแกรม SPSS (IBM, อาร์มองก์, นิวยอร์ก)
การแปล กรุณารอสักครู่..