To summarize how similarly observer

To summarize how similarly observer pairs used each code on the final version of the COPUS, we calculated Jaccard similarity scores (Jaccard, 1901) for each code and then averaged the scores for both the UBC and UMaine observers (Table 3). For single codes, we calculated Jaccard similarity scores instead of IRR Cohen's kappa values, because observer pairs occasionally marked the same code for every 2-min increment throughout the duration of the class. For example, in a class that is lecture-based, observers would likely mark the student code “L: Listening” for the entire time. In a case such as this, the observer opinion is defined as a constant rather than a variable, which interferes with the IRR calculation.

ผลลัพธ์ (ไทย) 1:

สรุปวิธีทำนองเดียวกัน คู่นักการใช้รหัสแต่ละรุ่นล่าสุดที่ COPUS เราได้คล้าย Jaccard คะแนน (Jaccard, 1901) สำหรับแต่ละรหัส และจากนั้น averaged คะแนนสำหรับ UBC และ UMaine ผู้สังเกตการณ์ (ตาราง 3) สำหรับรหัสเดียว เราได้คะแนนคล้าย Jaccard ค่า IRR โคเฮนกัปปะ เพราะนักการคู่บางครั้งเครื่องรหัสเดียวกันสำหรับเพิ่มทุก 2 นาทีตลอดระยะเวลาของคลาส ตัวอย่าง ในระดับที่เป็นการบรรยายตาม ผู้สังเกตการณ์จะมีแนวโน้มทำเครื่องหมายรหัสนักศึกษา "l:ฟัง" เวลาทั้งหมดอยู่ ในกรณีนี้ เห็นนักการถูกกำหนดเป็นค่าคงแทนตัวแปร การรบกวนการคำนวณ IRR

ผลลัพธ์ (ไทย) 2:

เพื่อสรุปวิธีการในทำนองเดียวกันคู่สังเกตการณ์แต่ละใช้รหัสในรุ่นสุดท้ายของ Copus เราคำนวณคะแนนความคล้ายคลึงกัน Jaccard (Jaccard 1901) สำหรับแต่ละรหัสและแล้วคะแนนเฉลี่ยทั้งยูบีซีและผู้สังเกตการณ์ UMaine (ตารางที่ 3) สำหรับรหัสเดียวเราคำนวณคะแนนความคล้ายคลึงกัน Jaccard แทน IRR โคเฮนค่าแคปปาเพราะคู่สังเกตการณ์บางครั้งการทำเครื่องหมายรหัสเดียวกันเพิ่มขึ้นทุก 2 นาทีตลอดระยะเวลาของการเรียน ยกตัวอย่างเช่นในระดับที่มีการบรรยายตามที่ผู้สังเกตการณ์มีแนวโน้มที่จะทำเครื่องหมายรหัสนักศึกษา "L: ฟัง" ตลอดเวลา ในกรณีเช่นนี้ความเห็นของผู้สังเกตการณ์ที่ถูกกำหนดเป็นค่าคงที่มากกว่าตัวแปรที่เป็นอุปสรรคกับการคำนวณอัตราผลตอบแทน

ผลลัพธ์ (ไทย) 3:

เพื่อสรุปวิธีการและสังเกตการณ์ใช้รหัสแต่ละคู่ในรุ่นสุดท้ายของ copus เราคำนวณคะแนน ( Jaccard Jaccard , ความเหมือน 1901 ) แต่ละรหัส และเฉลี่ยคะแนนทั้ง UBC และ umaine สังเกตการณ์ ( ตารางที่ 3 ) รหัสเดียว เราคำนวณความเหมือนคะแนน Jaccard แทนของค่า IRR โคเฮนคัป เพราะคู่สังเกตบางครั้งเครื่องหมายรหัสเดียวกันสำหรับทุก 2-min เพิ่มขึ้นตลอดระยะเวลาของการเรียน ตัวอย่างเช่น ในชั้นเรียนที่สอนตาม ผู้สังเกตการณ์อาจทำเครื่องหมายรหัสนักศึกษา " ผมฟัง " สำหรับเวลาทั้งหมด ในกรณีเช่นนี้ ผู้สังเกตการณ์ความคิดเห็นกำหนดเป็นค่าคงที่มากกว่าตัวแปร ซึ่งจะมีผลกับอัตราการคํานวณ