When validating a method, it is ver

When validating a method, it is very unlikely that different evaluators will agree exactly by giving identical results for all evaluation sessions. We investigated the aspects of consistency between our method evaluations using two statistical measures (see Table 1). Firsts results about our method validation can be seen in [24].

The any-two agreement method measures the extent of agreement on what problems the system contains for pairs of evaluators [20]. For each comparison the number of agreements, disagreements and single points were recorded, always considering the margin of 4 seconds to be counted as the same observation point. The average score of the comparisons for each pair of evaluations was 44%, exceeding the average of 38.5% obtained in [14]. Based on the 64% agreement obtained applying the Cohen's Kappa [21] measurement that included the participation of evaluators with distinct experience levels, we can assume that even inexperienced evaluators will be able to apply the method after receiving an appropriate training. However both assumptions need to be further investigated.

ผลลัพธ์ (ไทย) 1:

เมื่อตรวจสอบวิธีการ มันเป็นยากมากว่า จะตกลงต่อผู้ประเมินที่แตกต่างกันอย่างแน่นอน โดยให้ผลลัพธ์ที่เหมือนกันสำหรับเซสชันการประเมินทั้งหมด เราตรวจสอบในด้านของความสอดคล้องระหว่างของเราวิธีการประเมินโดยใช้มาตรการทางสถิติทั้งสอง (ดูตาราง 1) ผลลัพธ์หนึ่งเกี่ยวกับการตรวจสอบวิธีที่เราสามารถเห็นได้ [24]วิธีการข้อตกลงใด ๆ สองวัดขอบเขตของข้อตกลงในปัญหาใดประกอบด้วยระบบสำหรับคู่ต่อผู้ประเมิน [20] สำหรับการเปรียบเทียบแต่ละ หมายเลขของสัญญา ความขัดแย้ง และจุดเดียวบันทึก เสมอพิจารณากำไร 4 วินาทีในการนับเป็นจุดสังเกตที่เดียว คะแนนเฉลี่ยของการเปรียบเทียบสำหรับแต่ละคู่ของการประเมินคือ 44% เกินค่าเฉลี่ย 38.5% ได้ [14] ตามตกลง 64% ที่ได้รับใช้วัดแคปปา [21] ของโคเฮนที่รวมการมีส่วนร่วมของต่อผู้ประเมินกับระดับประสบการณ์ที่แตกต่างกัน เราสามารถสรุปได้ว่า แม้ไม่มีประสบการณ์ต่อผู้ประเมินจะสามารถใช้วิธีการหลังจากได้รับการฝึกอบรมที่เหมาะสม อย่างไรก็ตาม สมมติฐานทั้งสองต้องมีตรวจเพิ่มเติม

ผลลัพธ์ (ไทย) 2:

เมื่อตรวจสอบวิธีการที่เป็นไปได้ยากมากที่การประเมินผลที่แตกต่างกันจะเห็นว่าโดยการให้ผลเหมือนกันสำหรับทุกประเมินผลการประชุม เราตรวจสอบแง่มุมของความสอดคล้องระหว่างการประเมินวิธีการของเราโดยใช้สองมาตรการทางสถิติ (ดูตารางที่ 1) หนึ่งผลการตรวจสอบเกี่ยวกับวิธีการที่เราสามารถเห็นได้ใน [24].

วิธีการข้อตกลงใด ๆ สองมาตรการขอบเขตของข้อตกลงเกี่ยวกับสิ่งที่เป็นปัญหาของระบบที่มีคู่ของการประเมินผล [20] สำหรับแต่ละการเปรียบเทียบจำนวนของข้อตกลงความขัดแย้งและจุดเดียวที่ถูกบันทึกไว้เสมอเมื่อพิจารณาจากอัตรากำไรขั้นต้นของ 4 วินาทีที่จะนับเป็นจุดสังเกตเดียวกัน คะแนนเฉลี่ยของการเปรียบเทียบสำหรับคู่ของการประเมินผลแต่ละเป็น 44% ซึ่งเกินกว่าค่าเฉลี่ยของ 38.5% ที่ได้รับใน [14] ขึ้นอยู่กับข้อตกลง 64% ที่ได้รับการประยุกต์ใช้ของโคเฮนแคปป้า [21] วัดรวมถึงการมีส่วนร่วมของผู้ประเมินที่มีระดับประสบการณ์ที่แตกต่างกันเราสามารถสรุปได้ว่าแม้การประเมินผลที่ไม่มีประสบการณ์จะสามารถที่จะใช้วิธีการหลังจากที่ได้รับการฝึกอบรมที่เหมาะสม อย่างไรก็ตามทั้งสองสมมติฐานจะต้องมีการสอบสวนต่อไป

ผลลัพธ์ (ไทย) 3:

เมื่อตรวจสอบโดยวิธี จะยากมากว่า ผู้ประเมินที่แตกต่างกันจะเห็นด้วยทุกประการ โดยการให้ผลลัพธ์ที่เหมือนกันสำหรับการประชุมประเมินผลทั้งหมด เราได้ตรวจสอบด้านการประเมินความสอดคล้องระหว่างวิธีของเราใช้ 2 มาตรการทางสถิติ ( ดูตารางที่ 1 ) ที่หนึ่งผลเกี่ยวกับวิธีการตรวจสอบที่สามารถเห็นได้ใน [ 24 ]มาตรการขอบเขตของข้อตกลงในระบบมีปัญหาอะไร สำหรับคู่ของผู้ประเมิน [ 20 ] ข้อตกลงใด ๆสองวิธี สำหรับแต่ละการเปรียบเทียบจำนวนของข้อตกลง ความขัดแย้งและจุดเดียวที่ถูกบันทึกไว้ เสมอพิจารณาขอบของ 4 วินาที นับเป็นจุดสังเกตเหมือนกัน ค่าเฉลี่ยของคะแนนการเปรียบเทียบสำหรับแต่ละคู่ของการประเมินผลคือ 44% , เกินเฉลี่ย 38.5 % ) [ 14 ] ขึ้นอยู่กับข้อตกลง 64 ได้รับใช้ Cohen Kappa [ 21 ] การวัดซึ่งรวมถึงการมีส่วนร่วมของผู้ที่มีระดับประสบการณ์ที่แตกต่างกัน เราสามารถสันนิษฐานได้ว่า แม้แต่ผู้ที่ไม่มีประสบการณ์จะสามารถใช้วิธีการหลังจากที่ได้รับการฝึกอบรมที่เหมาะสม อย่างไรก็ตามทั้งสองสมมติฐานจะต้องมีการศึกษาเพิ่มเติม