Many evaluation issues for grammati

Many evaluation issues for grammatical error detection have previously been overlooked,
making it hard to draw meaningful comparisons between different approaches, even when
they are evaluated on the same corpus. To begin with, the three-way contingency between a
writer’s sentence, the annotator’s correction, and the system’s output makes evaluation more
complex than in some other NLP tasks, which we address by presenting an intuitive evaluation
scheme. Of particular importance to error detection is the skew of the data – the low frequency
of errors as compared to non-errors – which distorts some traditional measures of performance
and limits their usefulness, leading us to recommend the reporting of raw measurements (true
positives, false negatives, false positives, true negatives). Other issues that are particularly
vexing for error detection focus on defining these raw measurements: specifying the size or
scope of an error, properly treating errors as graded rather than discrete phenomena, and
counting non-errors. We discuss recommendations for best practices with regard to reporting
the results of system evaluation for these cases, recommendations which depend upon making
clear one’s assumptions and applications for error detection. By highlighting the problems with
current error detection evaluation, the field will be better able to move forward.
KEYWORDS: grammatical error detection, system evaluation, evaluation metrics.

ผลลัพธ์ (ไทย) 1:

ก่อนหน้านี้ได้ข้ามหลายประเด็นประเมินตรวจไวยากรณ์ที่ผิดพลาดทำให้ยากที่จะวาดมีความหมายเปรียบเทียบระหว่างวิธีแตกต่างกัน แม้พวกเขาจะถูกประเมินในคอร์พัสคริเดียว เริ่มต้นกับ ฉุกเฉินสามทางระหว่างการประโยคของผู้เขียน การแก้ไขของ annotator และระบบผลลัพธ์ของการประเมินทำให้มากขึ้นซับซ้อนกว่าในงานบางอย่างอื่น ๆ NLP ที่เราอยู่ โดยการนำเสนอการประเมินง่ายโครงร่าง ความสำคัญเฉพาะการตรวจหาข้อผิดพลาดเป็นการเอียงของข้อมูล – ความถี่ต่ำข้อผิดพลาดเมื่อเทียบกับไม่ข้อผิดพลาด – ซึ่ง distorts การวัดประสิทธิภาพการทำงานบางแบบดั้งเดิมและประโยชน์ของพวกเขา ผู้นำเราจะแนะนำรายงานประเมินดิบ (true จำกัดทำงานผิดพลาด สิ่งเท็จ เท็จทำงานผิดพลาด สิ่งที่เป็นจริง) ปัญหาอื่น ๆ ที่อยู่โดยเฉพาะอย่างยิ่งvexing สำหรับข้อผิดพลาดตรวจสอบเน้นการกำหนดเหล่านี้ประเมินดิบ: ระบุขนาด หรือขอบเขตของข้อผิดพลาด รักษาข้อผิดพลาดอย่างเป็นระดับแทนปรากฏการณ์ที่แยกกัน และนับไม่ผิด เราอภิปรายเสนอแนะแนวทางปฏิบัติเกี่ยวกับการรายงานผลการประเมินระบบในกรณีนี้ คำแนะนำที่ขึ้นอยู่ทำล้างของสมมติฐานและการใช้งานสำหรับการตรวจหาข้อผิดพลาด โดยเน้นปัญหาเกี่ยวกับปัจจุบันข้อผิดพลาดตรวจประเมิน ฟิลด์จะสามารถก้าวไปข้างหน้าคำสำคัญ: ตรวจสอบข้อผิดพลาดทางไวยากรณ์ ระบบประเมิน การวัดประเมินผล

ผลลัพธ์ (ไทย) 2:

ประเด็นการประเมินผลจำนวนมากสำหรับการตรวจสอบข้อผิดพลาดทางไวยากรณ์ก่อนหน้านี้ได้รับการมองข้ามทำให้ยากที่จะวาดเปรียบเทียบระหว่างวิธีการที่มีความหมายที่แตกต่างกันแม้ในขณะที่พวกเขาได้รับการประเมินในคลังเดียวกัน จะเริ่มต้นด้วยการฉุกเฉินสามทางระหว่างประโยคของนักเขียน, การแก้ไข annotator ของและผลผลิตของระบบการประเมินผลที่ทำให้มากขึ้นซับซ้อนกว่าในบางงานNLP อื่น ๆ ที่เราอยู่โดยนำเสนอการประเมินผลที่ใช้งานง่ายรูปแบบ มีความสำคัญเป็นพิเศษกับความผิดพลาดคือเอียงของข้อมูล - ความถี่ต่ำของข้อผิดพลาดเมื่อเทียบกับข้อผิดพลาดที่ไม่ได้- ซึ่งบิดเบือนมาตรการแบบดั้งเดิมบางส่วนของผลการดำเนินงานและข้อจำกัด ประโยชน์ของพวกเขานำเราให้คำแนะนำการรายงานของการวัดดิบ (จริงบวกเชิงลบเท็จบวกเท็จเชิงลบจริง) ประเด็นอื่น ๆ โดยเฉพาะอย่างยิ่งที่ได้รับการรบกวนเน้นการตรวจสอบข้อผิดพลาดเกี่ยวกับการกำหนดวัดดิบเหล่านี้: ระบุขนาดหรือขอบเขตของข้อผิดพลาดการรักษาอย่างถูกต้องข้อผิดพลาดเป็นอย่างช้า ๆ มากกว่าปรากฏการณ์ที่ไม่ต่อเนื่องและนับข้อผิดพลาดที่ไม่ เราหารือคำแนะนำสำหรับการปฏิบัติที่ดีที่สุดเกี่ยวกับการรายงานผลการประเมินระบบสำหรับกรณีนี้คำแนะนำซึ่งขึ้นอยู่กับการทำสมมติฐานหนึ่งที่ชัดเจนและการใช้งานสำหรับการตรวจสอบข้อผิดพลาด โดยเน้นปัญหาเกี่ยวกับการประเมินผลการตรวจสอบผิดพลาดในปัจจุบันข้อมูลจะดีขึ้นสามารถที่จะก้าวไปข้างหน้า. คำสำคัญ: การตรวจสอบข้อผิดพลาดทางไวยากรณ์และการประเมินผลระบบการประเมินผลตัวชี้วัด

ผลลัพธ์ (ไทย) 3:

ประเด็นการประเมินผลหลายข้อผิดพลาดไวยากรณ์ได้เคยถูกมองข้าม ,
มันทำให้ยากที่จะวาดเปรียบเทียบความหมายระหว่างวิธีการที่แตกต่างกัน แม้ว่าพวกเขาจะถูกประเมินบน
คอร์ปัส เดียวกัน เพื่อเริ่มต้นกับ , แบบฉุกเฉินระหว่างประโยค
นักเขียน , แก้ไขของ annotator และผลผลิตของระบบให้ประเมิน
ซับซ้อนกว่าใน NLP บางงานอื่น ๆซึ่งเราเรียกโดยการนำเสนอโครงการประเมินผล
ใช้งานง่าย สำคัญกับการตรวจสอบความผิดพลาดเป็นเบ้ของข้อมูล ( ความถี่ต่ำ
ข้อผิดพลาดเมื่อเทียบกับไม่มีข้อผิดพลาดที่หักเหและบางมาตรการแบบดั้งเดิมของการแสดง
และข้อ จำกัด ประโยชน์ของพวกเขานำเราแนะนำรายงานการวัดดิบ ( จริง
แจ้งเท็จเชิงลบเท็จ แจ้งจริงเชิงลบ ) ปัญหาอื่น ๆที่เป็นโดยเฉพาะอย่างยิ่ง
น่ารำคาญสำหรับตรวจจับข้อผิดพลาดมุ่งเน้นการกำหนดหน่วยวัดดิบเหล่านี้ : ระบุขนาดหรือ
ขอบเขตของข้อผิดพลาดปฏิบัติอย่างถูกต้องข้อผิดพลาดที่คะแนนมากกว่าปรากฏการณ์ต่อเนื่องและ
นับไม่พลาด เราหารือแนวทางการปฏิบัติที่ดีที่สุดเกี่ยวกับการรายงาน
ผลลัพธ์ของระบบการประเมินกรณีเหล่านี้ซึ่งขึ้นอยู่กับการแนะนำของสมมติฐานและการประยุกต์ใช้
ชัดเจนเพื่อตรวจหาข้อผิดพลาด โดยเน้นปัญหา
ประเมินผลการตรวจสอบข้อผิดพลาดในปัจจุบัน สนามจะดีขึ้นสามารถที่จะก้าวไปข้างหน้า .
คำสำคัญ : ไวยากรณ์ข้อผิดพลาดการตรวจสอบ การประเมินผลระบบการวัดประเมินผล