Many evaluation issues for grammati

Many evaluation issues for grammatical error detection have previously been overlooked,
making it hard to draw meaningful comparisons between different approaches, even when
they are evaluated on the same corpus. To begin with, the three-way contingency between a
writer’s sentence, the annotator’s correction, and the system’s output makes evaluation more
complex than in some other NLP tasks, which we address by presenting an intuitive evaluation
scheme. Of particular importance to error detection is the skew of the data – the low frequency
of errors as compared to non-errors – which distorts some traditional measures of performance
and limits their usefulness, leading us to recommend the reporting of raw measurements (true
positives, false negatives, false positives, true negatives). Other issues that are particularly
vexing for error detection focus on defining these raw measurements: specifying the size or
scope of an error, properly treating errors as graded rather than discrete phenomena, and
counting non-errors. We discuss recommendations for best practices with regard to reporting
the results of system evaluation for these cases, recommendations which depend upon making
clear one’s assumptions and applications for error detection. By highlighting the problems with
current error detection evaluation, the field will be better able to move forward.
KEYWORDS: grammatical error detection, system evaluation, evaluation metrics.

ผลลัพธ์ (ไทย) 2:

ประเด็นการประเมินผลจำนวนมากสำหรับการตรวจสอบข้อผิดพลาดทางไวยากรณ์ก่อนหน้านี้ได้รับการมองข้ามทำให้ยากที่จะวาดเปรียบเทียบระหว่างวิธีการที่มีความหมายที่แตกต่างกันแม้ในขณะที่พวกเขาได้รับการประเมินในคลังเดียวกัน จะเริ่มต้นด้วยการฉุกเฉินสามทางระหว่างประโยคของนักเขียน, การแก้ไข annotator ของและผลผลิตของระบบการประเมินผลที่ทำให้มากขึ้นซับซ้อนกว่าในบางงานNLP อื่น ๆ ที่เราอยู่โดยนำเสนอการประเมินผลที่ใช้งานง่ายรูปแบบ มีความสำคัญเป็นพิเศษกับความผิดพลาดคือเอียงของข้อมูล - ความถี่ต่ำของข้อผิดพลาดเมื่อเทียบกับข้อผิดพลาดที่ไม่ได้- ซึ่งบิดเบือนมาตรการแบบดั้งเดิมบางส่วนของผลการดำเนินงานและข้อจำกัด ประโยชน์ของพวกเขานำเราให้คำแนะนำการรายงานของการวัดดิบ (จริงบวกเชิงลบเท็จบวกเท็จเชิงลบจริง) ประเด็นอื่น ๆ โดยเฉพาะอย่างยิ่งที่ได้รับการรบกวนเน้นการตรวจสอบข้อผิดพลาดเกี่ยวกับการกำหนดวัดดิบเหล่านี้: ระบุขนาดหรือขอบเขตของข้อผิดพลาดการรักษาอย่างถูกต้องข้อผิดพลาดเป็นอย่างช้า ๆ มากกว่าปรากฏการณ์ที่ไม่ต่อเนื่องและนับข้อผิดพลาดที่ไม่ เราหารือคำแนะนำสำหรับการปฏิบัติที่ดีที่สุดเกี่ยวกับการรายงานผลการประเมินระบบสำหรับกรณีนี้คำแนะนำซึ่งขึ้นอยู่กับการทำสมมติฐานหนึ่งที่ชัดเจนและการใช้งานสำหรับการตรวจสอบข้อผิดพลาด โดยเน้นปัญหาเกี่ยวกับการประเมินผลการตรวจสอบผิดพลาดในปัจจุบันข้อมูลจะดีขึ้นสามารถที่จะก้าวไปข้างหน้า. คำสำคัญ: การตรวจสอบข้อผิดพลาดทางไวยากรณ์และการประเมินผลระบบการประเมินผลตัวชี้วัด

ผลลัพธ์ (ไทย) 3:

ประเด็นการประเมินผลหลายข้อผิดพลาดไวยากรณ์ได้เคยถูกมองข้าม ,
มันทำให้ยากที่จะวาดเปรียบเทียบความหมายระหว่างวิธีการที่แตกต่างกัน แม้ว่าพวกเขาจะถูกประเมินบน
คอร์ปัส เดียวกัน เพื่อเริ่มต้นกับ , แบบฉุกเฉินระหว่างประโยค
นักเขียน , แก้ไขของ annotator และผลผลิตของระบบให้ประเมิน
ซับซ้อนกว่าใน NLP บางงานอื่น ๆซึ่งเราเรียกโดยการนำเสนอโครงการประเมินผล
ใช้งานง่าย สำคัญกับการตรวจสอบความผิดพลาดเป็นเบ้ของข้อมูล ( ความถี่ต่ำ
ข้อผิดพลาดเมื่อเทียบกับไม่มีข้อผิดพลาดที่หักเหและบางมาตรการแบบดั้งเดิมของการแสดง
และข้อ จำกัด ประโยชน์ของพวกเขานำเราแนะนำรายงานการวัดดิบ ( จริง
แจ้งเท็จเชิงลบเท็จ แจ้งจริงเชิงลบ ) ปัญหาอื่น ๆที่เป็นโดยเฉพาะอย่างยิ่ง
น่ารำคาญสำหรับตรวจจับข้อผิดพลาดมุ่งเน้นการกำหนดหน่วยวัดดิบเหล่านี้ : ระบุขนาดหรือ
ขอบเขตของข้อผิดพลาดปฏิบัติอย่างถูกต้องข้อผิดพลาดที่คะแนนมากกว่าปรากฏการณ์ต่อเนื่องและ
นับไม่พลาด เราหารือแนวทางการปฏิบัติที่ดีที่สุดเกี่ยวกับการรายงาน
ผลลัพธ์ของระบบการประเมินกรณีเหล่านี้ซึ่งขึ้นอยู่กับการแนะนำของสมมติฐานและการประยุกต์ใช้
ชัดเจนเพื่อตรวจหาข้อผิดพลาด โดยเน้นปัญหา
ประเมินผลการตรวจสอบข้อผิดพลาดในปัจจุบัน สนามจะดีขึ้นสามารถที่จะก้าวไปข้างหน้า .
คำสำคัญ : ไวยากรณ์ข้อผิดพลาดการตรวจสอบ การประเมินผลระบบการวัดประเมินผล