AbstractIn this paper we investigat

Abstract
In this paper we investigate the use of the area under the receiver operating characteristic (ROC) curve (AUC) as a performance measure for machine learning algorithms. As a case study we evaluate six machine learning algorithms (C4.5, Multiscale Classifier, Perceptron, Multi-layer Perceptron, k-Nearest Neighbours, and a Quadratic Discriminant Function) on six “real world” medical diagnostics data sets. We compare and discuss the use of AUC to the more conventional overall accuracy and find that AUC exhibits a number of desirable properties when compared to overall accuracy: increased sensitivity in Analysis of Variance (ANOVA) tests; a standard error that decreased as both AUC and the number of test samples increased; decision threshold independent; and it is invariant to a priori class probabilities. The paper concludes with the recommendation that AUC be used in preference to overall accuracy for “single number” evaluation of machine learning algorithms.

Keywords
The ROC curve; The area under the ROC curve (AUC); Accuracy measures; Cross-validation; Wilcoxon statistic; Standard error
*
Present address: Department of Computing Science, 615 General Services Building, University of Alberta, Edmonton, Canada T6G 2H1.
Copyright © 1997 Published by Elsevier B.V.

ผลลัพธ์ (ไทย) 2:

บทคัดย่อในบทความนี้เราตรวจสอบการใช้พื้นที่ใต้รับลักษณะการดำเนินงานที่ (ROC) เส้นโค้ง (AUC) เป็นมาตรการประสิทธิภาพการทำงานสำหรับขั้นตอนวิธีการเรียนรู้เครื่อง
ในฐานะที่เป็นกรณีศึกษาที่เราประเมินหกขั้นตอนวิธีการเรียนรู้เครื่อง (C4.5, Multiscale ลักษณนาม, Perceptron, หลายชั้น Perceptron, k-เพื่อนบ้านที่ใกล้ที่สุดและจำแนกกำลังสองฟังก์ชั่น) ในวันที่หก "โลกจริง" ข้อมูลการวินิจฉัยทางการแพทย์ชุด เราเปรียบเทียบและหารือเกี่ยวกับการใช้งานของ AUC เพื่อความถูกต้องโดยรวมทั่วไปมากขึ้นและพบว่าการจัดแสดงนิทรรศการ AUC จำนวนของคุณสมบัติที่น่าพอใจเมื่อเทียบกับความถูกต้องโดยรวมเพิ่มขึ้นความไวในการวิเคราะห์ความแปรปรวน (ANOVA) การทดสอบ; ข้อผิดพลาดมาตรฐานที่ลดลงขณะที่ทั้งสอง AUC และจำนวนของตัวอย่างทดสอบเพิ่มขึ้น เกณฑ์การตัดสินใจอิสระ และมันก็เป็นค่าคงที่ให้กับความน่าจะเป็นระดับเบื้องต้น . กระดาษสรุปด้วยคำแนะนำที่ AUC นำมาใช้ในการตั้งค่าความถูกต้องโดยรวมสำหรับ "หมายเลขเดียว" การประเมินผลของขั้นตอนวิธีการเรียนรู้เครื่องคำโค้งROC; พื้นที่ใต้เส้นโค้งร็อค (AUC); มาตรการความถูกต้อง; ข้ามการตรวจสอบ; สถิติ Wilcoxon; ข้อผิดพลาดมาตรฐาน* ที่อยู่ปัจจุบัน: ภาควิชาคอมพิวเตอร์วิทยาศาสตร์ทั่วไป 615 บริการอาคารมหาวิทยาลัยอัลเบอร์ตาเอดมันตันแคนาดา T6G 2H1. ลิขสิทธิ์© 1997 เผยแพร่โดย Elsevier BV

ผลลัพธ์ (ไทย) 3:

นามธรรม
ในบทความนี้เราตรวจสอบการใช้พื้นที่ใต้รับปฏิบัติการ ( ROC ) ลักษณะโค้ง ( ยา ) เป็นดัชนีวัดประสิทธิภาพของระบบสำหรับอัลกอริทึมการเรียนรู้ของเครื่องจักร . เป็นกรณีศึกษาที่เราประเมินหกอัลกอริทึมการเรียนรู้ของเครื่องจักร ( โปรแกรม C4.5 multiscale , แบบธรรมดา , ธรรมดา , มัลติเลเยอร์ละ , เพื่อนบ้าน ,และจำแนกฟังก์ชันกำลังสอง ) 6 " โลกจริง " แพทย์วินิจฉัยชุดข้อมูล เราเปรียบเทียบ และหารือเกี่ยวกับการใช้ยาเพื่อความถูกต้องโดยรวมที่มากกว่าปกติ และพบว่าค่าแสดงจำนวนของคุณสมบัติที่พึงประสงค์เมื่อเทียบกับความถูกต้องโดยรวม : เพิ่มความไวในการวิเคราะห์ความแปรปรวน ( ANOVA ) การทดสอบ ;มาตรฐานข้อผิดพลาดที่ลดลงทั้งในพลาสมาและจำนวนตัวอย่างทดสอบเพิ่มเกณฑ์ การตัดสินใจเป็นอิสระ และเป็นค่าคงที่เพื่อ priori ระดับความน่าจะเป็น กระดาษที่ได้จากคำแนะนำที่ยาถูกใช้ในการตั้งค่าเพื่อความถูกต้องโดยรวมของ " การประเมินหมายเลขเดียว " ของอัลกอริทึมการเรียนรู้ของเครื่องจักร .

คำสำคัญ
โค้ง ROC ; พื้นที่ภายใต้โค้ง ROC ( ยา )วัดความถูกต้อง ข้ามการตรวจสอบ ; สถิติสถิติ ; ความคลาดเคลื่อนมาตรฐาน

ที่อยู่ปัจจุบัน : ภาควิชาวิทยาศาสตร์คอมพิวเตอร์ อาคารบริการทั่วไปจากมหาวิทยาลัย Alberta , Edmonton , แคนาดา t6g 2h1 .
ลิขสิทธิ์© 1997 ตีพิมพ์โดยเอลส์เท่า