Problems of data classification can

Problems of data classification can be studied in the framework of regularization theory as ill-posed problems. In this framework, loss functions play an important role in the application of regularization theory to classification. In this paper, we review some important convex loss functions, including hinge loss, square loss, modified square loss, exponential loss, logistic regression loss, as well as some non-convex loss functions, such as sigmoid loss, φ-loss, ramp loss, normalized sigmoid loss, and the loss function of 2 layer neural network. Based on the analysis of these loss functions, we propose a new differentiable nonconvex loss function, called smoothed 0-1 loss function, which is a natural approximation of the 0-1 loss function. To compare the performance of different loss functions, we propose two binary classification algorithms for binary classification, one for convex loss functions, the other for non-convex loss functions. A set of experiments are launched on several binary data sets from the UCI repository. The results show that the proposed smoothed 0-1 loss function is robust, especially for those noisy data sets with many outliers.

ผลลัพธ์ (ไทย) 1:

ปัญหาของการจัดหมวดหมู่ข้อมูลที่สามารถศึกษาในกรอบของทฤษฎี regularization เป็นปัญหาที่ไม่ดีถูกวาง ในกรอบนี้ฟังก์ชั่นการสูญเสียมีบทบาทสำคัญในการประยุกต์ใช้ทฤษฎีการ regularization การจัดหมวดหมู่ ในบทความนี้เราจะทบทวนบางสิ่งที่สำคัญฟังก์ชั่นการสูญเสียนูนรวมถึงการสูญเสียบานพับ, การสูญเสียเมตรปรับเปลี่ยนตารางการสูญเสียการสูญเสียที่อธิบายการสูญเสียการถดถอยโลจิสติกเป็นบางฟังก์ชั่นการสูญเสียที่ไม่นูนออกมาเช่นการสูญเสีย sigmoid, φการสูญเสียการสูญเสียทางลาด, การสูญเสีย sigmoid ปกติและฟังก์ชั่นการสูญเสียของ 2 ชั้นเครือข่ายประสาท จากการวิเคราะห์ของฟังก์ชั่นการสูญเสียเหล่านี้เรานำเสนอฟังก์ชั่นใหม่อนุพันธ์ nonconvex การสูญเสียที่เรียกว่าเรียบ 0-1 ฟังก์ชั่นการสูญเสียซึ่งเป็นประมาณตามธรรมชาติของฟังก์ชั่นการสูญเสีย 0-1เพื่อเปรียบเทียบประสิทธิภาพการทำงานของฟังก์ชั่นการสูญเสียที่แตกต่างกันเรานำเสนอสองขั้นตอนวิธีการจัดหมวดหมู่ไบนารีสำหรับการจำแนกประเภทไบนารีหนึ่งสำหรับฟังก์ชั่นการสูญเสียนูนอื่น ๆ สำหรับฟังก์ชั่นการสูญเสียที่ไม่นูนออกมา ชุดการทดลองที่มีการเปิดตัวในหลายชุดข้อมูลไบนารีจากพื้นที่เก็บข้อมูล UCI ผลลัพธ์ที่ได้แสดงให้เห็นว่าเรียบ 0-1 ฟังก์ชั่นการสูญเสียที่นำเสนอเป็นที่แข็งแกร่งโดยเฉพาะอย่างยิ่งสำหรับผู้ที่ชุดข้อมูลที่มีค่าผิดปกติมีเสียงดังมาก

ผลลัพธ์ (ไทย) 2:

สามารถศึกษาในกรอบของทฤษฎี regularization ปัญหาของการแบ่งประเภทข้อมูลเป็นปัญหาที่เกิดป่วย ในกรอบนี้ สูญเสียฟังก์ชันเล่นมีบทบาทสำคัญในการประยุกต์ใช้ทฤษฎี regularization การจัดประเภท ในเอกสารนี้ เราตรวจสอบฟังก์ชันบางอย่างสูญหายนูนที่สำคัญ ทั้งขาดทุนบานพับ สูญเสียพื้นที่ ขาดทุนตารางแก้ไข ขาดทุนเนน ขาด ทุนถดถอยโลจิสติก และบางนูนไม่สูญเสียฟังก์ชัน ขาดทุน sigmoid φ-ขาดทุน สูญเสียทางลาด ขาดทุน sigmoid มาตรฐาน และฟังก์ชันการสูญเสียของโครงข่ายประสาทชั้นที่ 2 เราขึ้นอยู่กับการวิเคราะห์ฟังก์ชันเหล่านี้สูญเสีย เสนอฟังก์ชัน differentiable สูญเสีย nonconvex ใหม่ 0-1 ที่ปรับให้โค้งที่เรียกว่าฟังก์ชัน ขาดทุนที่ประมาณ 0-1 เป็นธรรมชาติ สูญเสียฟังก์ชัน การเปรียบเทียบประสิทธิภาพการทำงานของฟังก์ชันต่าง ๆ ขาดทุน เราเสนอสองประเภทฐานอัลกอริทึมสำหรับประเภทไบนารี หนึ่งสำหรับการทำงานขาดทุนนูน อื่น ๆ สำหรับการทำงานขาดทุนไม่นูน ชุดทดลองจะเปิดตัวในชุดข้อมูลหลายฐานจากเก็บ UCI แสดงผลลัพธ์ที่นำเสนอโค้ง 0-1 ร่วงฟังก์ชันมีประสิทธิภาพ โดยเฉพาะอย่างยิ่งสำหรับ ข้อมูลคะชุดกับ outliers ใน

ผลลัพธ์ (ไทย) 3:

ปัญหาของการแบ่ง ประเภท ข้อมูลสามารถศึกษาในกรอบของทฤษฎีเปลี่ยน สถานภาพ เป็นปัญหาไม่เกิด ฟังก์ชันนี้ในกรอบการสูญเสียมีบทบาทสำคัญในแอปพลิเคชันของทฤษฎีเปลี่ยน สถานภาพ การจัด ประเภท ในเอกสารนี้เราจะตรวจสอบการทำงานการสูญเสียแบบโค้งนูนสำคัญบางอย่างรวมถึงการสูญเสียบานพับการสูญเสีย Square ได้รับการแก้ไขการสูญเสียการสูญเสียพื้นที่อย่างต่อเนื่องแปรผัน คุณภาพ ชีวิตผู้สูงอายุการสูญเสียด้านการขนส่งและฟังก์ชันการสูญเสียไม่ใช่แบบโค้งนูนบางอย่างเช่นการสูญเสียการสูญเสียทางขึ้น/ลงรูปโค้งกลับอย่างตัว C หรือ S Φ - การสูญเสียการสูญเสียรูปโค้งกลับอย่างตัว C หรือ S เทียบและฟังก์ชันการสูญเสียของเครือข่ายเกิน 2 ชั้น. จากการวิเคราะห์ของฟังก์ชันการสูญเสียดังกล่าวนี้เราจะเสนอฟังก์ชันการสูญเสีย nonconvex differentiable ใหม่ที่เรียกว่ากลบเกลื่อน 0-1 ฟังก์ชันการสูญเสียซึ่งเป็นธรรมชาติที่อ ภิรมย์ ของ 0-1 ฟังก์ชันการสูญเสียเพื่อทำการเปรียบเทียบ ประสิทธิภาพ ของการทำงานการสูญเสียแตกต่างกันไปเราเสนอสองอัลกอริธึมการแบ่ง ประเภท ไบนารีสำหรับการแบ่ง ประเภท ไบนารีสำหรับการทำงานการสูญเสียการรังสรรค์ความสูญเสียสำหรับผู้ที่ไม่ใช่แบบโค้งนูนอื่นๆ ตั้งค่าของการทดลองมีการเปิดในชุดข้อมูลไบนารีจากที่เก็บ UCI หลายที่ ผลที่ได้แสดงให้เห็นว่างานกลบเกลื่อน 0-1 การสูญเสียที่เสนอให้มีความเข้มแข็งโดยเฉพาะอย่างยิ่งสำหรับชุดข้อมูลที่มีเสียงดังพร้อมด้วย outliers จำนวนมาก.