We present a new method for top-dow

We present a new method for top-down induction of
decision trees (TDIDT) with multivariate binary splits
at the nodes. The primary contribution of this work
is a new splitting criterion called soft entropy, which
is continuous and differentiable with respect to the pa-
rameters of the splitting function. Using simple gradi-
ent descent to find multivariate splits and a novel prun-
ing technique, our TDIDT-SEH (Soft Entropy Hyper-
planes) algorithm is able to learn very small trees with
better accuracy than competing learning algorithms on
most datasets examined.
The process of finding a splitting function at a node
of a decision tree is a search problem, and we choose
to view it as unconstrained parametric function op-
timization over the space of hyperplane weight vec-
tors w E Rn. Our objective function is soft entropy, a
new continuous approximation to the entropy measure
(Quinlan 1986). Soft entropy was chosen for two rea-
sons. First, it is well-established that entropy is a good
splitting criterion (Buntine & Niblett 1992). Second,
softness is important to get good generalization in con-
tinuous spaces, as shown in Figure 1. Related work is
similar overall, but the OCl algorithm of Murthy et
al. (1993) uses entropy as a criterion, and Brodley and
Utgoff (1992) d escribe algorithms using error, also a
hard splitting criterion.
8

ผลลัพธ์ (ไทย) 1:

เรานำเสนอวิธีการใหม่ในการเหนี่ยวนำบนลงล่างของ ต้นไม้ตัดสินใจ (TDIDT) ด้วยไบนารีแยกตัวแปรพหุ ที่โหน สัดส่วนหลักของงานนี้ เป็นเงื่อนไขของการแยกใหม่ที่เรียกว่าเอนโทรปีนุ่ม ที่ อย่างต่อเนื่อง และ differentiable กับป่า- rameters ของฟังก์ชันแยก ใช้ง่าย gradi- โคตรเอนท์แยกตัวแปรพหุและนวนิยายพรุนไฟแบบ บริษัทเทคนิค ของเรา TDIDT-SEH (Entropy นุ่มไฮเปอร์- อัลกอริทึมเครื่องบิน) ก็สามารถเรียนรู้ต้นไม้ขนาดเล็กมากด้วย ความถูกต้องดีกว่าอัลกอริทึมการเรียนรู้แข่งขันบน datasets ส่วนใหญ่ที่ตรวจสอบ การค้นหาฟังก์ชันแยกที่โหน ของ ต้นไม้ค้นหาปัญหา และเรา ดูที่ฟังก์ชันพาราเมตริก unconstrained op- timization ผ่านพื้นที่ของ vec น้ำหนัก hyperplane- tors w E Rn ฟังก์ชันวัตถุประสงค์ของเราคือ เอนโทรปีนุ่ม การ ประมาณใหม่อย่างต่อเนื่องการวัดเอนโทรปี (Quinlan 1986) เอนโทรปีนุ่มถูกเลือกสำหรับสองสวทช.- บุตร ครั้งแรก ก็ดีขึ้นว่าเอนโทรปีดี แบ่งเกณฑ์ (Buntine & Niblett 1992) วินาที หางจะต้องรับดี generalization ในคอน- tinuous ช่อง ดังที่แสดงในรูปที่ 1 งานที่เกี่ยวข้อง โดยรวมที่คล้ายกัน แต่อัลกอริทึม OCl ของ Murthy ร้อยเอ็ด al. (1993) ใช้เอนโทรปีเป็นเกณฑ์ Brodley และ ใช้ข้อผิดพลาด นอกจากนี้อัลกอริทึม d escribe Utgoff (1992) เป็น หนักแบ่งเกณฑ์ 8

ผลลัพธ์ (ไทย) 2:

เรานำเสนอวิธีการใหม่ในการชักนำจากบนลงล่างของ
ต้นไม้การตัดสินใจ (TDIDT) ด้วยการแยกไบนารีหลายตัวแปร
ที่โหนด ผลงานหลักของงานนี้
คือการแยกเกณฑ์ใหม่ที่เรียกว่าเอนโทรปีที่อ่อนนุ่มซึ่ง
เป็นอนุพันธ์ได้อย่างต่อเนื่องและด้วยความเคารพต่อ PA-
ต้องอาศัยค่าของฟังก์ชั่นแยก ใช้ง่าย gradi-
เชื้อสายกิจการที่จะหาแยกหลายตัวแปรและนวนิยาย prun-
เทคนิคไอเอ็นจี, TDIDT-SEH ของเรา (ซอฟท์เอนโทรปี Hyper-
เครื่องบิน) อัลกอริทึมสามารถที่จะเรียนรู้ต้นไม้ขนาดเล็กมากที่มี
ความถูกต้องดีกว่าการแข่งขันขั้นตอนวิธีการเรียนรู้เกี่ยวกับ
การตรวจสอบชุดข้อมูลมากที่สุด.
กระบวนการในการหาฟังก์ชั่นที่แยกโหนด
ของต้นไม้การตัดสินใจปัญหาการค้นหาและเราเลือก
ที่จะดูว่ามันเป็นฟังก์ชั่นพารา unconstrained op-
timization มากกว่าพื้นที่ของน้ำหนักไฮเปอร์เพล vec-
tors W E Rn ฟังก์ชั่นวัตถุประสงค์ของเราคือเอนโทรปีนุ่ม
อย่างต่อเนื่องประมาณใหม่ในการวัดเอนโทรปี
(ควินแลน 1986) เอนโทรปีของซอฟท์เป็นทางเลือกสำหรับสองเหตุผล
บุตรชาย ครั้งแรกก็เป็นที่ยอมรับว่าเป็นเอนโทรปีที่ดี
เกณฑ์แยก (Buntine และ Niblett 1992) ประการที่สอง
ความนุ่มนวลเป็นสิ่งสำคัญที่จะได้รับหลักเกณฑ์ที่ดีในการทำา
tinuous พื้นที่ดังแสดงในรูปที่ 1 ที่เกี่ยวข้องการทำงาน
ที่คล้ายกันโดยรวม แต่อัลกอริทึมของ OCl Murthy และ
อัล (1993) ใช้เอนโทรปีเป็นเกณฑ์และ Brodley และ
Utgoff (1992) d Escribe ขั้นตอนวิธีการใช้ข้อผิดพลาดยังมี
เกณฑ์ที่แยกยาก.
8

ผลลัพธ์ (ไทย) 3:

เราเสนอวิธีการใหม่สำหรับการลงต้นไม้ การตัดสินใจ (
tdidt ) กับแบบแยกไบนารี
ที่โหนด ส่วนหลักของ
งานนี้ใหม่แบ่งเกณฑ์เรียกว่านุ่มเอนโทรปีซึ่ง
เป็นอย่างต่อเนื่องและ Differentiable ด้วยความเคารพป่า -
rameters ของการแยกฟังก์ชัน ใช้ง่าย gradi -
ENT โคตรหาแบบแยกและนวนิยายพรุน -
เทคนิคไอเอ็นจี tdidt-seh ของเรา ( soft เอนโทรปี ไฮเปอร์ -
เครื่องบิน ) โดยสามารถเรียนรู้ต้นไม้ขนาดเล็กมากกับ
ความถูกต้องดีกว่าการแข่งขันอัลกอริทึมการเรียนรู้บน
ที่สุดข้อมูลการตรวจสอบ
กระบวนการของการหาฟังก์ชันที่แยกปม
ของโครงสร้างการตัดสินใจ เป็น ปัญหา ค้นหา และเราเลือกที่จะมองมันเป็น
-
พารามิเตอร์ของฟังก์ชันที่ต่างกันไปtimization เหนือพื้นที่ของระนาบเกินน้ำหนักอีซี -
ทอร์ส W E RN . ฟังก์ชันวัตถุประสงค์ของเราคือนุ่มเอนโทรปี ,
ประมาณใหม่อย่างต่อเนื่องกับเอนโทรปีมาตรการ
( ควินแลน 1986 ) อ่อนนถูกเลือก 2
บุตร Rea - ครั้งแรก มันรู้จักว่า เอนโทรปีเป็นเกณฑ์แบ่งดี
( buntine &นิบลิต 1992 ) 2
ความนุ่มนวลเป็นสิ่งสำคัญที่จะได้รับที่ดีในการต่อต้าน -
รับเป็น ดังแสดงในรูปที่ 1 งานที่เกี่ยวข้อง คือ
เหมือนกันโดยรวม แต่ OCL ขั้นตอนวิธีของเมอร์ที่ร้อยเอ็ด
อัล ( 1993 ) ใช้เอนโทรปีเป็นเกณฑ์ และ brodley และ
utgoff ( 1992 ) D escribe ขั้นตอนวิธีใช้ข้อผิดพลาด นอกจากนี้ เกณฑ์การแบ่งยาก


8