AbstractThis thesis consists of com

Abstract
This thesis consists of complementary studies concerned with the ensemble
learning scheme Stacking (Wolpert, 1992) We will explore various aspects of
its behaviour and also clarify its relation to related ensemble learning schemes
in two ways: by showing that it is usually the best choice among ensemble learning schemes2 and also by demonstrating that most ensemble learning schemes
can be simulated by Stacking (Chapter 7), making it the most general ensemble
learning scheme.
In the first chapter, we give an overview of what Stacking is and how it works,
combined with a short roadmap to this thesis.
In Chapter 2, we present an overview of related research for Stacking, considering both state of the art approaches and unique contributions to this field.
In Chapter 3, we explore the parameter state space of Stacking. We systematically investigate Stacking with an exhaustive set of base classifiers, diverse
meta classifiers and two related types of meta data. We propose default settings
of all these parameters, grounded by empirical and theoretical arguments. This
chapter is an extended version of (Seewald, 2002c).
In Chapter 4, we investigate regression meta learning, trying to predict Stacking’s accuracy from a variety of dataset-related and base-classifier-related features. We also investigate classification meta learning, trying to predict significant differences between related ensemble learning schemes directly on a datasetby-dataset basis. This chapter is an extended version of (Seewald, 2002b).
In Chapter 5, we introduce a variant, StackingC, which improves Stacking’s
performance further, reduces computational cost and also resolves a significant
weakness found during the course of our experiments. This chapter is an extended version of (Seewald, 2002a).
In Chapter 6, we present results from an alternative paradigm to compare
classifiers. We investigate the hypothesis that StackingC is more stable than other
ensemble learning schemes, i.e. that its learning curve is at the uppermost level
of all learning curves. Surprisingly, we find that there is no significant difference
between all considered schemes within this paradigm.
In Chapter 7, we show that all ensemble learning systems, including StackingC, Grading (Seewald & Furnkranz,¨ 2001) and even Bagging (Breiman, 1996)
can be simulated by Stacking. For this we give functionally equivalent definitions
of most schemes as meta classifiers for Stacking.
In Chapter 8, we shortly introduce the field of Information Visualization
and apply it to the problem of visualizing our twenty-six datasets and extensive
experimental results. We find that the majority of examples are misclassified
because none of the base classifiers predict correctly. Although Stacking would
potentially be able to learn from such a setting, this is not observed. On the
contrary, Stacking even predicts incorrectly when a majority of base classifiers
predicts correctly. Full page figures for all datasets can be found in Appendix
A.
Finally, in Chapter 9, we conclude this thesis with a summary of our main
findings, an overall conclusion and an outlook on future research.

ผลลัพธ์ (ไทย) 3:

บทคัดย่องานวิจัยนี้ประกอบด้วยการศึกษาเสริม

เรียนเกี่ยวข้องกับวงดนตรีแบบซ้อน ( โวลเพิร์ต , 1992 ) เราจะดูด้านต่างๆของตนและยังชี้แจง
พฤติกรรมความสัมพันธ์ของรูปแบบการเรียนรู้ที่เกี่ยวข้อง ensemble
ในสองวิธี : โดยการแสดงให้เห็นว่ามันมักจะเลือกที่ดีที่สุดระหว่างชุดการเรียนรู้ schemes2 และยังแสดงให้เห็นว่าทั้งหมดการเรียนรู้มากที่สุดรูปแบบ
สามารถจำลองโดยซ้อน ( บทที่ 7 ) ทำให้ทั่วไป ensemble

เรียนแบบ ในบทแรก , เราให้ภาพรวมของสิ่งที่ซ้อนและวิธีการทํางาน ,
รวมกับแผนงานสั้นการศึกษา .
ในบทที่ 2 เราได้นำเสนอภาพรวมของการวิจัยที่เกี่ยวข้องกับการเรียงซ้อน การพิจารณาสถานะของศิลปะแนวทางและเอกลักษณ์ให้กับสาขานี้ .
ในบทที่ 3เราสำรวจสภาพพื้นที่ของพารามิเตอร์เรียงซ้อน เรามีระบบตรวจสอบซ้อนกับชุดสมบูรณ์ของคำ meta และฐานหลากหลาย
คำสองประเภทที่เกี่ยวข้อง meta ข้อมูล เรานำเสนอการตั้งค่าเริ่มต้น
ของพารามิเตอร์เหล่านี้ ถูกกักบริเวณโดยเชิงประจักษ์ทฤษฎีและเหตุผล บทนี้
เป็นรุ่นขยาย ( seewald 2002c , ) .
ในบทที่ 4เราตรวจสอบขั้นตอนการเรียนรู้เมตา พยายามที่จะทำนายการวางซ้อนของความถูกต้องจากความหลากหลายของข้อมูลที่เกี่ยวข้องและฐานแบบที่เกี่ยวข้องกับคุณสมบัติ นอกจากนี้เรายังตรวจสอบหมวดหมู่ Meta การเรียนรู้ พยายามที่จะทำนายความแตกต่างระหว่างชุดรูปแบบการเรียนรู้โดยตรงบน datasetby ข้อมูลพื้นฐาน บทนี้เป็นรุ่นที่ขยายของ ( seewald 2002b ,
ในบทที่ 5 )เราแนะนำแตกต่าง stackingc ซึ่งช่วยเพิ่มประสิทธิภาพของการซ้อน
เพิ่มเติม ช่วยลดต้นทุน การคำนวณ และยังช่วยแก้ปัญหาทางด้าน
จุดอ่อนที่พบในระหว่างการทดลองของเรา บทนี้เป็นรุ่นที่ขยายของ ( seewald 2002a , ) .
ในบทที่ 6 ที่เรานำเสนอผลลัพธ์จากกระบวนทัศน์ทางเลือกเปรียบเทียบ
ลักษณนามเราตรวจสอบสมมติฐานที่ว่า stackingc มีเสถียรภาพมากขึ้นกว่าที่อื่น ๆ รูปแบบการเรียนรู้
ทั้งมวล เช่นว่า เส้นโค้งการเรียนรู้ที่ระดับบนสุด
ของทุกการเรียนรู้โค้ง จู่ ๆ เราพบว่า ไม่มีความแตกต่างระหว่างการพิจารณาโครงร่างภายในกระบวนทัศน์
.
ในบทที่ 7 เราทั้งหมดทั้งมวลแสดงให้เห็นว่าระบบการเรียนรู้รวมทั้ง stackingc , ,ให้คะแนน ( seewald furnkranz ตั้ง& , 2001 ) และแม้กระทั่งถุง ( breiman , 1996 )
สามารถจำลองโดยเรียงซ้อน สำหรับเรื่องนี้เราให้ตามหน้าที่เท่ากับคำนิยามของโครงการส่วนใหญ่เป็นคำ meta

สำหรับเรียงซ้อน ในบทที่ 8 เราไม่นานแนะนำสาขา
การแสดงข้อมูลและใช้กับปัญหาของการแสดงผลข้อมูลและผลการทดลองอย่างละเอียดยี่สิบหกของเรา

เราพบว่าส่วนใหญ่ของตัวอย่าง misclassified
เพราะไม่มีฐานลักษณนามทำนายได้อย่างถูกต้อง แม้ว่าซ้อนจะ
อาจจะได้เรียนรู้จากการตั้งค่าดังกล่าวนี้จะไม่ได้สังเกต ในทางตรงกันข้ามแม้
ซ้อนคาดการณ์ไม่ถูกต้องเมื่อส่วนใหญ่ของคำฐาน
คาดการณ์ได้อย่างถูกต้อง รูปภาพเต็มหน้าทุกชุดข้อมูลที่สามารถพบได้ในภาคผนวก
A
ในที่สุดในบทที่ 9 สรุปได้วิทยานิพนธ์ฉบับนี้ มีสาระสำคัญสรุปหลัก
ของเรา สรุปโดยรวม และแนวโน้มการวิจัยในอนาคต