We study the issue of error diversi

We study the issue of error diversity in ensembles of neural networks. In ensembles of
regression estimators, the measurement of diversity can be formalised as the Bias-VarianceCovariance
decomposition. In ensembles of classifiers, there is no neat theory in the literature
to date. Our objective is to understand how to precisely define, measure, and
create diverse errors for both cases. As a focal point we study one algorithm, Negative Correlation
(NC) Learning which claimed, and showed empirical evidence, to enforce useful
error diversity, creating neural network ensembles with very competitive performance on
both classification and regression problems. With the lack of a solid understanding of its
dynamics, we engage in a theoretical and empirical investigation.
In an initial empirical stage, we demonstrate the application of an evolutionary search
algorithm to locate the optimal value for λ, the configurable parameter in NC. We observe
the behaviour of the optimal parameter under different ensemble architectures and datasets;
we note a high degree of unpredictability, and embark on a more formal investigation.
During the theoretical investigations, we find that NC succeeds due to exploiting the
Ambiguity decomposition of mean squared error. We provide a grounding for NC in a
statistics context of bias, variance and covariance, including a link to a number of other
algorithms that have exploited Ambiguity. The discoveries we make regarding NC are not
limited to neural networks. The majority of observations we make are in fact properties of
the mean squared error function. We find that NC is therefore best viewed as a framework,
rather than an algorithm itself, meaning several other learning techniques could make use
of it.

ผลลัพธ์ (ไทย) 3:

เราศึกษาปัญหาความผิดพลาดของความหลากหลายตระการตาของโครงข่ายประสาทเทียม ในผู้
ตัวประมาณการถดถอย การวัดความหลากหลายสามารถ formalised เป็นอคติ variancecovariance
การสลายตัว ในการผสมของคำไม่มีเรียบร้อยในทฤษฎีวรรณคดี
วันที่ วัตถุประสงค์ของเราคือการเข้าใจวิธีการอย่างแม่นยำกำหนด , วัด , และ
สร้างข้อผิดพลาดหลากหลายสำหรับทั้งสองกรณีเป็นจุดโฟกัสที่เราศึกษาหนึ่งขั้นตอนวิธี
ความสัมพันธ์ ( NC ) การเรียนรู้ซึ่งอ้างว่า มีหลักฐานเชิงประจักษ์ เพื่อให้การบังคับใช้ประโยชน์
ข้อผิดพลาดความหลากหลาย , การสร้างเครือข่ายประสาทกับความสามารถทางการแข่งขันมากตระการตาบน
ปัญหาทั้งการจำแนกและการถดถอย ด้วยขาดความเข้าใจที่มั่นคงของ
พลศาสตร์ เราต่อสู้ในทางทฤษฎีและการศึกษาเชิงประจักษ์
ในขั้นตอนการประจักษ์ครั้งแรก เราแสดงให้เห็นถึงการประยุกต์ใช้ขั้นตอนวิธีการค้นหา
วิวัฒนาการเพื่อค้นหาค่าเหมาะสมสำหรับλ , พารามิเตอร์ที่กำหนดใน NC . เราสังเกตพฤติกรรมของพารามิเตอร์ที่เหมาะสม
ภายใต้สถาปัตยกรรมทั้งหมดที่แตกต่างกันและข้อมูล ;
เราทราบระดับสูงของ unpredictability และเริ่มต้นการสอบสวนอย่างเป็นทางการมากขึ้น
ในการสอบสวนเชิงทฤษฎีเราพบว่า NC สำเร็จเนื่องจากการสลาย
ความคลุมเครือของค่าเฉลี่ยความคลาดเคลื่อนยกกำลังสอง . เรามีสายดินสำหรับ NC ใน
สถิติบริบทของอคติ ความแปรปรวนและความแปรปรวนร่วม รวมถึงการเชื่อมโยงไปยังหมายเลขของขั้นตอนวิธีอื่นๆ
ที่เอารัดเอาเปรียบความกำกวม การค้นพบที่เราทำเกี่ยวกับ NC ไม่ได้
( โครงข่าย ส่วนใหญ่ของการสังเกตเราให้อยู่ในความเป็นจริงของ
คุณสมบัติค่าเฉลี่ยของกำลังสองฟังก์ชันข้อผิดพลาด เราพบว่า NC จึงดีที่สุด ดูเป็นกรอบ
มากกว่าขั้นตอนวิธีตัวเอง หมายถึง เทคนิคการเรียนรู้หลาย ๆสามารถใช้ประโยชน์
ของมัน