We study the issue of error diversi

We study the issue of error diversity in ensembles of neural networks. In ensembles of
regression estimators, the measurement of diversity can be formalised as the Bias-VarianceCovariance
decomposition. In ensembles of classifiers, there is no neat theory in the literature
to date. Our objective is to understand how to precisely define, measure, and
create diverse errors for both cases. As a focal point we study one algorithm, Negative Correlation
(NC) Learning which claimed, and showed empirical evidence, to enforce useful
error diversity, creating neural network ensembles with very competitive performance on
both classification and regression problems. With the lack of a solid understanding of its
dynamics, we engage in a theoretical and empirical investigation.
In an initial empirical stage, we demonstrate the application of an evolutionary search
algorithm to locate the optimal value for λ, the configurable parameter in NC. We observe
the behaviour of the optimal parameter under different ensemble architectures and datasets;
we note a high degree of unpredictability, and embark on a more formal investigation.
During the theoretical investigations, we find that NC succeeds due to exploiting the
Ambiguity decomposition of mean squared error. We provide a grounding for NC in a
statistics context of bias, variance and covariance, including a link to a number of other
algorithms that have exploited Ambiguity. The discoveries we make regarding NC are not
limited to neural networks. The majority of observations we make are in fact properties of
the mean squared error function. We find that NC is therefore best viewed as a framework,
rather than an algorithm itself, meaning several other learning techniques could make use
of it.

ผลลัพธ์ (ไทย) 2:

เราศึกษาปัญหาของความหลากหลายของข้อผิดพลาดในตระการตาของเครือข่ายประสาท ตระการตาของตัวประมาณถดถอยวัดของความหลากหลายที่สามารถเป็นทางการเป็นอคติ-VarianceCovariance สลายตัว ตระการตาของลักษณนามไม่มีทฤษฎีเรียบร้อยในวรรณคดีวันที่ วัตถุประสงค์ของเราคือการทำความเข้าใจวิธีการที่จะกำหนดได้อย่างแม่นยำในการวัดและสร้างข้อผิดพลาดที่หลากหลายสำหรับทั้งสองกรณี ในฐานะที่เป็นจุดโฟกัสที่เราศึกษาหนึ่งในขั้นตอนวิธีการความสัมพันธ์เชิงลบ(NC) ซึ่งอ้างว่าการเรียนรู้และแสดงให้เห็นหลักฐานเชิงประจักษ์ในการบังคับใช้ประโยชน์ความหลากหลายข้อผิดพลาดในการสร้างเครือข่ายประสาทตระการตากับผลการดำเนินงานการแข่งขันสูงมากในทั้งการจัดหมวดหมู่และปัญหาการถดถอย กับการขาดความเข้าใจที่มั่นคงของของการเปลี่ยนแปลงที่เรามีส่วนร่วมในการตรวจสอบเชิงทฤษฎีและเชิงประจักษ์. ในขั้นตอนการทดลองครั้งแรกที่เราแสดงให้เห็นถึงการประยุกต์ใช้การค้นหาวิวัฒนาการขั้นตอนวิธีการที่จะหาค่าที่เหมาะสมที่สุดสำหรับλพารามิเตอร์ที่กำหนดในอร์ทแคโรไลนา เราสังเกตพฤติกรรมของพารามิเตอร์ที่ดีที่สุดภายใต้สถาปัตยกรรมวงดนตรีที่แตกต่างกันและชุดข้อมูลที่เราทราบระดับสูงของการคาดการณ์และเริ่มดำเนินการในการตรวจสอบอย่างเป็นทางการมากขึ้น. ในระหว่างการสืบสวนทางทฤษฎีเราจะพบว่า NC ประสบความสำเร็จเนื่องจากการใช้ประโยชน์จากการสลายตัวความคลุมเครือของค่าเฉลี่ยกำลังสองความผิดพลาด เราให้ดินสำหรับ NC ในบริบทของการมีอคติสถิติความแปรปรวนและความแปรปรวนรวมทั้งการเชื่อมโยงไปยังหมายเลขอื่นๆ เป็นขั้นตอนวิธีการที่มีการใช้ประโยชน์จากความคลุมเครือ การค้นพบที่เราทำเกี่ยวกับ NC ไม่ได้จำกัด อยู่ที่เครือข่ายประสาท ส่วนใหญ่ของการสังเกตที่เราทำอยู่ในคุณสมบัติความเป็นจริงของค่าเฉลี่ยกำลังสองฟังก์ชั่นข้อผิดพลาด เราพบว่า NC จึงดูดีที่สุดเท่าที่กรอบมากกว่าอัลกอริทึมตัวเองหมายถึงเทคนิคการเรียนรู้อื่นๆ อีกหลายสามารถใช้ประโยชน์จากมัน

ผลลัพธ์ (ไทย) 3:

เราศึกษาปัญหาความผิดพลาดของความหลากหลายตระการตาของโครงข่ายประสาทเทียม ในผู้
ตัวประมาณการถดถอย การวัดความหลากหลายสามารถ formalised เป็นอคติ variancecovariance
การสลายตัว ในการผสมของคำไม่มีเรียบร้อยในทฤษฎีวรรณคดี
วันที่ วัตถุประสงค์ของเราคือการเข้าใจวิธีการอย่างแม่นยำกำหนด , วัด , และ
สร้างข้อผิดพลาดหลากหลายสำหรับทั้งสองกรณีเป็นจุดโฟกัสที่เราศึกษาหนึ่งขั้นตอนวิธี
ความสัมพันธ์ ( NC ) การเรียนรู้ซึ่งอ้างว่า มีหลักฐานเชิงประจักษ์ เพื่อให้การบังคับใช้ประโยชน์
ข้อผิดพลาดความหลากหลาย , การสร้างเครือข่ายประสาทกับความสามารถทางการแข่งขันมากตระการตาบน
ปัญหาทั้งการจำแนกและการถดถอย ด้วยขาดความเข้าใจที่มั่นคงของ
พลศาสตร์ เราต่อสู้ในทางทฤษฎีและการศึกษาเชิงประจักษ์
ในขั้นตอนการประจักษ์ครั้งแรก เราแสดงให้เห็นถึงการประยุกต์ใช้ขั้นตอนวิธีการค้นหา
วิวัฒนาการเพื่อค้นหาค่าเหมาะสมสำหรับλ , พารามิเตอร์ที่กำหนดใน NC . เราสังเกตพฤติกรรมของพารามิเตอร์ที่เหมาะสม
ภายใต้สถาปัตยกรรมทั้งหมดที่แตกต่างกันและข้อมูล ;
เราทราบระดับสูงของ unpredictability และเริ่มต้นการสอบสวนอย่างเป็นทางการมากขึ้น
ในการสอบสวนเชิงทฤษฎีเราพบว่า NC สำเร็จเนื่องจากการสลาย
ความคลุมเครือของค่าเฉลี่ยความคลาดเคลื่อนยกกำลังสอง . เรามีสายดินสำหรับ NC ใน
สถิติบริบทของอคติ ความแปรปรวนและความแปรปรวนร่วม รวมถึงการเชื่อมโยงไปยังหมายเลขของขั้นตอนวิธีอื่นๆ
ที่เอารัดเอาเปรียบความกำกวม การค้นพบที่เราทำเกี่ยวกับ NC ไม่ได้
( โครงข่าย ส่วนใหญ่ของการสังเกตเราให้อยู่ในความเป็นจริงของ
คุณสมบัติค่าเฉลี่ยของกำลังสองฟังก์ชันข้อผิดพลาด เราพบว่า NC จึงดีที่สุด ดูเป็นกรอบ
มากกว่าขั้นตอนวิธีตัวเอง หมายถึง เทคนิคการเรียนรู้หลาย ๆสามารถใช้ประโยชน์
ของมัน