CHAPTER 3. DEFINING DIVERSITY 47We

CHAPTER 3. DEFINING DIVERSITY 47
We have now reviewed the state of the field with regard to explanations of what the
term ‘diversity of errors’ means, and why it can lead to improved ensemble performance. In
conclusion, the community puts great stead in the concept of classification error “diversity”,
though it is still an ill-defined concept. The lack of a definition for diversity has not stopped
researchers attempting to achieve it. So how do you make an effective, well-performing
ensemble?
3.2 Towards A Taxonomy of Methods for Creating Diversity
We have determined in the previous section that in both regression and classification contexts, the correlation between the individual predictor outputs has a definite effect on the
overall ensemble error, though for classification it is not yet formalised in the literature. In
this section we attempt to move towards a possible way to understand the many different
methods which researchers use to create an ensemble exhibiting error diversity; we show
that these schemes can be categorised along three “diversity-creation” axes.
In constructing the ensemble, we may choose to take information about diversity into
account, or we may not; i.e. we may or may not explicitly try to optimise some metric of
diversity during building the ensemble. We make a distinction between these two types,
explicit and implicit diversity methods. A technique such as Bagging is an implicit method,
it randomly samples the training patterns to produce different sets for each network; at no
point is a measurement taken to ensure diversity will emerge. Boosting is an explicit method,
it directly manipulates the training data distributions to ensure some form of diversity in
the base set of classifiers (although it is obviously not guaranteed to be the ‘right’ form of
diversity).
During learning, a function approximator follows a trajectory in hypothesis space. We
would like the networks in our ensemble to occupy different points in that hypothesis space.
While implicit methods rely on randomness to generate diverse trajectories in the hypothesis
space, explicit methods deterministically choose different paths in the space. In addition to
this high level dichotomy, there are several other possible dimensions for ensuring diversity
in the ensemble.
Sharkey [123] proposed that a neural network ensemble could be made to exhibit diversity by influencing one of four things: the initial weights, the training data used, the

ผลลัพธ์ (ไทย) 2:

3. บทนิยามความหลากหลาย 47
เราได้ตรวจสอบในขณะนี้รัฐของเขตข้อมูลที่เกี่ยวกับคำอธิบายของสิ่งคำว่า 'ความหลากหลายของข้อผิดพลาด' หมายถึงและทำไมมันสามารถนำไปสู่การปรับปรุงประสิทธิภาพการทำงานของวงดนตรี
ในข้อสรุปของชุมชนทำให้สถานที่ที่ดีในการแนวคิดการจัดหมวดหมู่ของข้อผิดพลาด "ความหลากหลาย" แม้ว่ามันจะยังคงเป็นแนวความคิดที่ไม่ดีที่กำหนดไว้ ขาดคำนิยามสำหรับความหลากหลายของการให้ไม่ได้หยุดนักวิจัยพยายามที่จะบรรลุมัน ดังนั้นวิธีการทำคุณให้มีประสิทธิภาพที่ดีการแสดงวงดนตรี? 3.2 ต่ออนุกรมวิธานของวิธีการในการสร้างความหลากหลายที่เราได้กำหนดไว้ในส่วนก่อนหน้านี้ที่ทั้งในบริบทของการถดถอยและการจำแนกความสัมพันธ์ระหว่างผลการทำนายบุคคลที่มีผลชัดเจนในข้อผิดพลาดทั้งมวลโดยรวมแม้ว่าการจัดหมวดหมู่มันจะไม่เป็นทางการยังอยู่ในวรรณคดี ในส่วนนี้เราพยายามที่จะย้ายไปทางเป็นไปได้ที่จะเข้าใจความแตกต่างกันหลายวิธีที่นักวิจัยใช้ในการสร้างชุดการแสดงความหลากหลายของข้อผิดพลาด; เราจะแสดงให้เห็นว่ารูปแบบเหล่านี้สามารถแบ่งได้ตามสาม "ความหลากหลายของการสร้าง" แกน. ในการสร้างวงดนตรีที่เราอาจเลือกที่จะนำข้อมูลเกี่ยวกับความหลากหลายเข้าบัญชีหรือเราอาจไม่ได้; คือเราอาจจะหรืออาจจะไม่ชัดเจนพยายามเพิ่มประสิทธิภาพตัวชี้วัดของความหลากหลายในระหว่างการสร้างวงดนตรี เราสร้างความแตกต่างระหว่างทั้งสองประเภทเป็นที่ชัดเจนและวิธีการที่หลากหลายโดยปริยาย เทคนิคเช่นห่อเป็นวิธีที่มีนัยมันสุ่มกลุ่มตัวอย่างรูปแบบการฝึกอบรมในการผลิตชุดที่แตกต่างกันสำหรับแต่ละเครือข่าย ไม่มีจุดคือการวัดการดำเนินการเพื่อให้แน่ใจว่ามีความหลากหลายจะเกิด การส่งเสริมเป็นวิธีการที่ชัดเจนโดยตรงปรุงแต่งการกระจายข้อมูลการฝึกอบรมเพื่อให้แน่ใจว่ารูปแบบของความหลากหลายบางอย่างในการตั้งฐานของจําแนก(แม้ว่ามันจะเห็นได้ชัดไม่รับประกันว่าจะเป็น 'ขวา' รูปแบบของความหลากหลาย). ในช่วงการเรียนรู้เป็น approximator ฟังก์ชั่นดังต่อไปนี้ โคจรในอวกาศสมมติฐาน เราต้องการเครือข่ายในวงดนตรีของเราที่จะครอบครองจุดที่แตกต่างกันในพื้นที่สมมติฐานที่ว่า. ในขณะที่วิธีนัยพึ่งพาการสุ่มเพื่อสร้างความหลากหลายในวิถีสมมติฐานพื้นที่วิธีการที่ชัดเจน deterministically เลือกเส้นทางที่แตกต่างกันในพื้นที่ นอกเหนือไปจากการแบ่งขั้วในระดับสูงนี้มีหลายมิติอื่น ๆ ที่เป็นไปได้ในการตรวจสอบความหลากหลายในชุด. ชาร์กี้ [123] เสนอว่าชุดเครือข่ายประสาทอาจจะทำที่จะแสดงความหลากหลายโดยมีอิทธิพลต่อหนึ่งในสี่สิ่ง: น้ำหนักเริ่มต้นการฝึกอบรม ข้อมูลที่ใช้ในการ

ผลลัพธ์ (ไทย) 3:

บทที่ 3 การกำหนดความหลากหลาย 47
ตอนนี้เราได้ตรวจสอบสถานะของเขตข้อมูลเกี่ยวกับคำอธิบายของสิ่งที่
เทอมของความหลากหลายของข้อผิดพลาด ' หมายความว่าและทำไมมันสามารถนำไปสู่การปฏิบัติตามการปรับปรุง ใน
สรุปชุมชนให้มากแทนในแนวคิดของการเกิดข้อผิดพลาด " ความหลากหลาย "
แม้ว่ามันยังคงป่วยกำหนดแนวคิดไม่มีความหมายสำหรับความหลากหลายยังไม่หยุด
นักวิจัยพยายามที่จะบรรลุมัน ดังนั้นวิธีที่คุณทำให้มีประสิทธิภาพดีการแสดง
ทั้งหมด ?
3.2 ต่ออนุกรมวิธานของวิธีการสร้างความหลากหลาย
เราได้กำหนดในส่วนก่อนหน้าที่ถดถอยและการจำแนกทั้งในบริบทความสัมพันธ์ระหว่างผลทำนายบุคคลได้ผลแน่นอนใน
ข้อผิดพลาดทั้งหมดโดยรวม แต่ระบบมันยังไม่ formalised ในวรรณคดี ในส่วนนี้เราพยายามที่จะย้าย
ที่มีทางเป็นไปได้ที่จะเข้าใจวิธีการที่แตกต่างกันหลาย
นักวิจัยใช้เพื่อสร้างวงดนตรีจัดแสดงความหลากหลายของข้อผิดพลาด เราแสดง
ว่าแผนการเหล่านี้สามารถ categorised ตามสาม " ความหลากหลายสร้าง " แกน .
ในการสร้างวงดนตรีเราอาจจะเลือกใช้ข้อมูลเกี่ยวกับความหลากหลายใน
บัญชี หรือเราอาจจะไม่ได้ เช่น เราอาจจะหรืออาจจะไม่พยายามที่จะรวมบางส่วนของตัวชี้วัดอย่างชัดเจน
ความหลากหลายในระหว่างการสร้างวงดนตรี . เราสร้างความแตกต่างระหว่างทั้งสองประเภท
ชัดเจนและวิธีการหลากหลายนัย . เทคนิค เช่น ถุงจะเป็นวิธีที่แนบเนียน
,มันสุ่มตัวอย่างรูปแบบการฝึกอบรมเพื่อผลิตชุดที่แตกต่างกันสำหรับแต่ละเครือข่าย ที่ไม่มี
จุดคือการวัดถ่ายเพื่อให้แน่ใจว่า ความหลากหลายจะอุบัติ ซึ่งเป็นวิธีการที่ชัดเจน ,
มันโดยตรงจัดการข้อมูลการฝึกอบรมเพื่อให้แน่ใจว่าบางรูปแบบของความหลากหลายใน
ฐานตั้งลักษณนาม ( แม้ว่าจะไม่รับประกันว่าจะมี ' ' รูปแบบของความหลากหลาย

)ในระหว่างที่เรียน หน้าที่ approximator ตามเส้นทางในพื้นที่กรุงเทพมหานคร เรา
ต้องการเครือข่ายในทั้งหมดของเราที่จะครอบครองจุดที่แตกต่างกันในสมมติฐานที่ว่าพื้นที่ ในขณะที่วิธีโดยปริยายพึ่งพา randomness
เพื่อสร้างหลากหลายวิถีในสมมติฐาน
พื้นที่ วิธีการที่ชัดเจน deterministically เลือกเส้นทางที่แตกต่างกันในพื้นที่ นอกจาก
ขั้วสูงระดับนี้มีหลายมิติที่เป็นไปได้อื่น ๆเพื่อสร้างความหลากหลายใน ensemble
.
ชาร์กี้ [ 123 ] เสนอว่าวงดนตรีเครือข่ายประสาทสามารถทําให้มีความหลากหลาย โดยมีผลต่อหนึ่งกับสี่สิ่ง : น้ำหนักเริ่มต้นการฝึกอบรมข้อมูลที่ใช้