CHAPTER 3. DEFINING DIVERSITY 48arc

CHAPTER 3. DEFINING DIVERSITY 48
architecture of the networks, and the training algorithm used. This means providing each ensemble member with a different training set, or a different architecture, and so on. Though
at first this seems a sensible way to group the literature, we found it difficult to group all
ensemble techniques under these umbrellas. Specifically we could not see where a regularisation technique [116, 85] would fit. If we regularise the error function, we are changing
none of Sharkey’s four factors. Instead we came to the following categories upon which we
believe the majority of neural network ensemble techniques can be placed.
Starting point in Hypothesis Space Methods under this branch vary the starting points
within the search space, thereby influencing where in hypothesis space we converge
to.
Set of Accessible Hypotheses These methods vary the set of hypotheses that are accessible by the ensemble. Given that certain hypotheses may be made accessible or inaccessible with a particular training subset and network architecture, these techniques
either vary training data used, or the architecture employed, for different ensemble
members.
Traversal of Hypothesis Space These alter the way we traverse the search space, thereby
leading different networks to converge to different hypotheses.
3.2.1 Starting Point in Hypothesis Space
Starting each network with differing random initial weights will increase the probability of
continuing in a different trajectory to other networks. This is perhaps the most common
way of generating an ensemble, but is now generally accepted as the least effective method
of achieving good diversity; many authors use this as a default benchmark for their own
methods [101]. We will first discuss implicit instances of this axis, where weights are generated randomly, and then discuss explicit diversity for this, where networks are directly
placed in different parts of the hypothesis space.
Sharkey, Neary and Sharkey [127] investigated the relationship between initialisation of
the output weight vectors and final backpropagation solution types. They systematically
varied the initial output weight vectors of neural networks throughout a circle of radius 10
and then trained them using the fuzzy XOR task with a fixed set of training data. The

ผลลัพธ์ (ไทย) 3:

บทที่ 3 การกำหนดความหลากหลาย 48
สถาปัตยกรรมเครือข่ายและการฝึกอบรม อัลกอริทึมที่ใช้ ซึ่งหมายความว่าให้สมาชิกวงแต่ละคนด้วยชุดฝึกที่แตกต่างกันหรือแตกต่างกันสถาปัตยกรรม และอื่น ๆ แม้ว่า
ในครั้งแรกนี้ดูเหมือนว่าจะเป็นวิธีที่เหมาะสมในกลุ่มวรรณกรรม เราพบว่ามันยากที่จะกลุ่มทั้งหมดทั้งมวลภายใต้ร่ม
เทคนิคเหล่านี้เราไม่สามารถดูที่เทคนิค regularisation [ 116 85 ] มันจะพอดี ถ้าเราทำให้ถูกต้องตามระเบียบฟังก์ชันข้อผิดพลาด เราจะเปลี่ยน
ไม่มีชาร์กี้ 4 ปัจจัย แทน เราก็ประเภทต่อไปนี้ซึ่งเมื่อเรา
เชื่อส่วนใหญ่เทคนิคทั้งหมดโครงข่ายประสาทเทียมสามารถวาง
จุดเริ่มต้นในวิธีการพื้นที่สมมติฐานภายใต้สาขานี้แตกต่างกันไป จุดเริ่มต้น
ในการค้นหาพื้นที่จึงมีอิทธิพลต่อที่ในอวกาศสมมติฐานเราบรรจบกัน
.
ตั้งสมมุติฐานได้ วิธีการเหล่านี้แตกต่างกันที่ชุดของสมมติฐานที่สามารถเข้าถึงได้ โดยประสานกัน ให้ที่แน่นอนและอาจจะเข้าถึงหรือไม่สามารถเข้าถึงได้ด้วยการฝึกอบรมเฉพาะย่อยและสถาปัตยกรรมเครือข่าย เทคนิคเหล่านี้
ให้แตกต่างกันข้อมูลการฝึกอบรมที่ใช้หรือสถาปัตยกรรมที่ใช้สําหรับสมาชิก ensemble

หรือของพื้นที่ที่แตกต่างกัน สมมติฐานเหล่านี้เปลี่ยนแปลงวิธีที่เราท่องค้นหาพื้นที่จึงนำเครือข่ายไปบรรจบกับแตกต่างกัน

สมมติฐานต่างๆ ดำเนินงานในพื้นที่เริ่มจุดเริ่มต้น
สมมติฐานแต่ละเครือข่ายกับน้ำหนักเริ่มต้นสุ่มที่แตกต่างกันจะเพิ่มความน่าจะเป็นของ
อย่างต่อเนื่องในวิถีที่แตกต่างกับเครือข่ายอื่น ๆ นี้คือบางทีที่พบมากที่สุด
วิธีการสร้างการรวมวง แต่ตอนนี้ยอมรับกันโดยทั่วไปว่าเป็นวิธีที่มีประสิทธิภาพของการบรรลุ
อย่างน้อยความหลากหลายที่ดี ผู้เขียนหลายคนใช้นี้เป็นมาตรฐานสำหรับวิธีการเริ่มต้นของตัวเอง
[ 101 ] ครั้งแรกที่เราจะหารือกรณีนัยของแกนนี้ที่น้ำหนักจะถูกสร้างขึ้นแบบสุ่มและอภิปรายความหลากหลายชัดเจนแบบนี้ ที่เครือข่ายโดยตรง
วางไว้ในส่วนต่าง ๆของสมมติฐานว่าง .
Sharkey เนียรี่ และ ชาร์กี้ [ 127 ] ศึกษาความสัมพันธ์ของ initialisation
ผลผลิตน้ำหนักชนิดแบบเวกเตอร์ และ ทางออกสุดท้าย พวกเขามีระบบ
หลากหลายเริ่มต้นเวกเตอร์น้ำหนักผลผลิตของโครงข่ายทั่ววงกลมรัศมี 10
แล้วฝึกให้ใช้งาน XOR เลือนกับการตั้งค่าคงที่ของข้อมูลการฝึกอบรม ที่