CHAPTER 3. DEFINING DIVERSITY 49res

CHAPTER 3. DEFINING DIVERSITY 49
resulting networks differed in the number of cycles in which they took to converge upon
a solution, and in whether they converged at all. However, the trained neural networks
were not found to be statistically independent in their generalisation performance, i.e. they
displayed very similar patterns of generalisation despite having been derived from different
initial weight vectors. Thus, varying the initial weights of neural networks, although important when using a deterministic training method such as backpropagation, seems not to
be an effective stand-alone method for generating error diversity in an ensemble of neural
networks.
These observations are supported by a number of other studies. Partridge [106, 155]
conducted several experiments on large (> 150, 000 patterns) synthetic data sets, and concludes that after network type, training set structure, and number of hidden units, the
random initialization of weights is the least effective method for generating diversity. Parmanto, Munro and Doyle [12] used one synthetic dataset and two medical diagnosis datasets
to compare 10-fold cross-validation, Bagging, and random weight initializations; again the
random weights method comes in last place.
We have now discussed implicit diversity methods for manipulating the starting point
in hypothesis space. We will next discuss an explicit method for this, where randomisation
of weights does not occur.
Maclin and Shavlik [89] present an approach to initializing neural network weights that
uses competitive learning to create networks that are initialised far from the origin of weight
space, thereby potentially increasing the set of reachable local minima; they show significantly improved performance over the standard method of initialization on two real world
datasets.
A technique relevant to this discussion, Fast Committee Learning [131] trains a single
neural network, taking M snapshots of the state of its weights at a number of instances
during the training. The M snapshots are then used as M different ensemble members.
Although the performance was not as good as when using separately trained nets, this offers
the advantage of reduced training time as it is only necessary to train one network.

ผลลัพธ์ (ไทย) 1:

บทที่ 3 การกำหนดความหลากหลาย 49เครือข่ายผลลัพธ์ที่แตกต่างในจำนวนรอบที่เอาให้มาบรรจบกันเมื่อการแก้ปัญหา และว่าพวกเขาทั้งหมด converged อย่างไรก็ตาม ฝึกอบรมเครือข่ายประสาทไม่พบเป็นอิสระทางสถิติในการปฏิบัติ generalisation เช่นเขาแสดงรูปแบบคล้ายของ generalisation แม้จะมีรับมาจากที่อื่นน้ำหนักเริ่มต้นเวกเตอร์ ดังนั้น แตกต่างกันไปน้ำหนักเริ่มต้นของเครือข่ายประสาท ความสำคัญเมื่อใช้วิธีฝึกอบรม deterministic เช่น backpropagation แม้ว่าดูเหมือนไม่เป็นวิธีการแบบสแตนด์อโลนที่มีประสิทธิภาพสำหรับการสร้างความหลากหลายของข้อผิดพลาดในวงการดนตรีของประสาทเครือข่ายข้อสังเกตเหล่านี้ได้รับการสนับสนุน โดยการศึกษาอื่น ๆ Partridge [106, 155]ดำเนินการทดลองหลายบนขนาดใหญ่ (> 150, 000 รูป) สังเคราะห์ชุดข้อมูล และสรุปว่า หลังจากชนิดของเครือข่าย อบรมตั้งโครงสร้าง และจำนวนของหน่วยที่ซ่อนน้ำหนักเริ่มต้นสุ่มเป็นวิธีมีประสิทธิภาพน้อยที่สุดสำหรับการสร้างความหลากหลาย Parmanto จู๋และดอยล์ [12] ใช้ชุดข้อมูลสังเคราะห์ที่หนึ่งและสองโรค datasetsเปรียบเทียบ 10-fold สอบข้าม เย็บถุง และสุ่มน้ำหนัก initializations อีกครั้งวิธีสุ่มน้ำหนักมาที่สุดท้ายเราตอนนี้ได้กล่าวถึงวิธีการหลากหลายนัยแต่จุดเริ่มต้นในพื้นที่สมมติฐาน ต่อไปเราจะหารือวิธีการชัดเจนนี้ ที่ randomisationof weights does not occur.Maclin and Shavlik [89] present an approach to initializing neural network weights thatuses competitive learning to create networks that are initialised far from the origin of weightspace, thereby potentially increasing the set of reachable local minima; they show significantly improved performance over the standard method of initialization on two real worlddatasets.A technique relevant to this discussion, Fast Committee Learning [131] trains a singleneural network, taking M snapshots of the state of its weights at a number of instancesduring the training. The M snapshots are then used as M different ensemble members.Although the performance was not as good as when using separately trained nets, this offersthe advantage of reduced training time as it is only necessary to train one network.

ผลลัพธ์ (ไทย) 2:

3. บทนิยามความหลากหลาย 49 เครือข่ายที่เกิดขึ้นแตกต่างกันในจำนวนรอบในการที่พวกเขาเอามาบรรจบกันเมื่อแก้ปัญหาและไม่ว่าพวกเขาแปรสภาพที่ทุกคน อย่างไรก็ตามการฝึกอบรมเครือข่ายประสาทไม่พบจะเป็นอิสระทางสถิติในการทำงานของพวกเขาทั่วไปคือพวกเขาแสดงรูปแบบคล้ายกันมากของทั่วไปแม้จะมาจากที่แตกต่างกันเวกเตอร์น้ำหนักเริ่มต้น ดังนั้นที่แตกต่างกันน้ำหนักเริ่มต้นของเครือข่ายประสาทแม้ว่าที่สำคัญเมื่อใช้วิธีการฝึกอบรมที่กำหนดเช่นการแพร่กระจายย้อนกลับดูเหมือนว่าจะไม่เป็นวิธีแบบสแตนด์อะโลนที่มีประสิทธิภาพในการสร้างความหลากหลายของข้อผิดพลาดในวงดนตรีของประสาทเครือข่าย. ข้อสังเกตเหล่านี้ได้รับการสนับสนุนด้วยหมายเลข การศึกษาอื่น ๆ นกกระทา [106, 155] ทำการทดลองหลายขนาดใหญ่ (> 150, 000 รูปแบบ) ชุดข้อมูลสังเคราะห์และสรุปว่าหลังจากที่ประเภทเครือข่ายโครงสร้างชุดการฝึกอบรมและจำนวนหน่วยที่ซ่อนไว้เริ่มต้นสุ่มของน้ำหนักเป็นวิธีที่มีประสิทธิภาพน้อย ที่ก่อให้เกิดความหลากหลาย Parmanto มันโรและดอยล์ [12] ใช้หนึ่งในชุดข้อมูลที่สังเคราะห์และสองชุดข้อมูลการวินิจฉัยทางการแพทย์เพื่อเปรียบเทียบ10 เท่าข้ามการตรวจสอบบรรจุถุงและ initializations น้ำหนักสุ่ม อีกวิธีการสุ่มน้ำหนักมาในสถานที่สุดท้าย. เราได้กล่าวถึงวิธีการในขณะนี้มีความหลากหลายโดยปริยายสำหรับการจัดการจุดเริ่มต้นในพื้นที่สมมติฐาน ต่อไปเราจะหารือเกี่ยวกับวิธีการที่ชัดเจนสำหรับเรื่องนี้ที่สุ่มของน้ำหนักจะไม่เกิดขึ้น. Maclin และค่าย Shavlik [89] นำเสนอวิธีการที่จะเริ่มต้นน้ำหนักเครือข่ายประสาทที่ใช้การเรียนรู้ในการแข่งขันที่จะสร้างเครือข่ายที่มีinitialised ห่างไกลจากแหล่งกำเนิดของน้ำหนักพื้นที่จึงอาจเพิ่มขึ้นชุดสามารถเข้าถึงได้น้อยท้องถิ่น พวกเขาแสดงให้เห็นประสิทธิภาพที่เพิ่มขึ้นอย่างมีนัยสำคัญกว่าวิธีการมาตรฐานของการเริ่มต้นในโลกสองจริงชุดข้อมูล. เทคนิคที่เกี่ยวข้องกับการสนทนานี้การเรียนรู้คณะกรรมการอย่างรวดเร็ว [131] รถไฟเดียวเครือข่ายประสาท, การถ่ายภาพรวม M ของรัฐของน้ำหนักของมันที่จำนวนของกรณีระหว่างการฝึกอบรม ภาพรวม M ถูกนำมาใช้ในฐานะสมาชิกวง M ที่แตกต่างกัน. แม้ว่าผลการดำเนินงานได้ไม่ดีเท่าเมื่อใช้มุ้งแยกผ่านการฝึกอบรมนี้มีประโยชน์จากเวลาการฝึกอบรมที่ลดลงในขณะที่มันเป็นเพียงที่จำเป็นในการฝึกอบรมเครือข่ายหนึ่ง

ผลลัพธ์ (ไทย) 3:

บทที่ 3 กำหนดให้เครือข่ายมีความหลากหลาย 49
ในจำนวนรอบในที่พวกเขาเอาไปบรรจบกับ
โซลูชั่นและไม่ว่าพวกเขากันเลย อย่างไรก็ตาม โครงข่ายประสาทเทียมฝึก
ไม่พบเป็นอิสระในการปฏิบัติงานอย่างมีนัยสำคัญทางสถิติ generalisation ของพวกเขาคือพวกเขา
แสดงรูปแบบคล้ายคลึงกันมาก generalisation แม้จะมีที่มาจากต่าง
เวกเตอร์น้ำหนักเริ่มต้น ดังนั้น การเปลี่ยนแปลงน้ำหนักเริ่มต้นของโครงข่ายประสาทเทียม แต่ที่สำคัญเมื่อใช้วิธีเชิงกำหนด เช่น แบบฝึก ดูเหมือนไม่ได้

เป็นวิธีที่มีประสิทธิภาพสำหรับการสร้างข้อผิดพลาด - ความหลากหลายในประเภทของเครือข่ายประสาทเทียม
.
ข้อสังเกตเหล่านี้ได้รับการสนับสนุนโดยจำนวนของการศึกษาอื่น ๆ นกกระทา [ 155 ]
106 ,ทำการทดลองหลายขนาดใหญ่ ( > 150 , 000 รูปแบบ ) ชุดข้อมูล สังเคราะห์ และสรุปได้ว่า หลังจากเครือข่ายประเภทโครงสร้างชุดฝึกและจำนวนหน่วยที่ซ่อน
เริ่มต้นแบบสุ่มของน้ำหนักเป็นวิธีที่มีประสิทธิภาพที่สุดสำหรับสร้างความหลากหลาย parmanto Munro , ดอยล์ [ 12 ] ใช้สังเคราะห์ข้อมูลและสองการวินิจฉัยทางการแพทย์ข้อมูล
เปรียบเทียบโฟลด 10 ,ถุง , และน้ำหนักแบบสุ่ม initializations ; อีกครั้ง
น้ำหนักแบบวิธีมาในสถานที่สุดท้าย .
ตอนนี้เราได้กล่าวถึงวิธีการของระบบการจัดการจุดเริ่มต้น
ในอวกาศสมมติฐาน เราต่อไปจะกล่าวถึงวิธีการที่ชัดเจนสำหรับนี้ที่ randomisation น้ำหนักไม่ขึ้น
.
และแมคลิน shavlik [ 89 ] ปัจจุบัน แนวทางการเริ่มต้นเครือข่ายประสาท
เวทนั้นใช้ในการแข่งขันการเรียนรู้เพื่อสร้างเครือข่ายที่ initialised ไกลจากต้นกำเนิดของน้ำหนัก
พื้นที่จึงอาจเพิ่มชุดของคำนามพหูพจน์ของ minimum ท้องถิ่นได้ พวกเขาแสดงการปรับปรุงอย่างมาก ประสิทธิภาพกว่าวิธีมาตรฐานของการเริ่มต้นบนโลกจริง

ชุดข้อมูล เทคนิคที่เกี่ยวข้องกับการอภิปรายนี้คณะกรรมการการเรียนรู้ได้อย่างรวดเร็ว [ 131 ] รถไฟเดียว
ประสาทเครือข่ายรับ M ภาพรวมของสถานะของน้ำหนักที่เป็นหมายเลขของอินสแตนซ์
ในระหว่างการฝึกอบรม M ภาพรวมถูกใช้ในฐานะสมาชิกวงต่าง M .
แต่ประสิทธิภาพไม่ได้ดีเท่าเมื่อใช้ตาข่ายแยกการฝึกอบรมนี้มี
ประโยชน์ของลดเวลาการฝึกอบรม มันเป็นเพียงที่จำเป็นในการฝึกอบรมเครือข่ายหนึ่ง