The data set used here is given in Fig. 3. There are four
clusters of samples, and each cluster has 100 samples from
four Gaussian distributions with variance 0.1 and centered
at (-l,O), (l,O), (O,l), (0,-1), marked by an asterisk. At each
learning step, one sample 3 is randomly selected from the four
clusters with anyone of 400 samples being chosen with equal
probability. For simplicity, in all the experiments below, we
fixed the learning rates at a, = 0.05, a,.= 0.002, although
it is usually assumed that better results may be obtained by
some specific schedule for changing the rates like that used by
the Robbins-Monro stochastic approximation procedure [21].
In addition, we always initialize the weight vectors by random
numbers in the interval between 3.0 and 4.0.
First, we choose the number of units in our CL net as 4, the
same as the number of clusters in the data set. Fig. 4(a) shows
the learning traces (i.e., trajectories of weight vectors during
the learning process) obtained by the classical CL algorithm.
Obviously there are three dead units, and only the weight
vector d4 of one unit quickly moves towards a cluster center
point (0,O) in less than 50 learning steps and then oscillates
around it, which can be observed from the learning curves
(i.e., the changes of the component variables in every weight
vector versus the learning steps) given in Fig. 4(b).
The fluctuations are due to the fact that the learning rate a,
is fixed at 0.05. If the rate is gradually reduced to zero, then
the fluctuations will vanish.
The data set used here is given in Fig. 3. There are fourclusters of samples, and each cluster has 100 samples fromfour Gaussian distributions with variance 0.1 and centeredat (-l,O), (l,O), (O,l), (0,-1), marked by an asterisk. At eachlearning step, one sample 3 is randomly selected from the fourclusters with anyone of 400 samples being chosen with equalprobability. For simplicity, in all the experiments below, wefixed the learning rates at a, = 0.05, a,.= 0.002, althoughit is usually assumed that better results may be obtained bysome specific schedule for changing the rates like that used bythe Robbins-Monro stochastic approximation procedure [21].In addition, we always initialize the weight vectors by randomnumbers in the interval between 3.0 and 4.0.First, we choose the number of units in our CL net as 4, thesame as the number of clusters in the data set. Fig. 4(a) showsthe learning traces (i.e., trajectories of weight vectors duringthe learning process) obtained by the classical CL algorithm.Obviously there are three dead units, and only the weightvector d4 of one unit quickly moves towards a cluster centerpoint (0,O) in less than 50 learning steps and then oscillatesaround it, which can be observed from the learning curves(i.e., the changes of the component variables in every weightvector versus the learning steps) given in Fig. 4(b).The fluctuations are due to the fact that the learning rate a,is fixed at 0.05. If the rate is gradually reduced to zero, thenthe fluctuations will vanish.
การแปล กรุณารอสักครู่..
![](//thimg.ilovetranslation.com/pic/loading_3.gif?v=b9814dd30c1d7c59_8619)
ชุดข้อมูลที่ใช้ที่นี่จะได้รับในรูป 3.
มีสี่กลุ่มตัวอย่างและแต่ละกลุ่มมี100
ตัวอย่างจากสี่กระจายเสียนที่มีความแปรปรวน0.1
และมีศูนย์กลางอยู่ที่(-l โอ), (ลิตร O) (O, L) (0, -1) เครื่องหมายดอกจัน ในแต่ละขั้นตอนการเรียนรู้ซึ่งเป็นหนึ่งในตัวอย่างที่ 3 สุ่มเลือกจากสี่กลุ่มกับทุกคนจาก400 ตัวอย่างถูกเลือกด้วยความเท่าเทียมกันน่าจะเป็น เพื่อความง่ายในการทดลองทั้งหมดที่ด้านล่างเราคงที่อัตราการเรียนรู้ที่เป็น = 0.05, A,. = 0.002 แม้ว่ามันมักจะสันนิษฐานได้ว่าผลลัพธ์ที่ดีกว่าอาจจะได้รับโดยบางช่วงเวลาที่เฉพาะเจาะจงสำหรับการเปลี่ยนอัตราเช่นเดียวกับที่ใช้โดยร็อบบินส์มอนโรขั้นตอนการสุ่มประมาณ [21]. นอกจากนี้เรามักจะเริ่มต้นเวกเตอร์น้ำหนักโดยการสุ่มตัวเลขในช่วงเวลาระหว่าง 3.0 และ 4.0. ครั้งแรกที่เราเลือกจำนวนหน่วยในสุทธิ CL เป็น 4 เช่นเดียวกับจำนวน กลุ่มที่อยู่ในชุดข้อมูล รูป 4 (ก) แสดงให้เห็นร่องรอยการเรียนรู้(เช่นลูกทีมของเวกเตอร์น้ำหนักระหว่างกระบวนการเรียนรู้) ที่ได้รับจากอัลกอริทึม CL คลาสสิก. เห็นได้ชัดว่ามีสามหน่วยที่ตายแล้วและมีเพียงน้ำหนักเวกเตอร์ d4 ของหน่วยหนึ่งได้อย่างรวดเร็วจะย้ายไปทางศูนย์กลุ่มจุด(0, O) ในเวลาน้อยกว่า 50 ขั้นตอนการเรียนรู้แล้ว oscillates รอบซึ่งสามารถสังเกตได้จากเส้นโค้งการเรียนรู้(เช่นการเปลี่ยนแปลงของตัวแปรองค์ประกอบในทุกน้ำหนักเวกเตอร์เมื่อเทียบกับขั้นตอนการเรียนรู้) ได้รับในรูป 4 (ข). ผันผวนเนื่องจากความจริงที่ว่าอัตราการเรียนรู้คงที่ 0.05 ถ้าอัตราจะลดลงเรื่อย ๆ ที่จะเป็นศูนย์แล้วความผันผวนจะหายไป
การแปล กรุณารอสักครู่..
![](//thimg.ilovetranslation.com/pic/loading_3.gif?v=b9814dd30c1d7c59_8619)
ชุดข้อมูลที่ใช้ที่นี่จะได้รับในรูปที่ 3 มี 4
กลุ่มของตัวอย่าง และแต่ละกลุ่มมีจำนวน 100 ตัวอย่าง จาก
4 การแจกแจง ) ที่มีความแปรปรวน 0.1 และศูนย์กลาง
( - L , O , L , o ) ( o , 1 ) , ( 0 , - 1 ) , การทำเครื่องหมายโดยเครื่องหมายดอกจัน ในแต่ละ
การเรียนรู้ขั้นตอน หนึ่งตัวอย่างที่ 3 คือการสุ่มเลือกจากสี่
กลุ่มกับใคร 400 คนถูกเลือกกับความน่าจะเป็นเท่ากัน
สำหรับความเรียบง่ายในการทดลองด้านล่างเรา
คงที่อัตราการเรียนรู้ที่ = 0.05 , , = 0.002 , แม้ว่า
มันมักจะสันนิษฐานว่าผลลัพธ์ที่ดีอาจจะได้รับโดยมีตารางเวลาที่เฉพาะเจาะจงสำหรับการเปลี่ยนแปลง
ราคาเหมือนที่ใช้โดยร็อบบินส์เรื่องขั้นตอนประมาณ Stochastic [ 21 ] .
นอกจากนี้ เรามักจะเริ่มด้วยน้ำหนักเวกเตอร์สุ่มตัวเลขในช่วงระหว่าง
แรก , 3.0 และ 4.0เราเลือกจำนวนหน่วยใน CL สุทธิที่ 4 ,
เดียวกับหมายเลขของกลุ่มในชุดข้อมูล รูปที่ 4 ( ก ) แสดงร่องรอยการเรียนรู้
( เช่น วิถีของเวกเตอร์น้ำหนักระหว่าง
กระบวนการเรียนรู้ ) ที่ได้จากขั้นตอนวิธีคลาสสิค Cl .
เห็นได้ชัดมีสามหน่วยตาย และน้ำหนักของหนึ่งหน่วย D4
เวกเตอร์ได้อย่างรวดเร็วย้ายไปสู่กลุ่มศูนย์
จุด ( 0 ,O ) ในน้อยกว่า 50 เรียนรู้ขั้นตอนและ oscillates
อยู่รอบ ๆ ซึ่งสามารถสังเกตได้จากเส้นโค้งการเรียนรู้
( เช่น การเปลี่ยนแปลงของตัวแปรในทุกองค์ประกอบเวกเตอร์น้ำหนัก
เมื่อเทียบกับการเรียนรู้ขั้นตอน ) ที่ระบุในรูป 4 ( b )
ความผันผวนเนื่องจากความจริงที่ว่าอัตราการเรียนรู้เป็น
, คงที่เท่ากับ 0.05 ถ้าเท่ากันจะค่อย ๆลดลงถึงศูนย์แล้ว
ความผันผวนจะหายไป
การแปล กรุณารอสักครู่..
![](//thimg.ilovetranslation.com/pic/loading_3.gif?v=b9814dd30c1d7c59_8619)