2. HISTORY
Computers are extremely fast at numerical computations, far exceeding human capabilities. However, the human brain has many abilities that would be desirable in a computer. These include: the ability to quickly identify features, even in the presence of noise; to understand, interpret, and act on probabilistic or fuzzy notions (such as "Maybe it will rain tomorrow"); to make inferences and judgments based on past experiences and relate them to situations that have never been encountered before; and to suffer localized damage without losing complete functionality (fault tolerance). So even though the computer is faster than the human brain in numeric computations, the brain far outperforms the computer in other tasks. This is the underlying motivation for trying .to understand and model the human brain.
The neuron is the basic computational unit of the brain (see Fig. 1). A human brain has approximately 1011 neurons acting in parallel. The neurons are highly interconnected, with a typical neuron being connected to several thousand other neurons. [For more details of the biology of neurons see Thompson (1985).] Early work on modeling the brain started with models of the neuron. The McCulloch-Fitts model (McCulloch and Pitts 1943) of the neuron was one of the first attempts in this area. The McCulloch-Fitts model is a simple binary threshold unit (Fig. 2). The neuron receives a weighted sum of inputs from connected units, and outputs a value of one (fires) if this sum is greater than a threshold. If the sum is less than the threshold, the model neuron outputs a zero value. Mathematically we can represent this
model as
where Yi is the output of neuron i, wi.i is the weight from neuron j to neuron i, x.i is the output of neuron j, f..Li is the
threshold for neuron i, and e is the activation function,
defined as
8(netinput) = { if netinput 0 otherwise.
Although this model is simple, it has been demonstrated that computationally it is equivalent to a digital computer. This means that any of the computations carried out on conventional digital computers can be accomplished with a set of interconnected McCulloch-Fitts neurons (Abu-Mostafa 1986).
In the early 1960s Rosenblatt developed a learning algorithm for a model he called the simple perceptron (Rosen blatt 1962). The simple perceptron consists of McCulloch Fitts model neurons that form two layers, input and output. The input neurons receive data from the external world, and the output neurons send information from the network to the outside world. Each input neuron is unidirectionally connected to all the output neurons. The model uses binary (-1 or 1) input and output units. Rosenblatt was able to demonstrate that if a solution to a classification problem "existed," his model would converge, or learn, the solution in a finite number of steps. For the problems in which he was interested a solution existed if the problem was lin early separable. (Linear separability means that a hyper plane, which is simply a line in two dimensions, exists that can completely delineate the classes that the classifier at tempts to identify. Problems that are linearly separable are only a special case of all possible classification problems.) A major blow to the early development of neural networks occurred when Minsky and Papert picked up on the linear separability limitation of the simple perceptron and published results demonstrating this limitation (Minsky and Papert 1969). Although Rosenblatt knew of these limita tions, he had not yet found a way to train other models to overcome this problem. As a result, interest and fund ing in neural networks waned. [It is interesting to note that while Rosenblatt, a psychologist, was interested in model ing the brain, Widrow, an engineer, was developing a similar model for signal processing applications called the Adaline (Widrow 1962).]
In the 1970s there was still a limited amount of research activity in the area of neural networks. Modeling the mem ory was the common thread of most of this work. (Ander son (1970) and Willshaw, Buneman, and Longuet-Higgins (1969) discuss some of this work.) Grossberg (1976) and von der Malsburg (1973) were developing ideas on competi tive learning, while Kohonen (1982) was developing feature maps. Grossberg (1983) was also developing his Adapiive Resonance Theory. Obviously, there was a great deal of work done during this period, with many important papers and ideas that are not presented in this paper. [For a more detailed description of the history see Cowen and Sharp (1988).]
Interest in neural networks renewed with the Hopfield model (Hopfield 1982) of a content-addressable memory. In contrast to the human brain a computer stores data as a look-up table. Access to this memory is made using ad dresses. The human brain does not go through this look up process; it "settles" to the closest match based on the
2 . ประวัติคอมพิวเตอร์เป็นอย่างรวดเร็วมากในการคำนวณเชิงตัวเลข ไกลเกินความสามารถของมนุษย์ อย่างไรก็ตาม สมองของมนุษย์มีความสามารถที่จะต้องการในคอมพิวเตอร์ เหล่านี้รวมถึงความสามารถในการได้อย่างรวดเร็วระบุคุณสมบัติในการแสดงตนของเสียงเย็น เข้าใจ ตีความ และแสดงความน่าจะเป็นหรือ Fuzzy ความคิด ( เช่น " บางทีมันอาจจะตกพรุ่งนี้ " ) ; เพื่อให้สรุปและตัดสินจากประสบการณ์ที่ผ่านมาและความสัมพันธ์ของพวกเขากับสถานการณ์ที่ไม่เคยพบมาก่อนและ ประสบความเสียหายของถิ่น โดยไม่สูญเสียฟังก์ชันสมบูรณ์ ( ความอดทนความผิด ) แม้ว่าคอมพิวเตอร์จะเร็วกว่าสมองมนุษย์ในการคำนวณตัวเลข มองไกลมีประสิทธิภาพดีกว่าคอมพิวเตอร์ในงานอื่น ๆ อยู่ภายใต้แรงจูงใจ พยายาม ที่จะเข้าใจรูปแบบและสมองของมนุษย์ที่เซลล์เป็นหน่วยพื้นฐานของคอมพิวเตอร์สมอง ( ดูรูปที่ 1 ) สมองมนุษย์มีเซลล์ประสาทประมาณ ชั้นทำตัวในแบบคู่ขนาน เซลล์ประสาทจะขอเชื่อมกับเซลล์ประสาทเซลล์ประสาทอื่น ๆโดยทั่วไปจะเชื่อมโยงหลายพัน [ รายละเอียดเพิ่มเติมของชีววิทยาประสาทดู ทอมป์สัน ( 1985 ) ] ก่อนทำงานบนแบบจำลองสมองเริ่มต้นกับโมเดลของเซลล์ประสาท . ช่วงไหล่ ฟิทส์ โมเดล ( ไหล่พิตส์ 1943 ) ของ เซลล์ประสาท คือหนึ่งในความพยายามครั้งแรกในพื้นที่นี้ ช่วงไหล่เป็นแบบไบนารีวิฟิทส์เกณฑ์หน่วย ( รูปที่ 2 ) ที่เซลล์ได้รับผลรวมถ่วงน้ำหนักของปัจจัยจากหน่วยเชื่อมต่อและแสดงผลค่าของหนึ่ง ( ไฟ ) ถ้าจำนวนนี้มากกว่าการนวดองเก่า ถ้าผลรวมน้อยกว่าเกณฑ์ แบบจำลองเซลล์ประสาทผลค่าศูนย์ ทางคณิตศาสตร์ที่เราสามารถแสดงนี้รูปแบบ เช่นที่ อี ผลผลิตของ เซลล์ประสาท ผม วี ผมมีน้ำหนักจากเซลล์ประสาท J เซลล์ประสาทฉัน x.i คือผลผลิตของเซลล์ประสาท J , F . ลี่คือเกณฑ์สำหรับเซลล์ประสาทฉัน และ E คือ ฟังก์ชันการเปิดใช้งานหมายถึง8 ( netinput ) = { ถ้า netinput 0 เป็นอย่างอื่นแม้ว่ารุ่นนี้จะง่าย มันได้ถูกแสดงให้ computationally มันเทียบเท่ากับคอมพิวเตอร์ดิจิตอล ซึ่งหมายความว่าใด ๆของวิธีการดำเนินการใน con อง ventional ดิจิตอลคอมพิวเตอร์ได้ด้วยชุดเชื่อมต่อระหว่างเซลล์ประสาท ( Abu ถ้าคนไหล่ฟิตส์ 1986 )ในช่วงต้นทศวรรษที่ 1960 Rosenblatt พัฒนาเรียนรู้อัลกออง rithm สำหรับนายแบบเขาเรียกเพอร์เซปตรอนอย่างง่าย ( โรเซนแบลตต์อง 1962 ) โดยไซส์โมซอรัสง่ายประกอบด้วยเซลล์ประสาทที่ฟอร์มไหล่องฟิทส์ แบบ 2 ชั้น ใส่แล้วออก การป้อนข้อมูลเซลล์ประสาทรับข้อมูลจากโลกภายนอก และผลผลิตอื่นๆ ส่งข้อมูลจากเครือข่ายสู่โลกภายนอก ปัจจัยแต่ละเซลล์ประสาทเป็น unidirectionally เชื่อมกับเซลล์ประสาททั้งหมดออก รูปแบบการใช้เลขฐานสอง ( - 1 หรือ 1 ) รับเข้าและหน่วยส่งออก โรเซนแบลตต์ได้แสดงให้เห็นว่า ถ้าการแก้ไขปัญหา " การมีอยู่ " นางแบบจะมาบรรจบกัน หรือเรียนรู้ การแก้ปัญหาในจำนวนที่จำกัดของขั้นตอน สำหรับปัญหาที่เขากำลังสนใจอยู่ ถ้าแก้ไขปัญหาหลินองแต่เช้า แยกออกจากกันได้ การแยกออกจากกันได้โดยตรง ( หมายความว่าไฮเปอร์องเครื่องบิน ซึ่งเป็นเพียงแค่เส้น 2 มิติที่มีอยู่ที่สมบูรณ์สามารถอธิบายในชั้นเรียนว่าลักษณนามที่องล่อลวงที่จะระบุ ปัญหาที่แบ่งแยกเชิงเส้นเป็นกรณีพิเศษของปัญหาประเภทเป็นไปได้ทั้งหมด ) ระเบิดใหญ่เพื่อการพัฒนาโครงข่ายประสาทเทียมเกิดขึ้นเมื่อมินสกีพาเพิร์ตและหยิบขึ้นมาบนเส้นแยกออกจากกันได้ง่าย และข้อจำกัดของเพอร์เซปตรอนตีพิมพ์ผลแสดงให้เห็นถึงข้อ จำกัด นี้ ( มินสกีพาเพิร์ตและ 1969 ) แม้ว่า Rosenblatt รู้เรื่องเหล่านี้ limita องยินดีด้วย เขายังไม่ได้พบวิธีที่จะฝึกแบบอื่น ๆที่จะเอาชนะปัญหานี้ เป็นผลให้ดอกเบี้ยกองทุนไอเอ็นจีในเครือข่ายประสาทที่อง . [ มันเป็นที่น่าสนใจที่จะต้องทราบว่าในขณะที่ Rosenblatt , นักจิตวิทยา , สนใจรุ่นองอิงสมอง วิโดรว , วิศวกร , การพัฒนารูปแบบคล้ายกันสำหรับการใช้งานการประมวลผลสัญญาณที่เรียกว่า adaline ( วิโดรว 1962 ) . ]ในยุคนั้นยังคงมีจำนวน จำกัด ของกิจกรรมการวิจัยในพื้นที่ของโครงข่ายประสาทเทียม สร้างเมมองโรงงานที่เป็นหัวข้อทั่วไปมากที่สุดของงานนี้ ( แอนเดอองลูกชาย ( 1970 ) และ willshaw buneman , และ ลองกูเ ์ ฮิกกินส์ ( 1969 ) หารือเกี่ยวกับบางส่วนของงานนี้ ) grossberg ( 1976 ) และฟอนเดอร์ malsburg ( 1973 ) คือการพัฒนาความคิดใน competi องทางเลือกการเรียนรู้ในขณะที่การ ( 2525 ) คือการพัฒนาแผนที่คุณลักษณะ grossberg ( 1983 ) คือการพัฒนาของเขา adapiive เรโซแนนซ์ ทฤษฎี เห็นได้ชัดว่ามีการจัดการที่ดีของงานที่ทำในช่วงเวลานี้ มีเอกสารสำคัญและความคิดที่ไม่ได้แสดงในบทความนี้ [ สำหรับคำอธิบายรายละเอียดเพิ่มเติมของประวัติศาสตร์เห็นโคเวนและคม ( 1988 ) . ]ความสนใจในการต่ออายุด้วยแบบจำลองโครงข่ายประสาทเส้น ( เส้น 1982 ) เนื้อหาแอดเดรสหน่วยความจำ ในทางตรงกันข้ามกับมนุษย์สมองคอมพิวเตอร์เก็บข้อมูลเป็นตารางค้นหา . การเข้าถึงหน่วยความจำนี้ทำให้การใช้โฆษณาชุดอง . สมองของมนุษย์ที่ไม่ได้ผ่านกระบวนการลักษณะนี้อง มัน " ดี " ที่สุด ราคาขึ้นอยู่กับ
การแปล กรุณารอสักครู่..
