In classification tasks, restricted

In classification tasks, restricted Boltzmann machines (RBMs) have predominantly been used in the first stage, either as feature extractors or to provide initialization of neural networks.


In this study, we propose a discriminative learning approach to provide a self-contained RBM method for classification, inspired by free-energy based function approximation (FE-RBM), originally proposed for reinforcement learning.


For classification, the FE-RBM method computes the output for an input vector and a class vector by the negative free energy of an RBM.


Learning is achieved by stochastic gradient-descent using a mean-squared error training objective.


In an earlier study, we demonstrated that the performance and the robustness of FE-RBM function approximation can be improved by scaling the free energy by a constant that is related to the size of network.


In this study, we propose that the learning performance of RBM function approximation can be further improved by computing the output by the negative expected energy (EE-RBM), instead of the negative free energy. To create a deep learning architecture, we stack several RBMs on top of each other.


We also connect the class nodes to all hidden layers to try to improve the performance even further.


We validate the classification performance of EE-RBM using the MNIST data set and the NORB data set, achieving competitive performance compared with other classifiers such as standard neural networks, deep belief networks, classification RBMs, and support vector machines. The purpose of using the NORB data set is to demonstrate that EE-RBM with binary input nodes can achieve high performance in the continuous input domain.

ผลลัพธ์ (ไทย) 1:

ในประเภทงาน เครื่องจักรตัวโบลทซ์มานน์จำกัด (RBMs) เป็นการใช้ในระยะแรก ได้ เป็น extractors ลักษณะการทำงาน หรือให้การเริ่มต้นของเครือข่ายประสาท ในการศึกษานี้ เราเสนอวิธีการเรียนรู้ discriminative ให้จัดเตรียม RBM วิธีการจัด แรงพลังงานฟรีตามฟังก์ชันประมาณ (FE-RBM), เสนอเดิม เรียนเสริม การจัด วิธี FE-RBM คำนวณผลลัพธ์เป็นเวกเตอร์อินพุตและเวกเตอร์คลาส โดยพลังงานฟรีค่าลบของ RBM การ เรียนรู้สามารถทำได้ โดยการไล่ระดับสีโคตรสโทแคสติกที่ใช้วัตถุประสงค์การฝึกอบรมข้อผิดพลาดหมายถึงลอการิทึม ในการศึกษาก่อนหน้านี้ เราแสดงว่า ประสิทธิภาพและเสถียรภาพของ FE RBM ประมาณฟังก์ชันสามารถปรับปรุง ด้วยการปรับพลังงานฟรีโดยค่าคงที่เกี่ยวข้องกับขนาดของเครือข่าย ในการศึกษานี้ เรานำเสนอว่า ประสิทธิภาพการเรียนรู้ของ RBM ฟังก์ชันประมาณสามารถเพิ่มเติมปรับปรุงได้ โดยการคำนวณผลลัพธ์โดยลบคาดพลังงาน (EE-RBM), แทนพลังงานฟรีค่าลบ สร้างลึกการเรียนสถาปัตยกรรม เรากอง RBMs หลายทับกัน เรายังเชื่อมต่อโหนดคลาสชั้นซ่อนทั้งหมดเพื่อปรับปรุงประสิทธิภาพการทำงานยิ่ง We validate the classification performance of EE-RBM using the MNIST data set and the NORB data set, achieving competitive performance compared with other classifiers such as standard neural networks, deep belief networks, classification RBMs, and support vector machines. The purpose of using the NORB data set is to demonstrate that EE-RBM with binary input nodes can achieve high performance in the continuous input domain.

ผลลัพธ์ (ไทย) 2:

ในงานจัดหมวดหมู่ จำกัด เครื่อง Boltzmann (RBMs) ได้รับส่วนใหญ่ที่ใช้ในขั้นตอนแรกไม่ว่าจะเป็นสกัดหรือที่จะให้การเริ่มต้นของเครือข่ายประสาท. ในการศึกษานี้เราเสนอวิธีการเรียนรู้จำแนกเพื่อให้วิธีการ RBM แบบครบชุดสำหรับ จำแนกแรงบันดาลใจจากพลังงานฟรีประมาณตามฟังก์ชั่น (FE-RBM) เสนอเดิมสำหรับการเรียนรู้เสริม. สำหรับการจำแนกวิธี FE-RBM คำนวณผลลัพธ์สำหรับการป้อนข้อมูลเวกเตอร์และเวกเตอร์ชั้นเรียนด้วยพลังงานเชิงลบของ RBM การเรียนรู้ที่จะทำได้โดยการสุ่มลาด-เชื้อสายใช้ข้อผิดพลาดหมายถึงกำลังสองวัตถุประสงค์การฝึกอบรม. ในการศึกษาก่อนหน้านี้เราแสดงให้เห็นว่าผลการดำเนินงานและความทนทานของการประมาณฟังก์ชั่น FE-RBM ได้ดีขึ้นโดยการปรับพลังงานฟรีโดยคงที่ที่เกี่ยวข้อง ขนาดของเครือข่าย. ในการศึกษานี้เราเสนอว่าประสิทธิภาพการเรียนรู้ฟังก์ชั่นของการประมาณ RBM สามารถปรับปรุงเพิ่มเติมโดยการคำนวณการส่งออกโดยคาดว่าการใช้พลังงานเชิงลบ (EE-RBM) แทนพลังงานเชิงลบ ในการสร้างสถาปัตยกรรมการเรียนรู้ลึกเราสแต็ค RBMs หลายด้านบนของแต่ละอื่น ๆ . นอกจากนี้เรายังเชื่อมต่อโหนดชั้นชั้นที่ซ่อนทั้งหมดจะพยายามที่จะปรับปรุงประสิทธิภาพการทำงานให้ดียิ่งขึ้น. เราตรวจสอบผลการดำเนินงานการจัดหมวดหมู่ของ EE-RBM ใช้ชุดข้อมูล MNIST และข้อมูลชุด Norb บรรลุผลการดำเนินงานในการแข่งขันเมื่อเทียบกับลักษณนามอื่น ๆ เช่นเครือข่ายประสาทมาตรฐานเครือข่ายความเชื่อลึก RBMs การจัดหมวดหมู่และการสนับสนุนเครื่องเวกเตอร์ วัตถุประสงค์ของการใช้ข้อมูลชุด Norb คือการแสดงให้เห็นว่า EE-RBM กับโหนดการป้อนข้อมูลไบนารีจะประสบความสำเร็จที่มีประสิทธิภาพสูงในโดเมนการป้อนข้อมูลอย่างต่อเนื่อง

ผลลัพธ์ (ไทย) 3:

ในงานประเภท , Boltzmann เครื่องจักรจำกัด ( rbms ) ส่วนใหญ่ถูกใช้ในขั้นตอนแรก เป็นคุณลักษณะที่สกัดหรือให้เริ่มต้นของโครงข่ายประสาทเทียม


ในการศึกษานี้ได้เสนอแนวทางการเรียนรู้และเพื่อให้วิธีการ RBM มีการจำแนก , แรงบันดาลใจจากพลังงานฟรีจากการประมาณค่าฟังก์ชัน ( fe-rbm )เสนอเดิมเสริมการเรียนรู้


สำหรับชนิด fe-rbm วิธีคำนวณผลผลิตสำหรับอินพุตเวกเตอร์และเวกเตอร์คลาสโดยพลังงานเชิงลบของ RBM .


เรียนได้โดยสุ่มไล่ระดับโคตรใช้หมายถึงยกกำลังสองข้อผิดพลาดการฝึกอบรม วัตถุประสงค์


ในก่อนหน้านี้การศึกษาเราพบว่าประสิทธิภาพและความทนทานของการประมาณฟังก์ชัน fe-rbm สามารถปรับปรุงได้โดยการปรับพลังงานฟรีโดยคงที่ที่เกี่ยวข้องกับขนาดของเครือข่าย


ในการศึกษานี้ได้เสนอว่า ความสามารถในการเรียนรู้ของการประมาณฟังก์ชัน RBM สามารถปรับปรุงเพิ่มเติมโดยการคำนวณผลผลิตโดยคาดว่าพลังงานเชิงลบ ( ee-rbm )แทนของพลังงานเชิงลบ เพื่อสร้างการเรียนรู้ลึกสถาปัตยกรรม เรากอง rbms หลายที่ด้านบนของแต่ละอื่น ๆ


เรายังเชื่อมต่อชั้นชั้นซ่อนโหนดทั้งหมดพยายามที่จะปรับปรุงประสิทธิภาพให้ดียิ่งขึ้น


เราตรวจสอบการใช้ประสิทธิภาพของ ee-rbm mnist และ norb ชุดข้อมูลชุดข้อมูลการบรรลุความสามารถในการแข่งขันเมื่อเทียบกับคำอื่น เช่น โครงข่ายประสาทเทียมมาตรฐานความเชื่อลึกเครือข่าย การจัดหมวดหมู่ rbms และเครื่องเวกเตอร์สนับสนุน วัตถุประสงค์ของการใช้ข้อมูล norb ชุดเพื่อแสดงให้เห็นว่า ee-rbm กับโหนดข้อมูลไบนารีสามารถบรรลุประสิทธิภาพสูงในการวิเคราะห์ข้อมูลแบบต่อเนื่อง