A deep belief network (DBN) is a pr

A deep belief network (DBN) is a probabilistic, generative model made up of multiple layers of hidden units. It can be looked at as a composition of simple learning modules that make up each layer.[17]

A DBN can be used for generatively pre-training a DNN by using the learned weights as the initial weights. Backpropagation or other discriminative algorithms can then be applied for fine-tuning of these weights. This is particularly helpful in situations where limited training data is available, as poorly initialized weights can have significant impact on the performance of the final model. These pre-trained weights are in a region of the weight space that is closer to the optimal weights (as compared to just random initialization). This allows for both improved modeling capability and faster convergence of the fine-tuning phase.[85]

A DBN can be efficiently trained in an unsupervised, layer-by-layer manner where the layers are typically made of restricted Boltzmann machines (RBM). A description of training a DBN via RBMs is provided below. An RBM is an undirected, generative energy-based model with an input layer and single hidden layer. Connections only exist between the visible units of the input layer and the hidden units of the hidden layer; there are no visible-visible or hidden-hidden connections.

The training method for RBMs was initially proposed by Geoffrey Hinton for use with training "Product of Expert" models and is known as contrastive divergence (CD).[86] CD provides an approximation to the maximum likelihood method that would ideally be applied for learning the weights of the RBM.

ผลลัพธ์ (ไทย) 1:

เครือข่ายความเชื่อที่ลึก (DBN) เป็นรูปแบบ probabilistic, generative ขึ้นหลายชั้นของหน่วยที่ซ่อนอยู่ มันสามารถค้นหาที่เป็นส่วนประกอบของโมดูเรียนรู้ง่ายที่ทำขึ้นแต่ละชั้น [17]DBN สามารถใช้การ generatively ก่อนฝึก DNN เป็นโดยเรียนรู้น้ำหนักเป็นน้ำหนักเริ่มต้น Backpropagation หรืออัลกอริทึมอื่น ๆ discriminative สามารถแล้วใช้การปรับจูนเพื่อของน้ำหนักเหล่านี้ นี้เป็นประโยชน์อย่างยิ่งในกรณีที่ฝึกอบรมจำกัดมีข้อมูล เป็นน้ำหนักเริ่มไม่ดีสามารถมีผลกระทบสำคัญต่อประสิทธิภาพของรุ่นสุดท้าย น้ำหนักเหล่านี้ก่อนฝึกอยู่ในบริเวณพื้นที่น้ำหนักที่ต้องการน้ำหนักที่เหมาะสมที่สุด (เมื่อเทียบกับการเริ่มต้นเพียงสุ่ม) นี้ช่วยให้ความสามารถในการปรับปรุงโมเดลและบรรจบกันที่รวดเร็วของขั้นตอนการปรับ [85]DBN สามารถถูกฝึกในการลักษณะ unsupervised ชั้นโดยชั้นที่ชั้นโดยทั่วไปจะจำกัดตัวโบลทซ์มานน์เครื่อง (RBM) ได้อย่างมีประสิทธิภาพ คำอธิบายของ DBN RBMs ผ่านการฝึกอบรมไว้ด้านล่าง RBM การแบบ undirected, generative ใช้พลังงานจำลองเข้าชั้นและชั้นเดียวซ่อนอยู่ เชื่อมต่ออยู่เพียงระหว่างหน่วยเห็นชั้นอินพุตชั้นซ่อน หน่วยซ่อน มีการเชื่อม หรือซ่อนซ่อนอยู่มองเห็นมองเห็นได้วิธีการฝึกอบรมสำหรับ RBMs ถูกเสนอครั้งแรก โดย Hinton นี่ใช้ "ผลิตภัณฑ์ของผู้เชี่ยวชาญ" รูปแบบการฝึกอบรม และเป็นที่รู้จักกันเป็น contrastive divergence (ซีดี) [86] ซีดีช่วยให้การประมาณวิธีความเป็นไปได้สูงสุดที่จะใช้ห้องเรียนรู้น้ำหนักของ RBM

ผลลัพธ์ (ไทย) 2:

เครือข่ายความเชื่อลึก (DBN) เป็นความน่าจะเป็นรูปแบบการกำเนิดขึ้นของหลายชั้นของหน่วยที่ซ่อน มันสามารถมองที่เป็นองค์ประกอบของโมดูลการเรียนรู้ง่ายที่ทำขึ้นชั้นแต่ละ. [17] DBN สามารถใช้สำหรับการ generatively ก่อนการฝึกอบรม DNN โดยใช้น้ำหนักที่ได้เรียนรู้ในขณะที่น้ำหนักเริ่มต้น backpropagation หรือขั้นตอนวิธีการจำแนกอื่น ๆ นั้นจะสามารถนำมาใช้สำหรับการปรับจูนของน้ำหนักเหล่านี้ นี้จะเป็นประโยชน์โดยเฉพาะอย่างยิ่งในสถานการณ์ที่ข้อมูลการฝึกอบรม จำกัด สามารถใช้ได้เช่นน้ำหนักเริ่มต้นได้ไม่ดีจะมีผลกระทบอย่างมีนัยสำคัญต่อประสิทธิภาพการทำงานของรูปแบบสุดท้าย เหล่านี้น้ำหนักก่อนการฝึกอบรมอยู่ในพื้นที่ภาคเหนือของน้ำหนักที่อยู่ใกล้กับน้ำหนักที่ดีที่สุด (เมื่อเทียบกับการเริ่มต้นเพียงแค่สุ่ม) นี้จะช่วยให้ทั้งความสามารถในการสร้างแบบจำลองที่ดีขึ้นและเร็วขึ้นการบรรจบกันของขั้นตอนการปรับจูน. [85] DBN สามารถผ่านการฝึกอบรมอย่างมีประสิทธิภาพใกล้ชิดในลักษณะชั้นโดยชั้นที่ชั้นโดยทั่วไปจะทำเครื่อง Boltzmann จำกัด (RBM) รายละเอียดของการฝึกอบรม DBN ผ่าน RBMs ให้บริการดังต่อไปนี้ RBM เป็น undirected รูปแบบพลังงานที่ใช้กำเนิดที่มีการป้อนข้อมูลชั้นและชั้นเดียวซ่อน การเชื่อมต่อเพียง แต่อยู่ระหว่างหน่วยงานที่มองเห็นของชั้นเข้าและหน่วยที่ซ่อนอยู่ในชั้นที่ซ่อนอยู่; ไม่มีการเชื่อมต่อที่มองเห็นได้มองเห็นหรือซ่อนซ่อน. วิธีการฝึกอบรมสำหรับ RBMs ถูกเสนอครั้งแรกโดยเจฟฟรีย์ฮินตันสำหรับการใช้งานด้วยการฝึกอบรม "ผลิตภัณฑ์ของผู้เชี่ยวชาญ" รูปแบบและเป็นที่รู้จักกันแตกต่างเปรียบต่าง (CD). [86] ซีดีมีประมาณ กับวิธีโอกาสสูงสุดที่จะนึกคิดนำมาใช้สำหรับการเรียนรู้น้ำหนักของ RBM

ผลลัพธ์ (ไทย) 3:

เครือข่ายความเชื่อลึก ( dbn ) คือ การเข้าทำของ รูปแบบของหน่วยซ่อนอยู่หลายชั้น มันสามารถมองที่เป็นองค์ประกอบของการเรียนรู้ง่ายโมดูลที่สร้างแต่ละชั้น [ 17 ]

dbn สามารถใช้ generatively ก่อนการฝึกอบรม dnn โดยใช้เรียนรู้น้ำหนักเป็นน้ำหนักเริ่มต้นหรืออัลกอริทึมแบบค่าอื่นๆ แล้วสามารถนำไปปรับน้ำหนักเหล่านี้ นี้จะเป็นประโยชน์โดยเฉพาะอย่างยิ่งในสถานการณ์ที่ข้อมูลการฝึกอบรม จำกัด สามารถใช้ได้ เช่น งานเริ่มต้น น้ำหนักสามารถมีผลกระทบอย่างมากต่อประสิทธิภาพของรุ่นสุดท้ายเหล่านี้ก่อนการฝึกอบรมน้ำหนักเป็นในบริเวณของน้ำหนักพื้นที่ที่ใกล้ชิดกับน้ำหนักที่เหมาะสม ( เมื่อเทียบกับเพียงแค่การเริ่มต้น ) นี้จะช่วยให้ทั้งเพื่อปรับปรุงความสามารถและการลู่เข้าแบบรวดเร็วของปรับเฟส [ 85 ]

dbn สามารถฝึกได้อย่างมีประสิทธิภาพในการโดยขาดการควบคุมชั้นโดยชั้นอย่างที่ชั้นมักจะทำให้ Boltzmann เครื่องจักรจำกัด ( RBM ) รายละเอียดของการฝึกอบรม dbn ผ่าน rbms มีให้ด้านล่าง เป็น RBM เป็น undirected กำเนิดพลังงาน , หลักแบบมีชั้นข้อมูลเดียวและซ่อนเลเยอร์ เชื่อมต่ออยู่ระหว่างหน่วยของการมองเห็นชั้นและซ่อนหน่วยของชั้นซ่อน ;ไม่มีที่มองเห็นได้หรือการเชื่อมต่อที่ซ่อนที่ซ่อนอยู่

วิธีการฝึกอบรม rbms ตอนแรกที่เสนอโดยเจฟฟรีย์ ฮินตัน เพื่อใช้ฝึก " ผลิตภัณฑ์แบบผู้เชี่ยวชาญ " และเป็นที่รู้จักกันเป็นเปรียบเทียบความแตกต่าง ( CD ) [ 86 ] ซีดีมีประมาณถึงความเป็นไปได้สูงสุดวิธีนึกคิดใช้เรียนหนักของ RBM .