Recall: Regular Neural Nets. As we

Recall: Regular Neural Nets. As we saw in the previous chapter, Neural Networks receive an input (a single vector), and transform it through a series of hidden layers. Each hidden layer is made up of a set of neurons, where each neuron is fully connected to all neurons in the previous layer, and where neurons in a single layer function completely independently and do not share any connections. The last fully-connected layer is called the "output layer" and in classification settings it represents the class scores.

Regular Neural Nets don't scale well to full images. In CIFAR-10, images are only of size 32x32x3 (32 wide, 32 high, 3 color channels), so a single fully-connected neuron in a first hidden layer of a regular Neural Network would have 32*32*3 = 3072 weights. This amount still seems manageable, but clearly this fully-connected structure does not scale to larger images. For example, an image of more respectible size, e.g. 200x200x3, would lead to neurons that have 200*200*3 = 120,000 weights. Moreover, we would almost certainly want to have several such neurons, so the parameters would add up quickly! Clearly, this full connectivity is wasteful and the huge number of parameters would quickly lead to overfitting.

ผลลัพธ์ (ไทย) 1:

เรียกคืน: ปกติประสาทมุ้ง เราเห็นในบทก่อนหน้านี้ เครือข่ายประสาทรับอินพุต (เวกเตอร์เดียว), และแปลงผ่านชุดของเลเยอร์ที่ถูกซ่อน แต่ละชั้นซ่อนถูกสร้างขึ้นจากชุดของ neurons เซลล์ประสาทแต่ละอย่างเชื่อมต่อ neurons ทั้งหมดในชั้นก่อนหน้านี้ และชั้นฟังก์ชันสมบูรณ์อิสระ neurons ในครั้งเดียว และใช้ร่วมกันการเชื่อมต่อใด ๆ ชั้นเชื่อมต่ออย่างเต็มที่ล่าสุดเรียกว่า "ผลผลิตชั้น" และในการตั้งค่าการจัดประเภท แสดงระดับคะแนนตาข่ายประสาทปกติไม่มาตราส่วนดีเป็นภาพเต็ม ใน CIFAR-10 ภาพมีเฉพาะขนาด 32 x 32 x 3 (กว้าง 32 นิ้ว สูง 32, 3 ช่องสี) ดังนั้นที่เดียวครบครันเชื่อมต่อ เซลล์ประสาทในชั้นซ่อนแรกของเครือข่ายประสาทปกติจะมี 32 * 32 * 3 = 3072 น้ำหนัก ยอดเงินนี้ยังดูเหมือนว่าสามารถจัดการได้ง่าย แต่ชัดเจนเชื่อมต่ออย่างเต็มที่โครงสร้างไม่ปรับขนาดรูปใหญ่ ตัวอย่าง ภาพขนาด respectible ขึ้น เช่น 200 x 200 x 3 จะนำไปสู่ neurons ที่ 200 * 200 * 3 = 120000 รายทั้งนี้มีน้ำหนัก นอกจากนี้ เราจะเกือบแน่นอนต้องมี neurons ดังกล่าวหลาย พารามิเตอร์จะเพิ่มขึ้นอย่างรวดเร็ว ชัดเจน การเชื่อมต่อเต็มรูปแบบนี้คือ wasteful และจำนวนมากของพารามิเตอร์จะทำให้ overfitting อย่างรวดเร็ว

ผลลัพธ์ (ไทย) 2:

จำ: ตาข่ายประสาทปกติ ขณะที่เราเห็นในบทก่อนหน้านี้เครือข่ายประสาทได้รับอินพุท (เวกเตอร์เดียว) และแปลงมันผ่านชุดของชั้นที่ซ่อนอยู่ แต่ละชั้นที่ซ่อนถูกสร้างขึ้นจากชุดของเซลล์ประสาทที่แต่ละเซลล์ประสาทเป็นอย่างที่เชื่อมต่อกับเซลล์ประสาทในชั้นก่อนหน้านี้และการที่เซลล์ประสาทในฟังก์ชั่นชั้นเดียวเป็นอิสระอย่างสมบูรณ์และไม่ได้ร่วมการเชื่อมต่อใด ๆ ชั้นสุดท้ายเชื่อมต่ออย่างเต็มที่เรียกว่า "ชั้นเอาท์พุท" และในการตั้งค่าการจัดหมวดหมู่มันหมายถึงคะแนนระดับ. ปกติตาข่ายประสาทไม่ดีขนาดภาพเต็ม ใน CIFAR-10 ภาพเป็นเพียงขนาด 32x32x3 (32 กว้าง 32 สูง 3 ช่องสี) เพื่อให้เซลล์ประสาทอย่างเต็มที่ที่เชื่อมต่อเดียวในชั้นซ่อนแรกของโครงข่ายประสาทเทียมปกติจะมี 32 * 32 * 3 = 3072 น้ำหนัก . เงินจำนวนนี้ยังดูเหมือนว่าจัดการได้ แต่เห็นได้ชัดว่าโครงสร้างที่เชื่อมต่ออย่างเต็มที่ไม่ได้ระดับกับภาพที่มีขนาดใหญ่ ยกตัวอย่างเช่นภาพของขนาด respectible มากขึ้นเช่น 200x200x3 จะนำไปสู่เซลล์ประสาทที่มี 200 * 200 * 3 = 120,000 น้ำหนัก นอกจากนี้เราเกือบจะแน่นอนจะต้องการที่จะมีเซลล์ประสาทหลายอย่างเช่นดังนั้นพารามิเตอร์ที่จะเพิ่มขึ้นอย่างรวดเร็ว! ชัดเจนนี้การเชื่อมต่อเต็มรูปแบบสิ้นเปลืองและจำนวนมากของพารามิเตอร์ได้อย่างรวดเร็วจะนำไปสู่ ​​overfitting

ผลลัพธ์ (ไทย) 3:

เรียกคืน : มุ้งประสาทปกติ อย่างที่เราเห็นในบทเรียนก่อนหน้านี้ โครงข่ายประสาทรับ input ( แบบเดี่ยว ) และแปลงมันผ่านชุดของชั้นซ่อน แต่ละชั้นซ่อนถูกสร้างขึ้นจากชุดของแต่ละเซลล์ประสาทเซลล์ประสาทที่เชื่อมต่ออย่างเต็มที่เซลล์ประสาทในชั้นก่อนหน้า และเซลล์ประสาทชั้นเดียวฟังก์ชันทั้งหมดที่เป็นอิสระและไม่แลกเปลี่ยนใด ๆการเชื่อมต่อสุดท้ายเชื่อมต่อเต็มชั้นเรียกว่า " ชั้นออก " และในการตั้งค่าการจำแนกเป็นระดับคะแนน

ปกติตาข่ายประสาทไม่มาตราส่วนดีเต็มภาพ ใน cifar-10 ภาพมีขนาด 32x32x3 ( 32 กว้าง 32 สูง 3 ช่องสี ) เพื่อเชื่อมต่อเซลล์ประสาทเดียวครบ ในแบบแรกอยู่ชั้นปกติ เครือข่ายประสาท จะได้ 32 * 32 * 3 = 1 รวมเงินจำนวนนี้ยังดูเหมือนว่าง่าย แต่ชัดเจนนี้อย่างเต็มที่การเชื่อมต่อโครงสร้างไม่ปรับภาพให้มีขนาดใหญ่ ตัวอย่างเช่น ภาพ respectible ขนาดมากขึ้น เช่น 200x200x3 จะทำให้เซลล์ประสาทที่ 200 * 200 * 3 = 120 , 000 รวม นอกจากนี้ เราเกือบจะแน่นอนต้องการที่จะมีหลายเช่นเซลล์ประสาท ดังนั้นพารามิเตอร์จะเพิ่มขึ้นอย่างรวดเร็ว อย่างชัดเจนการเชื่อมต่อเต็มรูปแบบนี้ เป็นการสิ้นเปลืองและจำนวนมากของพารามิเตอร์ได้อย่างรวดเร็วจะทำให้ overfitting .