Backpropagation. Recall from the ba

Backpropagation. Recall from the backpropagation chapter that the backward pass for a max(x, y) operation has a simple interpretation as only routing the gradient to the input that had the highest value in the forward pass. Hence, during the forward pass of a pooling layer it is common to keep track of the index of the max activation (sometimes also called the switches) so that gradient routing is efficient during backpropagation.

Recent developments.

Fractional Max-Pooling suggests a method for performing the pooling operation with filters smaller than 2x2. This is done by randomly generating pooling regions with a combination of 1x1, 1x2, 2x1 or 2x2 filters to tile the input activation map. The grids are generated randomly on each forward pass, and at test time the predictions can be averaged across several grids.
Striving for Simplicity: The All Convolutional Net proposes to discard the pooling layer in favor of architecture that only consists of repeated CONV layers. To reduce the size of the representation they suggest using larger stride in CONV layer once in a while.
Due to the aggressive reduction in the size of the representation (which is helpful only for smaller datasets to control overfitting), the trend in the literature is towards discarding the pooling layer in modern ConvNets.


Normalization Layer

Many types of normalization layers have been proposed for use in ConvNet architectures, sometimes with the intentions of implementing inhibition schemes observed in the biological brain. However, these layers have recently fallen out of favor because in practice their contribution has been shown to be minimal, if any. For various types of normalizations, see the discussion in Alex Krizhevsky's cuda-convnet library API.


Fully-connected layer

Neurons in a fully connected layer have full connections to all activations in the previous layer, as seen in regular Neural Networks. Their activations can hence be computed with a matrix multiplication followed by a bias offset. See the Neural Network section of the notes for more information.

ผลลัพธ์ (ไทย) 1:

Backpropagation เรียกคืนจากบท backpropagation ที่ ผ่านย้อนหลังสำหรับการดำเนินงานสูงสุด (x, y) ได้ตีความอย่างเป็นเฉพาะ สายไล่ระดับสีรับสัญญาณที่มีค่าสูงสุดในข้างหน้า ดังนั้น ในระหว่างการผ่านไปของชั้นทำพูลเก็บ ได้ทั่วไปสามารถติดตามจำนวนการเปิดใช้งานสูงสุด (บางครั้งเรียกว่าสวิทช์) เพื่อให้สายไล่ระดับสีจะมีประสิทธิภาพในช่วง backpropagationพัฒนาล่าสุดเศษสูงสุดร่วมกันแนะนำวิธีการสำหรับการดำเนินการทำพูลเก็บตัวกรองที่มีขนาดเล็กกว่า 2 x 2 นี้จะกระทำ โดยการสุ่มสร้างภูมิภาคทำพูลเก็บ ด้วย 1 x 1, 1 x 2, 2 x 1 หรือ 2 x 2 กรองกระเบื้องแผนที่เปิดใช้งานสำหรับการป้อนค่า กริดสร้างขึ้นแบบสุ่มในแต่ละด่านไปข้างหน้า และเวลาทดสอบ การคาดคะเนที่สามารถจะ averaged ข้ามหลายกริดมุ่งมั่นในความเรียบง่าย: เสนอทุก Convolutional สุทธิการละทิ้งชั้นการทำพูลเก็บสามารถสถาปัตยกรรมที่มีเฉพาะ ชั้น CONV ซ้ำ ลดขนาดของการแสดงพวกเขาด้วยการแนะนำใช้ก้าวใหญ่ในชั้น CONV ครั้งในขณะเนื่องจากลดก้าวร้าวในขนาดของตัวอย่าง (ซึ่งจะเป็นประโยชน์สำหรับ datasets ขนาดเล็กเพื่อควบคุม overfitting), แนวโน้มในวรรณคดีเป็นไปละทิ้งชั้นการทำพูลเก็บในสมัย ConvNetsชั้นฟื้นฟูชั้นฟื้นฟูหลายชนิดได้รับการเสนอชื่อสำหรับใช้ในสถาปัตยกรรม ConvNet บางครั้งด้วยความตั้งใจของการใช้แผนยับยั้งในสมองชีวภาพ อย่างไรก็ตาม ชั้นเหล่านี้ได้เพิ่งลดลงตกกระป๋องเนื่องจากในทางปฏิบัติ ได้มีการแสดงสัดส่วนของพวกเขาให้น้อยที่สุด ถ้ามีการ สำหรับชนิดต่าง ๆ ของ normalizations ดูการสนทนาในไลบรารี cuda convnet Alex Krizhevsky APIชั้นเชื่อมต่อครบครันNeurons ในชั้นเชื่อมต่อทั้งหมดได้เชื่อมต่อเต็มรูปแบบเพื่อเปิดใช้งานทั้งหมดในชั้นก่อนหน้านี้ ดังที่เห็นในเครือข่ายประสาทปกติ เปิดใช้งานของพวกเขาจึงถูกคำนวณ ด้วยการคูณเมตริกซ์ตามตรงข้ามตั้ง ดูเครือข่ายประสาทส่วนของหมายเหตุสำหรับข้อมูลเพิ่มเติม

ผลลัพธ์ (ไทย) 2:

backpropagation จำจากบท backpropagation ที่ผ่านย้อนหลังสูงสุด (x, y) การดำเนินงานที่มีความหมายง่ายๆเป็นเพียงการกำหนดเส้นทางการไล่ระดับสีเพื่อป้อนที่มีมูลค่าสูงที่สุดในไปข้างหน้าผ่าน ดังนั้นในช่วงที่ผ่านไปข้างหน้าของชั้นร่วมกันมันเป็นเรื่องธรรมดาที่จะติดตามดัชนีของการเปิดใช้งานสูงสุด (บางครั้งเรียกว่าสวิทช์) เพื่อให้เส้นทางการไล่ระดับสีที่มีประสิทธิภาพในช่วง backpropagation. การพัฒนาล่าสุด. Fractional Max-Pooling แสดงให้เห็นวิธีการสำหรับ การดำเนินการร่วมกันกับตัวกรองขนาดเล็กกว่า 2x2 นี้จะกระทำโดยการสุ่มสร้างภูมิภาคร่วมกันกับการรวมกันของ 1x1 เป็น 1x2, 2x1 หรือตัวกรอง 2x2 กระเบื้องแผนที่การเปิดใช้งานการป้อนข้อมูล กริดที่มีการสร้างแบบสุ่มในแต่ละข้างหน้าผ่านและในเวลาทดสอบการคาดการณ์ที่สามารถเฉลี่ยทั่วกริดหลาย. มุ่งมั่นที่เรียบง่ายสำหรับการ Convolutional สุทธิทั้งหมดเสนอที่จะทิ้งชั้นร่วมกันในความโปรดปรานของสถาปัตยกรรมที่มีเพียงประกอบด้วยซ้ำชั้น CONV เพื่อลดขนาดของการแสดงที่พวกเขาแนะนำให้ใช้กางเกงที่มีขนาดใหญ่ในชั้น CONV ครั้งในขณะที่. เนื่องจากการลดลงของความก้าวร้าวในขนาดของการเป็นตัวแทน (ซึ่งจะเป็นประโยชน์เฉพาะสำหรับชุดข้อมูลขนาดเล็กที่จะควบคุมอิง) แนวโน้มในวรรณคดีที่เป็น ที่มีต่อการทิ้งชั้นร่วมกันใน ConvNets ที่ทันสมัย. Normalization ชั้นหลายชนิดของชั้นฟื้นฟูได้รับการเสนอสำหรับการใช้งานในสถาปัตยกรรมConvNet บางครั้งก็มีความตั้งใจในการดำเนินการรูปแบบการยับยั้งที่สังเกตในสมองของทางชีวภาพ แต่ชั้นเหล่านี้ได้ลดลงเมื่อเร็ว ๆ นี้ออกจากความโปรดปรานในทางปฏิบัติเพราะผลงานของพวกเขาได้รับการแสดงที่จะมีเพียงเล็กน้อยถ้ามี หลากหลายชนิด normalizations, ดูการอภิปรายในอเล็กซ์ Krizhevsky ของ CUDA-convnet API ห้องสมุด. เชื่อมต่อครบชั้นเซลล์ประสาทในชั้นที่เชื่อมต่อได้อย่างเต็มที่มีการเชื่อมต่อเต็มรูปแบบเพื่อเปิดใช้งานทั้งหมดในชั้นก่อนหน้านี้เท่าที่เห็นในโครงข่ายประสาทปกติ การเปิดใช้งานของพวกเขาจึงสามารถคำนวณได้ด้วยการคูณเมทริกซ์ตามด้วยอคติชดเชย ดูส่วนโครงข่ายประสาทเทียมของบันทึกสำหรับข้อมูลเพิ่มเติม

ผลลัพธ์ (ไทย) 3:

แบบ . จำได้จากบทแบบที่ถอยหลังผ่านไปสำหรับแม็กซ์ ( x , y ) การดำเนินการมีการตีความง่ายๆเป็นเพียงการไล่ระดับสีในการป้อนข้อมูลที่มีคุณค่าสูงสุดในการส่งผ่านไปข้างหน้า ดังนั้นในระหว่างการส่งต่อของชั้นมันเป็นปกติติดตามดัชนีเปิดใช้งานสูงสุด ( บางครั้งเรียกว่าสวิตช์ ) เพื่อให้มีประสิทธิภาพในการจัดเส้นทางแบบ

พัฒนาการ

ส่วนแมกซ์ การแนะนำวิธีการในการปฏิบัติงานร่วมกันกับระบบกรองมีขนาดเล็กกว่า 2 .นี้จะกระทำโดยการสุ่มสร้างภูมิภาคด้วยการรวมกันของ 1x1 1x2 2x1 , 2x2 , หรือตัวกรองข้อมูลการเปิดใช้งานแผ่นแผนที่ กริดจะถูกสร้างขึ้นแบบสุ่มในแต่ละก้าวผ่าน และในการทดสอบเวลาที่คาดคะเนสามารถเฉลี่ยในกริดหลาย .
ความเรียบง่าย : มุ่งมั่นเพื่อทั้งหมดขดสุทธิเสนอทิ้งรวมเลเยอร์ในความโปรดปรานของสถาปัตยกรรมที่ประกอบด้วยชั้น CONV ที่ซ้ำ เพื่อลดขนาดของการแสดงที่พวกเขาแนะนำให้ใช้กางเกงขนาดใหญ่ในชั้น CONV ครั้งในขณะที่ .
เนื่องจากการลดลงอย่างรวดเร็วในขนาดของการเป็นตัวแทน ( ซึ่งจะเป็นประโยชน์สำหรับข้อมูลขนาดเล็ก เพื่อควบคุม overfitting )แนวโน้มในวรรณกรรมทาง ทิ้งการในชั้น convnets สมัยใหม่ .




ปกติชั้นหลายประเภทบรรทัดฐานชั้นได้รับการเสนอเพื่อใช้ในสถาปัตยกรรม convnet บางครั้งกับความตั้งใจของการใช้รูปแบบการตรวจสอบสมองในทางชีวภาพ อย่างไรก็ตามชั้นเหล่านี้ได้ลดลงเมื่อเร็ว ๆ นี้ออกมานะ เพราะในการปฏิบัติงานของพวกเขาได้ถูกแสดงให้น้อยที่สุด ถ้าใด ๆ สำหรับประเภทต่างๆของ normalizations ดูการอภิปรายของ อเล็กซ์ krizhevsky CUDA convnet ห้องสมุด API


พร้อมเชื่อมต่อชั้น

เซลล์ประสาทในชั้นมีการเชื่อมต่อเชื่อมต่ออย่างเต็มที่เต็มทุกกิจกรรมในชั้นก่อนหน้า ตามที่เห็นในโครงข่ายประสาทปกติกิจกรรมของพวกเขาสามารถดังนั้นสามารถคำนวณโดยการคูณเมทริกซ์ ตามด้วยการตั้งค่าชดเชย ดูเครือข่ายประสาทในส่วนของหมายเหตุสำหรับข้อมูลเพิ่มเติม