Backpropagation. The backward pass

Backpropagation. The backward pass for a convolution opteration (for both the data and the weights) is also a convolution (but with spatially-flipped filters). This is easy to derive in the 1-dimensional case with a toy example (not expanded on for now).


Pooling Layer

It is common to periodically insert a Pooling layer in-between successive Conv layers in a ConvNet architecture. Its function is to progressively reduce the spatial size of the representation to reduce the amount of parameters and computation in the network, and hence to also control overfitting. The Pooling Layer operates independently on every depth slice of the input and resizes it spatially, using the MAX operation. The most common form is a pooling layer with filters of size 2x2 applied with a stride of 2 downsamples every depth slice in the input by 2 along both width and height, discarding 75% of the activations. Every MAX operation would in this case be taking a max over 4 numbers (little 2x2 region in some depth slice). The depth dimension remains unchanged. More generally, the pooling layer:

Accepts a volume of size W1×H1×D1
Requires three hyperparameters:
their spatial extent F,
the stride S,
Produces a volume of size W2×H2×D2 where:
W2=(W1−F)/S+1
H2=(H1−F)/S+1
D2=D1
Introduces zero parameters since it computes a fixed function of the input
Note that it is not common to use zero-padding for Pooling layers
It is worth noting that there are only two commonly seen variations of the max pooling layer found in practice: A pooling layer with F=3,S=2 (also called overlapping pooling), and more commonly F=2,S=2. Pooling sizes with larger receptive fields are too destructive.

General pooling. In addition to max pooling, the pooling units can also perform other functions, such as average pooling or even L2-norm pooling. Average pooling was often used historically but has recently fallen out of favor compared to the max pooling operation, which has been shown to work better in practice.

ผลลัพธ์ (ไทย) 1:

Backpropagation Pass opteration convolution (สำหรับข้อมูลและน้ำหนัก) ย้อนหลังเป็น convolution (แต่กับพลิก spatially) นี้จะต้องได้รับในกรณี 1 มิติ มีตัวอย่างของเล่น (ไม่ขยายในตอนนี้)ร่วมชั้นมันเป็นเรื่องธรรมดาที่การแทรกการ Pooling ชั้นระหว่างต่อ Conv ชั้นในสถาปัตยกรรม ConvNet เป็นระยะ ๆ หน้าที่คือการ ลดขนาดพื้นที่การแสดงเพื่อลดจำนวนของพารามิเตอร์และคำนวณในเครือข่าย ความก้าวหน้า และดังนั้นการควบคุม overfitting ชั้นร่วมกันทำงานอย่างอิสระในทุกเสี้ยวความลึกของข้อมูลป้อนเข้า และขนาด spatially ใช้การดำเนินการสูงสุด แบบทั่วไปเป็นชั้นการทำพูลเก็บตัวกรองขนาด 2 x 2 ใช้กับก้าวของ 2 downsamples ชิ้นทุกความลึกในการป้อนข้อมูล 2 ความกว้างและความสูง ละทิ้ง 75% ของการเปิดใช้งาน การดำเนินงานสูงสุดทุกจะในกรณีนี้ด้วยจำนวนกว่า 4 สูงสุด (2 x 2 ภูมิภาคน้อยในบางเสี้ยวความลึก) มิติความลึกยังคงไม่เปลี่ยนแปลง เพิ่มเติมโดยทั่วไป การทำพูลเก็บชั้น:ยอมรับปริมาณของขนาด W1 ×× H1 ง 1ต้อง hyperparameters ที่สาม:ขอบเขตพื้นที่ของพวกเขา Fตอนค่ำ Sสร้างไดรฟ์ข้อมูลขนาด W2 × H2 × D2 ที่:W2 = (W1−F) / S + 1H2 = (H1−F) / S + 1D2 =ง 1แนะนำศูนย์พารามิเตอร์เนื่องจากจะคำนวณฟังก์ชันคงที่ของการป้อนข้อมูลโปรดสังเกตว่า ไม่ทั่วไปจะใช้ระยะห่างศูนย์ร่วมชั้นก็เร็ว ๆ นี้ว่า มีเพียงสองรูปแบบโดยทั่วไปเห็นของร่วมชั้นที่พบในทางปฏิบัติสูงสุด: ชั้นทำพูลเก็บ F = 3, S = 2 (เรียกว่าทับซ้อนร่วมกัน), และมากกว่าปกติ F = 2, S = 2 ขนาดทำพูลเก็บกับเขตข้อมูลครอบครัวใหญ่เกินไปทำลายได้ทั่วไปที่ร่วมกัน นอกจากร่วมกันสูงสุด หน่วยทำพูลเก็บยังสามารถทำงานอื่น ๆ เช่นร่วมกันเฉลี่ยหรือแม้ปกติ L2 ร่วม ร่วมกันเฉลี่ยมักใช้อดีต แต่เพิ่งตกตกกระป๋องไปสูงสุดที่ร่วมงาน ซึ่งจะทำงานได้ดีในทางปฏิบัติ

ผลลัพธ์ (ไทย) 2:

backpropagation ผ่านย้อนหลังสำหรับ opteration บิด (ทั้งข้อมูลและน้ำหนัก) นอกจากนี้ยังเป็นบิด (แต่ที่มีตัวกรองตำแหน่ง-พลิก) นี้เป็นเรื่องง่ายที่จะได้รับในกรณีที่ 1 มิติด้วยตัวอย่างของเล่น (ไม่ขยายตัวในตอนนี้). รวมกำไรชั้นมันเป็นเรื่องธรรมดาที่จะแทรกเป็นระยะ ๆ ชั้นรวมกำไรในระหว่างชั้น Conv ​​เนื่องในงานสถาปัตยกรรม ConvNet ฟังก์ชั่นของมันคือการมีความก้าวหน้าลดขนาดของการเป็นตัวแทนเชิงพื้นที่ในการลดปริมาณของพารามิเตอร์และการคำนวณในเครือข่ายและด้วยเหตุนี้จะยังควบคุมอิง รวมกำไรชั้นทำงานเป็นอิสระในทุกชิ้นความลึกของการป้อนข้อมูลและปรับขนาดมันตำแหน่งโดยใช้การดำเนินการ MAX รูปแบบที่พบมากที่สุดคือชั้นร่วมกันกับตัวกรองของขนาด 2x2 นำไปใช้กับกางเกงของ 2 downsamples ทุกชิ้นเชิงลึกในการป้อนข้อมูล 2 พร้อมทั้งกว้างและความสูงทิ้ง 75% ของเปิดใช้งาน การดำเนินการทุก MAX จะในกรณีนี้จะมีการใช้สูงสุดกว่า 4 ตัวเลข (ภูมิภาค 2x2 ชิ้นเล็ก ๆ ในเชิงลึกบางส่วน) มิติความลึกยังคงไม่เปลี่ยนแปลง โดยทั่วไปชั้นร่วมกัน: การรับปริมาณของW1 ขนาด× H1 × D1 ต้องสาม hyperparameters: ขอบเขตพื้นที่ของพวกเขาเอฟก้าว S, ผลิตปริมาณของ W2 ขนาด× H2 × D2 ที่: W2 = (W1-F) / S + 1 H2 = (H1-F) / S + 1 D2 = D1 เปิดตัวพารามิเตอร์ศูนย์เพราะมันคำนวณฟังก์ชั่นการแก้ไขของท่านโปรดทราบว่ามันไม่ได้เป็นเรื่องธรรมดาที่จะใช้เป็นศูนย์ padding สำหรับชั้นการรวมเป็นมูลค่าnoting ว่ามี เพียงสองรูปแบบปกติเห็นร่วมกันของชั้นสูงสุดที่พบในการปฏิบัติ: ชั้นร่วมกันกับ F = 3, S = 2 (เรียกว่าร่วมกันที่ทับซ้อนกัน) และมากกว่าปกติ f = 2, S = 2 ขนาดการรวมกับเขตข้อมูลที่เปิดกว้างขนาดใหญ่เป็นอันตรายเกินไป. ร่วมกันทั่วไป นอกจากนี้ในการร่วมกันสูงสุดหน่วยร่วมกันนอกจากนี้ยังสามารถทำหน้าที่อื่น ๆ เช่นการร่วมกันเฉลี่ยหรือแม้กระทั่งร่วมกัน L2 บรรทัดฐาน ร่วมกันเฉลี่ยมักใช้ในอดีต แต่ได้ลดลงเมื่อเร็ว ๆ นี้ออกจากความโปรดปรานเมื่อเทียบกับการดำเนินงานร่วมกันสูงสุดซึ่งได้รับการแสดงที่จะทำงานได้ดีขึ้นในทางปฏิบัติ

ผลลัพธ์ (ไทย) 3:

แบบ . ถอยหลังผ่านไปสำหรับขด opteration ( ทั้งข้อมูลและน้ำหนัก ) เป็นขด ( แต่เปลี่ยนไปพลิกตัวกรอง ) มันเป็นเรื่องง่ายที่จะได้รับ ในกรณี 1-dimensional กับของเล่นตัวอย่าง ( ไม่ขยายนะ )




รวมเลเยอร์โดยทั่วไปเป็นระยะ ๆแทรกระหว่างชั้นในการต่อเนื่องใน convnet ลำเลียงชั้นสถาปัตยกรรมหน้าที่คือ ค่อยๆ ลดขนาดพื้นที่ของการแสดงเพื่อลดปริมาณของตัวแปรและการคำนวณในเครือข่าย และเพราะยังควบคุม overfitting . การรวมชั้นทำงานอิสระทุกชิ้นความลึกของข้อมูลและปรับขนาดได้เปลี่ยนไปใช้งานสูงสุดรูปแบบที่พบมากที่สุด คือ การมีชั้นกรองขนาด 2x2 ใช้กับกางเกง 2 downsamples ทุกชิ้นในความลึกใส่ 2 พร้อมทั้งความกว้างและความสูง ทิ้ง 75% ของกิจกรรม . การดำเนินงานทุกแมกซ์จะในกรณีนี้จะสูงสุดกว่า 4 ตัวเลข ( พื้นที่ 2x2 เล็ก ๆน้อย ๆในบางลึก ชิ้น ) ความลึกมิติยังคงไม่เปลี่ยนแปลง มากขึ้นโดยทั่วไป รวมเลเยอร์ :

ยอมรับปริมาณขนาด W1 ×× D1 H1
ต้องสาม hyperparameters :
เชิงพื้นที่ขอบเขต F ,
กางเกง S ,
ผลิตปริมาณขนาด W2 H2 ×× D2 ที่ :
( W1 W2 = − F ) S /
= ( − 1 H2 H1 F ) S /
5 = 1 D1
แนะนำศูนย์ค่าเพราะมันคำนวณตายตัว การทำงานของการป้อนข้อมูล
ทราบว่าไม่ธรรมดา เพื่อใช้สำหรับการศูนย์ช่องว่างภายในชั้น
เป็นมูลค่า noting ว่ามีเพียงสองปกติจะเห็นการเปลี่ยนแปลงของแม็กซ์ การพบในการฝึกชั้น : ชั้น F = 1 , S = 2 ( เรียกว่าทับซ้อนกันรวม ) และ F = 2 , S = 2 การส่งข้อมูลขนาดใหญ่ทำลาย

ทั่วไปร่วมกัน . นอกจากแม็กซ์ร่วมกัน , ร่วมกันหน่วยสามารถดำเนินการฟังก์ชั่นอื่น ๆเช่นมีการ หรือแม้แต่ L2 บรรทัดฐานร่วมกัน . เฉลี่ยการมักจะใช้ในอดีต แต่เมื่อเร็วๆ นี้ได้ลดลงจากความโปรดปรานเมื่อเทียบกับสูงสุดร่วมกัน การทำงานที่ได้รับการแสดงที่จะทำงานได้ดีขึ้นในการปฏิบัติ