Layers used to build ConvNetsAs we

Layers used to build ConvNets

As we described above, every layer of a ConvNet transforms one volume of activations to another through a differentiable function. We use three main types of layers to build ConvNet architectures: Convolutional Layer, Pooling Layer, and Fully-Connected Layer (exactly as seen in regular Neural Networks). We will stack these layers to form a full ConvNet architecture.

Example Architecture: Overview. We will go into more details below, but a simple ConvNet for CIFAR-10 classification could have the architecture [INPUT - CONV - RELU - POOL - FC]. In more detail:

INPUT [32x32x3] will hold the raw pixel values of the image, in this case an image of width 32, height 32, and with three color channels R,G,B.
CONV layer will compute the output of neurons that are connected to local regions in the input, each computing a dot product between their weights and the region they are connected to in the input volume. This may result in volume such as [32x32x12].
RELU layer will apply an elementwise activation function, such as the max(0,x) thresholding at zero. This leaves the size of the volume unchanged ([32x32x12]).
POOL layer will perform a downsampling operation along the spatial dimensions (width, height), resulting in volume such as [16x16x12].
FC (i.e. fully-connected) layer will compute the class scores, resulting in volume of size [1x1x10], where each of the 10 numbers correspond to a class score, such as among the 10 categories of CIFAR-10. As with ordinary Neural Networks and as the name implies, each neuron in this layer will be connected to all the numbers in the previous volume.

ผลลัพธ์ (ไทย) 1:

ชั้นที่ใช้ในการสร้าง ConvNetsตามที่เราอธิบายไว้ข้างต้น ทุกชั้นของ ConvNet การแปลงเปิดใช้งานผ่านฟังก์ชัน differentiable อีกระดับหนึ่ง เราใช้สามชนิดหลักของเลเยอร์การสร้างสถาปัตยกรรม ConvNet: ชั้น Convolutional ร่วมชั้น และ ชั้น Fully-Connected (ตรงกับเครือข่ายประสาทปกติ) เราจะกองซ้อนชั้นเหล่านี้ในรูปแบบสถาปัตยกรรมแบบ ConvNet เต็มสถาปัตยกรรมตัวอย่าง: ภาพรวม เราจะไปลงรายละเอียดเพิ่มเติมด้านล่าง แต่ ConvNet เรื่องการจัด CIFAR-10 มีสถาปัตยกรรม [ป้อน - CONV - RELU -พู - FC] รายละเอียด:ป้อนข้อมูล [32 x 32 x 3] จะเก็บค่าดิบพิกเซลของภาพ ในกรณีนี้ รูป ของ 32 สูง 32 กว้าง และ มีสีที่สามช่อง B. R, Gชั้น CONV จะคำนวณผลลัพธ์ของ neurons ที่เชื่อมต่อไปยังภูมิภาคท้องถิ่นในการป้อนข้อมูล แต่ละผลิตภัณฑ์จุดระหว่างน้ำหนักและภูมิภาคที่พวกเขาเชื่อมต่อกับปริมาณการเข้าใช้งาน นี้อาจส่งผลปริมาณเช่น [32 x 32 x 12]ชั้น RELU จะใช้ฟังก์ชันการเรียกใช้ elementwise เช่น thresholding max(0,x) ที่ศูนย์ ใบนี้ขนาดของไดรฟ์ข้อมูลที่เปลี่ยนแปลง ([32 x 32 x 12])สระว่ายน้ำชั้นจะดำเนิน downsampling ตามมิติปริภูมิ (ความกว้าง ความสูง), ในปริมาตรเช่น [16 x 16 x 12]ชั้น FC (เช่นครบครันเชื่อมต่อ) จะคำนวณระดับคะแนน ในปริมาณขนาด [1 x 1 x 10], ซึ่งแต่ละหมายเลข 10 ตรงกับระดับคะแนน เช่นระหว่างประเภท 10 CIFAR-10 เช่นเดียว กับเครือ ข่ายประสาททั่วไป และความหมายของชื่อ แต่ละเซลล์ประสาทในชั้นนี้จะเชื่อมต่อกับตัวเลขทั้งหมดในเล่มก่อนหน้า

ผลลัพธ์ (ไทย) 2:

ชั้นใช้ในการสร้าง ConvNets ในฐานะที่เราอธิบายไว้ข้างต้นชั้นของ ConvNet ทุกแปลงปริมาณหนึ่งในการเปิดใช้งานไปยังอีกผ่านฟังก์ชั่นอนุพันธ์ เราใช้สามประเภทหลักของชั้นที่จะสร้างสถาปัตยกรรม ConvNet: Convolutional ชั้นชั้นรวมกำไรและชั้นพร้อมที่เกี่ยวโยงกัน (ตรงตามที่เห็นในโครงข่ายประสาทปกติ) เราจะสแต็คชั้นเหล่านี้ในรูปแบบสถาปัตยกรรม ConvNet เต็มรูปแบบ. ตัวอย่างสถาปัตยกรรม: ภาพรวม เราจะไปลงรายละเอียดเพิ่มเติมด้านล่าง แต่ ConvNet ง่ายสำหรับการจัดหมวดหมู่ CIFAR-10 อาจมีสถาปัตยกรรม [INPUT - CONV - Relu - สระว่ายน้ำ - เอฟซี] ในรายละเอียดเพิ่มเติมได้ที่: INPUT [32x32x3] จะเก็บค่าพิกเซลดิบของภาพในกรณีนี้ภาพที่มีความกว้าง 32 สูง 32 และมีสามช่องทางสี R, G, B. ชั้น CONV จะคำนวณการส่งออกของเซลล์ประสาทที่ มีการเชื่อมต่อไปยังภูมิภาคท้องถิ่นในการป้อนข้อมูลแต่ละผลิตภัณฑ์คอมพิวเตอร์จุดระหว่างน้ำหนักของพวกเขาและภูมิภาคที่พวกเขาจะเชื่อมต่อกับปริมาณการป้อนข้อมูล ซึ่งอาจส่งผลในปริมาณเช่น [32x32x12]. ชั้น Relu จะใช้ฟังก์ชั่นการเปิดใช้งาน elementwise เช่น max (0, x) thresholding ที่ศูนย์ ซึ่งจะทำให้ขนาดของปริมาณไม่เปลี่ยนแปลง ([32x32x12]). ชั้นสระว่ายน้ำจะทำการดำเนินการลดขนาดตามมิติเชิงพื้นที่ (ความกว้างความสูง) ส่งผลให้ปริมาณเช่น [16x16x12]. เอฟซี (เช่นอย่างเต็มที่ที่เชื่อมต่อ) ชั้นจะคำนวณ ระดับคะแนนส่งผลให้ปริมาณการขนาด [1x1x10] ที่แต่ละแห่งที่ 10 หมายเลขตรงกับระดับคะแนนเช่นในหมู่ 10 หมวดหมู่ของ CIFAR-10 เช่นเดียวกับโครงข่ายประสาทสามัญและเป็นชื่อที่แสดงถึงเซลล์ประสาทในชั้นนี้แต่ละคนจะต้องเชื่อมต่อกับตัวเลขทั้งหมดในปริมาณที่ก่อนหน้านี้

ผลลัพธ์ (ไทย) 3:

ชั้นใช้ในการสร้าง convnets

อย่างที่เราอธิบายไว้ข้างต้นทุกชั้นของ convnet แปลงหนึ่งปริมาณของกิจกรรมอื่นผ่านฟังก์ชัน Differentiable . เราใช้สามประเภทหลักของชั้นเพื่อสร้างสถาปัตยกรรม convnet : คอนชั้นรวมชั้น และพร้อมเชื่อมต่อชั้น ( ตามที่เห็นในโครงข่ายประสาทเทียมปกติ ) เราจะเรียงชั้นเหล่านี้ในรูปแบบสถาปัตยกรรม convnet เต็ม

ตัวอย่างสถาปัตยกรรม : ภาพรวม เราจะเข้าไปในรายละเอียดเพิ่มเติมด้านล่าง แต่ convnet ง่ายในการจำแนก cifar-10 อาจมีสถาปัตยกรรม [ ใส่ - ลำเลียง - relu - สระ - เอฟซี ] รายละเอียดเพิ่มเติม :

ใส่ [ 32x32x3 ] จะเก็บค่าดิบ พิกเซลของภาพ ในกรณีนี้ภาพความกว้างและความสูง 32 , 32 , 3 ช่องสี R , G , B .
ชั้นลำเลียงจะคำนวณผลผลิตประสาทที่เชื่อมต่อกับภูมิภาคท้องถิ่นในการใช้ผลิตภัณฑ์แต่ละจุดระหว่างน้ำหนักและภูมิภาค พวกเขาจะเชื่อมต่อกับในการป้อนข้อมูลปริมาณ นี้อาจส่งผลให้ปริมาณ เช่น [ 32x32x12 ] .
ชั้น relu จะใช้ elementwise เปิดใช้งานฟังก์ชันเช่น max ( 0 , x ) ปรับที่ศูนย์ใบนี้ขนาดของปริมาณไม่เปลี่ยนแปลง ( [ 32x32x12 ] )
ชั้นสระว่ายน้ำจะทำการดาวน์แซมปลิ้งปฏิบัติการตามมิติขนาด ( ความสูงความกว้าง ) ส่งผลให้ปริมาณ เช่น [ 16x16x12 ] .
FC ( เช่นเชื่อมต่ออย่างเต็มที่ ) ชั้นจะคำนวณระดับคะแนน ส่งผลให้ปริมาณขนาด [ 1x1x10 ] ที่แต่ละ 10 ตัวเลขที่สอดคล้องกับระดับคะแนน เช่น ใน 10 ประเภทของ cifar-10 .เป็นโครงข่ายประสาทเทียมแบบธรรมดา และเป็นชื่อนัย , แต่ละเซลล์ในชั้นนี้จะเชื่อมต่อกับตัวเลขทั้งหมดในเล่มก่อนหน้า