- ข้อความ
- ประวัติศาสตร์
OverviewA Convolutional Neural Netw
Overview
A Convolutional Neural Network (CNN) is comprised of one or more convolutional layers (often with a subsampling step) and then followed by one or more fully connected layers as in a standard multilayer neural network. The architecture of a CNN is designed to take advantage of the 2D structure of an input image (or other 2D input such as a speech signal). This is achieved with local connections and tied weights followed by some form of pooling which results in translation invariant features. Another benefit of CNNs is that they are easier to train and have many fewer parameters than fully connected networks with the same number of hidden units. In this article we will discuss the architecture of a CNN and the back propagation algorithm to compute the gradient with respect to the parameters of the model in order to use gradient based optimization. See the respective tutorials on convolution andpooling for more details on those specific operations.
Architecture
Convolutional Neural Networks (CNNs / ConvNets)
Convolutional Neural Networks are very similar to ordinary Neural Networks from the previous chapter: They are made up of neurons that have learnable weights and biases. Each neuron receives some inputs, performs a dot product and optionally follows it with a non-linearity. The whole network still express a single differentiable score function: From the raw image pixels on one end to class scores at the other. And they still have a loss function (e.g. SVM/Softmax) on the last (fully-connected) layer and all the tips/tricks we developed for learning regular Neural Networks still apply.
So what does change? ConvNet architectures make the explicit assumption that the inputs are images, which allows us to encode certain properties into the architecture. These then make the forward function more efficient to implement and vastly reduces the amount of parameters in the network.
Architecture Overview
Recall: Regular Neural Nets. As we saw in the previous chapter, Neural Networks receive an input (a single vector), and transform it through a series of hidden layers. Each hidden layer is made up of a set of neurons, where each neuron is fully connected to all neurons in the previous layer, and where neurons in a single layer function completely independently and do not share any connections. The last fully-connected layer is called the "output layer" and in classification settings it represents the class scores.
Regular Neural Nets don't scale well to full images. In CIFAR-10, images are only of size 32x32x3 (32 wide, 32 high, 3 color channels), so a single fully-connected neuron in a first hidden layer of a regular Neural Network would have 32*32*3 = 3072 weights. This amount still seems manageable, but clearly this fully-connected structure does not scale to larger images. For example, an image of more respectible size, e.g. 200x200x3, would lead to neurons that have 200*200*3 = 120,000 weights. Moreover, we would almost certainly want to have several such neurons, so the parameters would add up quickly! Clearly, this full connectivity is wasteful and the huge number of parameters would quickly lead to overfitting.
3D volumes of neurons. Convolutional Neural Networks take advantage of the fact that the input consists of images and they constrain the architecture in a more sensible way. In particular, unlike a regular Neural Network, the layers of a ConvNet have neurons arranged in 3 dimensions: width, height, depth. (Note that the word depthhere refers to the third dimension of an activation volume, not to the depth of a full Neural Network, which can refer to the total number of layers in a network.) For example, the input images in CIFAR-10 are an input volume of activations, and the volume has dimensions 32x32x3 (width, height, depth respectively). As we will soon see, the neurons in a layer will only be connected to a small region of the layer before it, instead of all of the neurons in a fully-connected manner. Moreover, the final output layer would for CIFAR-10 have dimensions 1x1x10, because by the end of the ConvNet architecture we will reduce the full image into a single vector of class scores, arranged along the depth dimension. Here is a visualization:
Left: A regular 3-layer Neural Network. Right: A ConvNet arranges its neurons in three dimensions (width, height, depth), as visualized in one of the layers. Every layer of a ConvNet transforms the 3D input volume to a 3D output volume of neuron activations. In this example, the red input layer holds the image, so its width and height would be the dimensions of the image, and the depth would be 3 (Red, Green, Blue channels).
A ConvNet is made up of Layers. Every Layer has a simple API: It transforms an input 3D volume to an output 3D volume with some differentiable function that may or may not have parameters.
Layers used to build ConvNets
As we described above, every layer of a ConvNet transforms one volume of activations to another through a differentiable function. We use three main types of layers to build ConvNet architectures: Convolutional Layer,Pooling Layer, and Fully-Connected Layer (exactly as seen in regular Neural Networks). We will stack these layers to form a full ConvNet architecture.
Example Architecture: Overview. We will go into more details below, but a simple ConvNet for CIFAR-10 classification could have the architecture [INPUT - CONV - RELU - POOL - FC]. In more detail:
• INPUT [32x32x3] will hold the raw pixel values of the image, in this case an image of width 32, height 32, and with three color channels R,G,B.
• CONV layer will compute the output of neurons that are connected to local regions in the input, each computing a dot product between their weights and the region they are connected to in the input volume. This may result in volume such as [32x32x12].
• RELU layer will apply an elementwise activation function, such as the max(0,x) thresholding at zero. This leaves the size of the volume unchanged ([32x32x12]).
• POOL layer will perform a downsampling operation along the spatial dimensions (width, height), resulting in volume such as [16x16x12].
• FC (i.e. fully-connected) layer will compute the class scores, resulting in volume of size [1x1x10], where each of the 10 numbers correspond to a class score, such as among the 10 categories of CIFAR-10. As with ordinary Neural Networks and as the name implies, each neuron in this layer will be connected to all the numbers in the previous volume.
In this way, ConvNets transform the original image layer by layer from the original pixel values to the final class scores. Note that some layers contain parameters and other don't. In particular, the CONV/FC layers perform transformations that are a function of not only the activations in the input volume, but also of the parameters (the weights and biases of the neurons). On the other hand, the RELU/POOL layers will implement a fixed function. The parameters in the CONV/FC layers will be trained with gradient descent so that the class scores that the ConvNet computes are consistent with the labels in the training set for each image.
In summary:
• A ConvNet architecture is a list of Layers that transform the image volume into an output volume (e.g. holding the class scores)
• There are a few distinct types of Layers (e.g. CONV/FC/RELU/POOL are by far the most popular)
• Each Layer accepts an input 3D volume and transforms it to an output 3D volume through a differentiable function
• Each Layer may or may not have parameters (e.g. CONV/FC do, RELU/POOL don't)
• Each Layer may or may not have additional hyperparameters (e.g. CONV/FC/POOL do, RELU doesn't)
The activations of an example ConvNet architecture. The initial volume stores the raw image pixels and the last volume stores the class scores. Each volume of activations along the processing path is shown as a column. Since it's difficult to visualize 3D volumes, we lay out each volume's slices in rows. The last layer volume holds the scores for each class, but here we only visualize the sorted top 5 scores, and print the labels of each one. The full web-based demo is shown in the header of our website. The architecture shown here is a tiny VGG Net, which we will discuss later.
We now describe the individual layers and the details of their hyperparameters and their connectivities.
Convolutional Layer
The Conv layer is the core building block of a Convolutional Network, and its output volume can be interpreted as holding neurons arranged in a 3D volume. We now discuss the details of the neuron connectivities, their arrangement in space, and their parameter sharing scheme.
Overview and Intuition. The CONV layer's parameters consist of a set of learnable filters. Every filter is small spatially (along width and height), but extends through the full depth of the input volume. During the forward pass, we slide (more precisely, convolve) each filter across the width and height of the input volume, producing a 2-dimensional activation map of that filter. As we slide the filter, across the input, we are computing the dot product between the entries of the filter and the input. Intuitively, the network will learn filters that activate when they see some specific type of feature at some spatial position in the input. Stacking these activation maps for all filters along the depth dimension forms the full output volume. Every entry in the output volume can thus also be interpreted as an output of a neuron that looks at only a small region in the input and shares parameters with neurons in the same activation map (since these numbers all result from applying the same filter). We now dive into the details of this process.
Local Connectivity. When dealing with high-dimensional inputs such as images, as we saw above it is impractical to connect neurons to all neurons in the previous volume. Instead, we will connect each neuron to only a local region of the input volume. The spat
A Convolutional Neural Network (CNN) is comprised of one or more convolutional layers (often with a subsampling step) and then followed by one or more fully connected layers as in a standard multilayer neural network. The architecture of a CNN is designed to take advantage of the 2D structure of an input image (or other 2D input such as a speech signal). This is achieved with local connections and tied weights followed by some form of pooling which results in translation invariant features. Another benefit of CNNs is that they are easier to train and have many fewer parameters than fully connected networks with the same number of hidden units. In this article we will discuss the architecture of a CNN and the back propagation algorithm to compute the gradient with respect to the parameters of the model in order to use gradient based optimization. See the respective tutorials on convolution andpooling for more details on those specific operations.
Architecture
Convolutional Neural Networks (CNNs / ConvNets)
Convolutional Neural Networks are very similar to ordinary Neural Networks from the previous chapter: They are made up of neurons that have learnable weights and biases. Each neuron receives some inputs, performs a dot product and optionally follows it with a non-linearity. The whole network still express a single differentiable score function: From the raw image pixels on one end to class scores at the other. And they still have a loss function (e.g. SVM/Softmax) on the last (fully-connected) layer and all the tips/tricks we developed for learning regular Neural Networks still apply.
So what does change? ConvNet architectures make the explicit assumption that the inputs are images, which allows us to encode certain properties into the architecture. These then make the forward function more efficient to implement and vastly reduces the amount of parameters in the network.
Architecture Overview
Recall: Regular Neural Nets. As we saw in the previous chapter, Neural Networks receive an input (a single vector), and transform it through a series of hidden layers. Each hidden layer is made up of a set of neurons, where each neuron is fully connected to all neurons in the previous layer, and where neurons in a single layer function completely independently and do not share any connections. The last fully-connected layer is called the "output layer" and in classification settings it represents the class scores.
Regular Neural Nets don't scale well to full images. In CIFAR-10, images are only of size 32x32x3 (32 wide, 32 high, 3 color channels), so a single fully-connected neuron in a first hidden layer of a regular Neural Network would have 32*32*3 = 3072 weights. This amount still seems manageable, but clearly this fully-connected structure does not scale to larger images. For example, an image of more respectible size, e.g. 200x200x3, would lead to neurons that have 200*200*3 = 120,000 weights. Moreover, we would almost certainly want to have several such neurons, so the parameters would add up quickly! Clearly, this full connectivity is wasteful and the huge number of parameters would quickly lead to overfitting.
3D volumes of neurons. Convolutional Neural Networks take advantage of the fact that the input consists of images and they constrain the architecture in a more sensible way. In particular, unlike a regular Neural Network, the layers of a ConvNet have neurons arranged in 3 dimensions: width, height, depth. (Note that the word depthhere refers to the third dimension of an activation volume, not to the depth of a full Neural Network, which can refer to the total number of layers in a network.) For example, the input images in CIFAR-10 are an input volume of activations, and the volume has dimensions 32x32x3 (width, height, depth respectively). As we will soon see, the neurons in a layer will only be connected to a small region of the layer before it, instead of all of the neurons in a fully-connected manner. Moreover, the final output layer would for CIFAR-10 have dimensions 1x1x10, because by the end of the ConvNet architecture we will reduce the full image into a single vector of class scores, arranged along the depth dimension. Here is a visualization:
Left: A regular 3-layer Neural Network. Right: A ConvNet arranges its neurons in three dimensions (width, height, depth), as visualized in one of the layers. Every layer of a ConvNet transforms the 3D input volume to a 3D output volume of neuron activations. In this example, the red input layer holds the image, so its width and height would be the dimensions of the image, and the depth would be 3 (Red, Green, Blue channels).
A ConvNet is made up of Layers. Every Layer has a simple API: It transforms an input 3D volume to an output 3D volume with some differentiable function that may or may not have parameters.
Layers used to build ConvNets
As we described above, every layer of a ConvNet transforms one volume of activations to another through a differentiable function. We use three main types of layers to build ConvNet architectures: Convolutional Layer,Pooling Layer, and Fully-Connected Layer (exactly as seen in regular Neural Networks). We will stack these layers to form a full ConvNet architecture.
Example Architecture: Overview. We will go into more details below, but a simple ConvNet for CIFAR-10 classification could have the architecture [INPUT - CONV - RELU - POOL - FC]. In more detail:
• INPUT [32x32x3] will hold the raw pixel values of the image, in this case an image of width 32, height 32, and with three color channels R,G,B.
• CONV layer will compute the output of neurons that are connected to local regions in the input, each computing a dot product between their weights and the region they are connected to in the input volume. This may result in volume such as [32x32x12].
• RELU layer will apply an elementwise activation function, such as the max(0,x) thresholding at zero. This leaves the size of the volume unchanged ([32x32x12]).
• POOL layer will perform a downsampling operation along the spatial dimensions (width, height), resulting in volume such as [16x16x12].
• FC (i.e. fully-connected) layer will compute the class scores, resulting in volume of size [1x1x10], where each of the 10 numbers correspond to a class score, such as among the 10 categories of CIFAR-10. As with ordinary Neural Networks and as the name implies, each neuron in this layer will be connected to all the numbers in the previous volume.
In this way, ConvNets transform the original image layer by layer from the original pixel values to the final class scores. Note that some layers contain parameters and other don't. In particular, the CONV/FC layers perform transformations that are a function of not only the activations in the input volume, but also of the parameters (the weights and biases of the neurons). On the other hand, the RELU/POOL layers will implement a fixed function. The parameters in the CONV/FC layers will be trained with gradient descent so that the class scores that the ConvNet computes are consistent with the labels in the training set for each image.
In summary:
• A ConvNet architecture is a list of Layers that transform the image volume into an output volume (e.g. holding the class scores)
• There are a few distinct types of Layers (e.g. CONV/FC/RELU/POOL are by far the most popular)
• Each Layer accepts an input 3D volume and transforms it to an output 3D volume through a differentiable function
• Each Layer may or may not have parameters (e.g. CONV/FC do, RELU/POOL don't)
• Each Layer may or may not have additional hyperparameters (e.g. CONV/FC/POOL do, RELU doesn't)
The activations of an example ConvNet architecture. The initial volume stores the raw image pixels and the last volume stores the class scores. Each volume of activations along the processing path is shown as a column. Since it's difficult to visualize 3D volumes, we lay out each volume's slices in rows. The last layer volume holds the scores for each class, but here we only visualize the sorted top 5 scores, and print the labels of each one. The full web-based demo is shown in the header of our website. The architecture shown here is a tiny VGG Net, which we will discuss later.
We now describe the individual layers and the details of their hyperparameters and their connectivities.
Convolutional Layer
The Conv layer is the core building block of a Convolutional Network, and its output volume can be interpreted as holding neurons arranged in a 3D volume. We now discuss the details of the neuron connectivities, their arrangement in space, and their parameter sharing scheme.
Overview and Intuition. The CONV layer's parameters consist of a set of learnable filters. Every filter is small spatially (along width and height), but extends through the full depth of the input volume. During the forward pass, we slide (more precisely, convolve) each filter across the width and height of the input volume, producing a 2-dimensional activation map of that filter. As we slide the filter, across the input, we are computing the dot product between the entries of the filter and the input. Intuitively, the network will learn filters that activate when they see some specific type of feature at some spatial position in the input. Stacking these activation maps for all filters along the depth dimension forms the full output volume. Every entry in the output volume can thus also be interpreted as an output of a neuron that looks at only a small region in the input and shares parameters with neurons in the same activation map (since these numbers all result from applying the same filter). We now dive into the details of this process.
Local Connectivity. When dealing with high-dimensional inputs such as images, as we saw above it is impractical to connect neurons to all neurons in the previous volume. Instead, we will connect each neuron to only a local region of the input volume. The spat
0/5000
ภาพรวมการ Convolutional ประสาทเครือข่าย (CNN) ประกอบด้วยชั้น convolutional น้อย (มักจะมีขั้นตอน subsampling) และตามชั้นเชื่อมต่ออย่าง น้อยหนึ่งในมาตรฐานเครือข่ายประสาทหลายชั้น สถาปัตยกรรมของซีเอ็นเอ็นออกแบบมาเพื่อใช้ประโยชน์จากโครงสร้าง 2D ภาพอินพุต (หรือ 2D อื่น ๆ เข้าเช่นสัญญาณเสียง) นี้สามารถทำได้กับการเชื่อมต่อท้องถิ่น และผูกน้ำหนักตามรูปแบบของการร่วมกันซึ่งผลในลักษณะภาษาที่แปล ประโยชน์ของ CNNs ไม่ว่า จะง่ายต่อการฝึก และมีพารามิเตอร์มากน้อยกว่าเครือข่ายที่เชื่อมต่อทั้งหมดด้วยจำนวนของหน่วยที่ซ่อนอยู่ ในบทความนี้ เราจะกล่าวถึงสถาปัตยกรรม CNN และอัลกอริทึมเผยแพร่หลังจะคำนวณไล่ระดับสีกับพารามิเตอร์ของแบบจำลองเพื่อใช้เพิ่มประสิทธิภาพตามไล่ระดับ ดูสอนเกี่ยวข้องกับ convolution andpooling สำหรับรายละเอียดเพิ่มเติมในการดำเนินงานที่เฉพาะสถาปัตยกรรมเครือข่ายประสาท convolutional (CNNs / ConvNets)เครือข่ายประสาท convolutional จะมีลักษณะคล้ายกับเครือข่ายประสาทปกติจากบทก่อนหน้านี้: พวกเขามีของ neurons ที่มีน้ำหนัก learnable และยอม เซลล์ประสาทแต่ละได้รับอินพุตบาง ทำผลิตภัณฑ์จุด และอาจตามมา ด้วยการไม่แบบดอกไม้ เครือข่ายทั้งหมดที่ด่วนยังเดียว differentiable คะแนนราคาฟังก์ชัน: จากพิกเซลภาพ raw บนปลายด้านหนึ่งให้คะแนนระดับที่อื่น ๆ และยังมีฟังก์ชันขาดทุน (เช่น SVM/Softmax) ในช่วง ชั้น (ครบครันเชื่อมต่อ) และทั้งหมดเคล็ดลับ/เทคนิคเราพัฒนาเรียนรู้เครือข่ายประสาทปกติยังคงใช้ดังนั้น อะไรเปลี่ยนแปลงหรือไม่ ConvNet สถาปัตยกรรมทำให้สมมติฐานชัดเจนอินพุตที่ภาพ ซึ่งช่วยให้เราสามารถเข้ารหัสคุณสมบัติบางอย่างในสถาปัตยกรรม เหล่านี้แล้ว ทำการทำงานไปข้างหน้าเพิ่มประสิทธิภาพในการใช้ และลดจำนวนของพารามิเตอร์ในเครือข่ายเสมือนภาพรวมของสถาปัตยกรรมเรียกคืน: ปกติประสาทมุ้ง เราเห็นในบทก่อนหน้านี้ เครือข่ายประสาทรับอินพุต (เวกเตอร์เดียว), และแปลงผ่านชุดของเลเยอร์ที่ถูกซ่อน แต่ละชั้นซ่อนถูกสร้างขึ้นจากชุดของ neurons เซลล์ประสาทแต่ละอย่างเชื่อมต่อ neurons ทั้งหมดในชั้นก่อนหน้านี้ และชั้นฟังก์ชันสมบูรณ์อิสระ neurons ในครั้งเดียว และใช้ร่วมกันการเชื่อมต่อใด ๆ ชั้นเชื่อมต่ออย่างเต็มที่ล่าสุดเรียกว่า "ผลผลิตชั้น" และในการตั้งค่าการจัดประเภท แสดงระดับคะแนนตาข่ายประสาทปกติไม่มาตราส่วนดีเป็นภาพเต็ม ใน CIFAR-10 ภาพมีเฉพาะขนาด 32 x 32 x 3 (กว้าง 32 นิ้ว สูง 32, 3 ช่องสี) ดังนั้นที่เดียวครบครันเชื่อมต่อ เซลล์ประสาทในชั้นซ่อนแรกของเครือข่ายประสาทปกติจะมี 32 * 32 * 3 = 3072 น้ำหนัก ยอดเงินนี้ยังดูเหมือนว่าสามารถจัดการได้ง่าย แต่ชัดเจนเชื่อมต่ออย่างเต็มที่โครงสร้างไม่ปรับขนาดรูปใหญ่ ตัวอย่าง ภาพขนาด respectible ขึ้น เช่น 200 x 200 x 3 จะนำไปสู่ neurons ที่ 200 * 200 * 3 = 120000 รายทั้งนี้มีน้ำหนัก นอกจากนี้ เราจะเกือบแน่นอนต้องมี neurons ดังกล่าวหลาย พารามิเตอร์จะเพิ่มขึ้นอย่างรวดเร็ว ชัดเจน การเชื่อมต่อเต็มรูปแบบนี้คือ wasteful และจำนวนมากของพารามิเตอร์จะทำให้ overfitting อย่างรวดเร็วไดรฟ์ข้อมูล 3D ของ neurons เครือข่ายประสาท convolutional ใช้ประโยชน์จากความจริงที่ว่า อินพุตประกอบด้วยภาพ และพวกเขาจำกัดสถาปัตยกรรมในแบบที่เหมาะสมมากขึ้น โดยเฉพาะอย่างยิ่ง ซึ่งแตกต่างจากเครือข่ายประสาทปกติ ชั้นของ ConvNet มี neurons ที่จัดใน 3 มิติ: ความกว้าง ความสูง ความลึก (โปรดสังเกตว่า depthhere คำหมายถึงมิติที่สามของไดรฟ์ข้อมูลเปิดใช้งาน ไม่ ให้ความลึกของเต็มประสาทเครือข่าย ซึ่งสามารถอ้างอิงถึงจำนวนชั้นในเครือข่าย) ตัวอย่าง รูปเข้าใน CIFAR-10 มีการเปิดใช้งานปริมาณอินพุต และไดรฟ์ข้อมูลมีขนาด 32 x 32 x 3 (กว้าง สูง ลึกตามลำดับ) เราจะเร็ว ๆ นี้เห็น neurons ในชั้นจะได้เชื่อมต่อกับภูมิภาคเล็ก ๆ ของชั้นก่อนที่จะ แทนของ neurons ในลักษณะที่เชื่อมต่อทั้งหมดเท่านั้น นอกจากนี้ ชั้นผลลัพธ์สุดท้ายจะสำหรับ CIFAR-10 มีขนาด 1 x 1 x 10 เพราะ โดยสถาปัตยกรรม ConvNet เราจะลดรูปทั้งหมดเป็นเวกเตอร์หนึ่งคลาสคะแนน จัดเรียงตามขนาดความลึกของการ นี่คือเพลง: ซ้าย: ปกติชั้น 3 ประสาทเครือข่าย ขวา: ConvNet การจัดเรียงของ neurons ในสามมิติ (กว้าง สูง ลึก), visualized ในชั้นหนึ่ง ทุกชั้นของ ConvNet การแปลงเสียงสัญญาณ 3D การแสดงผล 3D ระดับเสียงของการเปิดใช้งานของเซลล์ประสาท ในตัวอย่างนี้ ชั้นนำเข้าสีแดงมีรูป ความกว้างและความสูงจะมีขนาดของภาพ และความลึกจะเป็น 3 (สีแดง สีเขียว ช่องสีฟ้า)ConvNet ถูกสร้างขึ้นจากชั้น ทุกชั้นมี API ง่าย: มันแปลงเป็นปริมาตร 3D เข้ากับไดรฟ์ข้อมูลแบบ 3D แสดงผลด้วยฟังก์ชันบาง differentiable ที่อาจ หรืออาจไม่มีพารามิเตอร์ชั้นที่ใช้ในการสร้าง ConvNetsตามที่เราอธิบายไว้ข้างต้น ทุกชั้นของ ConvNet การแปลงเปิดใช้งานผ่านฟังก์ชัน differentiable อีกระดับหนึ่ง เราใช้สามชนิดหลักของเลเยอร์การสร้างสถาปัตยกรรม ConvNet: ชั้น Convolutional ร่วมชั้น และ ชั้น Fully-Connected (ตรงกับเครือข่ายประสาทปกติ) เราจะกองซ้อนชั้นเหล่านี้ในรูปแบบสถาปัตยกรรมแบบ ConvNet เต็มสถาปัตยกรรมตัวอย่าง: ภาพรวม เราจะไปลงรายละเอียดเพิ่มเติมด้านล่าง แต่ ConvNet เรื่องการจัด CIFAR-10 มีสถาปัตยกรรม [ป้อน - CONV - RELU -พู - FC] รายละเอียด:•ป้อน [32 x 32 x 3] จะเก็บค่าดิบพิกเซลของภาพ ในกรณีนี้ รูป ของ 32 สูง 32 กว้าง และ มีสีที่สามช่อง B. R, G• CONV ชั้นจะคำนวณผลลัพธ์ของ neurons ที่เชื่อมต่อไปยังภูมิภาคท้องถิ่นในการป้อนข้อมูล แต่ละผลิตภัณฑ์จุดระหว่างน้ำหนักและภูมิภาคที่พวกเขาเชื่อมต่อกับปริมาณการเข้าใช้งาน นี้อาจส่งผลปริมาณเช่น [32 x 32 x 12]• RELU ชั้นจะใช้ฟังก์ชันการเรียกใช้ elementwise เช่น thresholding max(0,x) ที่ศูนย์ ใบนี้ขนาดของไดรฟ์ข้อมูลที่เปลี่ยนแปลง ([32 x 32 x 12])•สระว่ายน้ำชั้นจะดำเนิน downsampling ตามมิติปริภูมิ (ความกว้าง ความสูง), ในปริมาตรเช่น [16 x 16 x 12]• FC (เช่นครบครันเชื่อมต่อ) ชั้นจะคำนวณระดับคะแนน ในปริมาณขนาด [1 x 1 x 10], ซึ่งแต่ละหมายเลข 10 ตรงกับระดับคะแนน เช่นระหว่างประเภท 10 CIFAR-10 เช่นเดียว กับเครือ ข่ายประสาททั่วไป และความหมายของชื่อ แต่ละเซลล์ประสาทในชั้นนี้จะเชื่อมต่อกับตัวเลขทั้งหมดในเล่มก่อนหน้าด้วยวิธีนี้ ConvNets แปลงภาพต้นฉบับชั้นโดยชั้นจากค่าพิกเซลเดิมคะแนนชั้นสุดท้าย ทราบว่า บางชั้นประกอบด้วยพารามิเตอร์อื่น ๆ ไม่ โดยเฉพาะอย่างยิ่ง ชั้น CONV/FC ทำแปลงที่เป็นไปไม่เปิดใช้งานปริมาณอินพุต แต่ยังพารามิเตอร์ (น้ำหนักและยอม neurons) บนมืออื่น ๆ ชั้น RELU/สระ ว่ายน้ำจะใช้ฟังก์ชันถาวร พารามิเตอร์ในชั้น CONV/FC จะได้รับการอบรมกับเชื้อสายไล่ระดับให้คะแนนเรียนที่ ConvNet ตัวเดียวกันกับป้ายชื่อในการฝึกอบรมที่กำหนดสำหรับแต่ละภาพสรุป:• A ConvNet สถาปัตยกรรมคือ รายการของเลเยอร์ที่แปลงเสียงภาพเป็นปริมาณการส่งออก (เช่นกดคะแนนคลาส)•มีอยู่กี่ประเภทของชั้น (เช่น CONV/FC/RELU/สระ ว่ายน้ำนิยมโดยไกลที่สุด)•แต่ละชั้นยอมรับเสียง 3D การเข้า และแปลงการไดรฟ์ข้อมูลแบบ 3D แสดงผลผ่านฟังก์ชัน differentiable•แต่ละชั้นอาจ หรืออาจไม่มีพารามิเตอร์ (อย่าเช่น CONV/FC โด RELU/สระ ว่ายน้ำ)•แต่ละชั้นอาจ หรืออาจไม่มี hyperparameters เพิ่มเติม (เช่น ทำ CONV/FC/สระ ว่ายน้ำ ไม่ RELU) เปิดใช้งานตัวอย่างสถาปัตยกรรม ConvNet ปริมาตรการเก็บพิกเซลภาพ raw และปริมาตรสุดท้ายเก็บคะแนนระดับ แต่ละไดรฟ์ข้อมูลการเปิดใช้งานตามเส้นทางการประมวลผลจะแสดงเป็นคอลัมน์ เนื่องจากยากที่จะเห็นภาพไดรฟ์ข้อมูล 3D เราเค้าของไดรฟ์ข้อมูลแต่ละชิ้นในแถว ปริมาณชั้นสุดท้ายมีคะแนนสำหรับแต่ละคลาส แต่ที่นี่เราเท่ามองเห็นภาพที่เรียงลำดับสูงสุด 5 คะแนน และพิมพ์ป้ายชื่อของแต่ละคน สาธิตเต็มบนเว็บจะปรากฏในส่วนหัวของเว็บไซต์ของเรา สถาปัตยกรรมที่แสดงที่นี่เป็นเล็ก ๆ VGG สุทธิ ซึ่งเราจะกล่าวถึงในภายหลังตอนนี้เราอธิบายแต่ละชั้นและรายละเอียดของ hyperparameters ของพวกเขาและ connectivities ของพวกเขาชั้น convolutionalชั้น Conv เป็นกลุ่มอาคารหลักของเครือข่าย Convolutional และปริมาณผลผลิตสามารถตีความเป็น neurons ที่จัดเสียง 3D ตอนนี้เราหารือรายละเอียดของ connectivities เซลล์ประสาท การจัดเรียงในพื้นที่ และพารามิเตอร์ของโครงร่างร่วมกันภาพรวมและสัญชาตญาณ พารามิเตอร์ของชั้น CONV ประกอบด้วยชุดของตัวกรอง learnable ตัวกรองทุกเล็ก spatially (ตามความกว้างและความสูง), แต่ขยายผ่านระยะความลึกของระดับเสียงสำหรับการป้อนค่า ระหว่างผ่านไป เราสไลด์ (เพิ่มเติมแม่นยำ convolve) แต่ละตัวกรองทั้งความกว้างและความสูงของปริมาณนำเข้า ผลิตแผนที่ 2 มิติเปิดใช้งานตัวกรองที่ เราเลื่อนตัว ในการป้อนข้อมูล เรามีคอมพิวเตอร์ผลิตภัณฑ์จุดระหว่างรายการของตัวกรองและการป้อนข้อมูล สังหรณ์ใจ เครือข่ายจะเรียนตัวที่เปิดใช้งานเมื่อพวกเขาเห็นบางชนิดของคุณลักษณะที่บางตำแหน่งพื้นที่ในการป้อนข้อมูล ซ้อนเหล่านี้เปิดใช้งานแผนผังสำหรับตัวกรองทั้งหมดตามแบบขนาดความลึกของปริมาณการส่งออกทั้งหมด ทุกรายการในปริมาณการส่งออกสามารถจึงยังสามารถแปลผลเป็น output ของเซลล์ประสาทที่มีลักษณะที่เฉพาะพื้นที่ขนาดเล็กในการป้อนข้อมูล และร่วมพารามิเตอร์กับ neurons ในเรียกใช้แผนที่เดียวกัน (เนื่องจากตัวเลขเหล่านี้ทั้งหมดเป็นผลมาจากการใช้ตัวเดียวกัน) ตอนนี้เราดำน้ำลงในรายละเอียดของกระบวนการนี้การเชื่อมต่อท้องถิ่น เมื่อจัดการกับอินพุตสูงมิติเช่นรูปภาพ ขณะที่เราเห็นด้านบน คือไม่สามารถทำการเชื่อมต่อ neurons neurons ทั้งหมดในเล่มก่อนหน้า แทน เราจะเชื่อมต่อเซลล์ประสาทแต่ละเฉพาะท้องถิ่นภูมิภาคของไดรฟ์ข้อมูลป้อนเข้า Spat
การแปล กรุณารอสักครู่..
ภาพรวมเครือข่ายประสาทเทียม Convolutional (ซีเอ็นเอ็น) ประกอบด้วยหนึ่งหรือมากกว่าหนึ่งชั้น convolutional (มักจะมีขั้นตอนที่ subsampling) และแล้วตามด้วยหนึ่งหรือมากกว่าหนึ่งชั้นที่เกี่ยวโยงกันอย่างเต็มที่ในขณะที่เครือข่ายประสาทหลายมาตรฐาน
สถาปัตยกรรมของซีเอ็นเอ็นที่ถูกออกแบบมาเพื่อใช้ประโยชน์จากโครงสร้าง 2 มิติของภาพที่นำเข้า (หรือการป้อนข้อมูล 2D อื่น ๆ เช่นสัญญาณเสียงพูด) นี่คือความสำเร็จกับการเชื่อมต่อท้องถิ่นและน้ำหนักผูกตามด้วยรูปแบบของการร่วมกันซึ่งจะส่งผลในการแปลคุณสมบัติบางอย่างคงที่ ประโยชน์ของ CNNs ก็คือว่าพวกเขาจะง่ายในการฝึกอบรมและมีพารามิเตอร์ที่น้อยกว่าหลายเครือข่ายเชื่อมต่ออย่างเต็มที่ที่มีหมายเลขเดียวกันของหน่วยงานที่ซ่อน ในบทความนี้เราจะหารือเกี่ยวกับสถาปัตยกรรมของซีเอ็นเอ็นและวิธีการขยายพันธุ์หลังการคำนวณการไล่ระดับสีที่เกี่ยวกับพารามิเตอร์ของรูปแบบเพื่อที่จะใช้ในการเพิ่มประสิทธิภาพการไล่ระดับสีตาม ดูบทเรียนที่เกี่ยวข้องในการบิด andpooling สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการดำเนินงานเฉพาะผู้ที่.
สถาปัตยกรรม
Convolutional โครงข่ายประสาท (CNNs / ConvNets)
Convolutional โครงข่ายประสาทจะคล้ายกับโครงข่ายประสาทสามัญจากบทก่อนหน้าพวกเขาถูกสร้างขึ้นจากเซลล์ประสาทที่มีน้ำหนัก learnable และ อคติ แต่ละเซลล์ประสาทได้รับปัจจัยการผลิตบางส่วนดำเนินการสินค้าจุดและเลือกต่อไปนี้ด้วยเส้นตรงที่ไม่ใช่ ทั้งเครือข่ายยังคงแสดงฟังก์ชั่นคะแนนอนุพันธ์เดียว: จากพิกเซลภาพดิบปลายด้านหนึ่งคะแนนระดับที่อื่น ๆ และพวกเขายังมีฟังก์ชั่นการสูญเสีย (เช่น SVM / Softmax) ในวันสุดท้าย (ที่เชื่อมต่ออย่างเต็มที่) ชั้นและเคล็ดลับทั้งหมด / เทคนิคเราพัฒนาสำหรับการเรียนรู้โครงข่ายประสาทปกติยังคงใช้.
ดังนั้นสิ่งที่จะเปลี่ยน? สถาปัตยกรรม ConvNet ทำให้สมมติฐานที่ชัดเจนว่าปัจจัยการผลิตที่มีภาพซึ่งช่วยให้เราสามารถเข้ารหัสคุณสมบัติบางอย่างลงในสถาปัตยกรรม เหล่านี้ทำให้การทำงานมีประสิทธิภาพมากขึ้นไปข้างหน้าในการดำเนินการอย่างมากมายและช่วยลดปริมาณของพารามิเตอร์ในเครือข่าย.
สถาปัตยกรรมภาพรวมการเรียกคืน: ปกติตาข่ายประสาท
ขณะที่เราเห็นในบทก่อนหน้านี้เครือข่ายประสาทได้รับอินพุท (เวกเตอร์เดียว) และแปลงมันผ่านชุดของชั้นที่ซ่อนอยู่ แต่ละชั้นที่ซ่อนถูกสร้างขึ้นจากชุดของเซลล์ประสาทที่แต่ละเซลล์ประสาทเป็นอย่างที่เชื่อมต่อกับเซลล์ประสาทในชั้นก่อนหน้านี้และการที่เซลล์ประสาทในฟังก์ชั่นชั้นเดียวเป็นอิสระอย่างสมบูรณ์และไม่ได้ร่วมการเชื่อมต่อใด ๆ ชั้นสุดท้ายเชื่อมต่ออย่างเต็มที่เรียกว่า "ชั้นเอาท์พุท" และในการตั้งค่าการจัดหมวดหมู่มันหมายถึงคะแนนระดับ.
ปกติตาข่ายประสาทไม่ดีขนาดภาพเต็ม ใน CIFAR-10 ภาพเป็นเพียงขนาด 32x32x3 (32 กว้าง 32 สูง 3 ช่องสี) เพื่อให้เซลล์ประสาทอย่างเต็มที่ที่เชื่อมต่อเดียวในชั้นซ่อนแรกของโครงข่ายประสาทเทียมปกติจะมี 32 * 32 * 3 = 3072 น้ำหนัก . เงินจำนวนนี้ยังดูเหมือนว่าจัดการได้ แต่เห็นได้ชัดว่าโครงสร้างที่เชื่อมต่ออย่างเต็มที่ไม่ได้ระดับกับภาพที่มีขนาดใหญ่ ยกตัวอย่างเช่นภาพของขนาด respectible มากขึ้นเช่น 200x200x3 จะนำไปสู่เซลล์ประสาทที่มี 200 * 200 * 3 = 120,000 น้ำหนัก นอกจากนี้เราเกือบจะแน่นอนจะต้องการที่จะมีเซลล์ประสาทหลายอย่างเช่นดังนั้นพารามิเตอร์ที่จะเพิ่มขึ้นอย่างรวดเร็ว! ชัดเจนนี้การเชื่อมต่อเต็มรูปแบบสิ้นเปลืองและจำนวนมากของพารามิเตอร์ได้อย่างรวดเร็วจะนำไปสู่อิง.
เล่ม 3 มิติของเซลล์ประสาท Convolutional โครงข่ายประสาทใช้ประโยชน์จากความจริงที่ว่ามีการป้อนข้อมูลประกอบด้วยภาพและพวกเขา จำกัด สถาปัตยกรรมในทางที่เหมาะสมมากขึ้น โดยเฉพาะอย่างยิ่งไม่เหมือนปกติเครือข่ายประสาทเทียมชั้นของ ConvNet ที่มีเซลล์ประสาทที่จัดใน 3 มิติ: ความกว้างความสูงความลึก (โปรดทราบว่า depthhere คำหมายถึงมิติที่สามของปริมาณการเปิดใช้งานไม่ได้ที่จะมีความลึกของโครงข่ายประสาทเทียมเต็มรูปแบบซึ่งสามารถอ้างถึงจำนวนของชั้นในเครือข่าย.) ตัวอย่างเช่นภาพการป้อนข้อมูลใน CIFAR-10 มีปริมาณการป้อนข้อมูลของการเปิดใช้งานและปริมาณที่มีขนาด 32x32x3 (ความกว้างความสูงความลึกตามลำดับ) ในขณะที่เราเร็ว ๆ นี้จะเห็นเซลล์ประสาทในชั้นที่จะได้รับการเชื่อมต่อไปยังพื้นที่เล็ก ๆ ของชั้นก่อนที่จะแทนการทั้งหมดของเซลล์ประสาทในลักษณะที่เชื่อมต่ออย่างเต็มที่ นอกจากนี้การส่งออกชั้นสุดท้ายจะหา CIFAR-10 มีขนาด 1x1x10 เพราะในตอนท้ายของสถาปัตยกรรม ConvNet ที่เราจะลดลงในรูปแบบเวกเตอร์เดียวของคะแนนระดับพร้อมจัดมิติความลึก นี่คือการสร้างภาพ: ซ้าย: ชั้น 3 ปกติโครงข่ายประสาทเทียม ขวา: ConvNet มีการจัดทเซลล์ประสาทในสามมิติ (ความกว้างความสูงความลึก) รวมภาพในหนึ่งชั้น ชั้นของ ConvNet ทุกแปลงปริมาณการป้อนข้อมูล 3 มิติไปยังปริมาณการส่งออก 3 มิติของการเปิดใช้งานเซลล์ประสาท ในตัวอย่างนี้ชั้นการป้อนสีแดงถือภาพเพื่อให้กว้างและความสูงของมันจะเป็นขนาดของภาพและความลึกจะเป็น 3 (แดง, เขียว, ช่องสีฟ้า). ConvNet ถูกสร้างขึ้นจากชั้น ชั้นที่ทุกคนมีความง่าย API:. มันแปลงปริมาณ 3 มิติเข้ากับการส่งออกปริมาณ 3 มิติที่มีบางฟังก์ชั่นอนุพันธ์ที่อาจหรือไม่อาจมีพารามิเตอร์ชั้นใช้ในการสร้างConvNets ในฐานะที่เราอธิบายไว้ข้างต้นชั้นของ ConvNet ทุกแปลงปริมาณหนึ่งในการเปิดใช้งาน ไปยังอีกที่ผ่านฟังก์ชั่นอนุพันธ์ เราใช้สามประเภทหลักของชั้นที่จะสร้างสถาปัตยกรรม ConvNet: Convolutional ชั้นชั้นรวมกำไรและชั้นพร้อมที่เกี่ยวโยงกัน (ตรงตามที่เห็นในโครงข่ายประสาทปกติ) เราจะสแต็คชั้นเหล่านี้ในรูปแบบสถาปัตยกรรม ConvNet เต็มรูปแบบ. ตัวอย่างสถาปัตยกรรม: ภาพรวม เราจะไปลงรายละเอียดเพิ่มเติมด้านล่าง แต่ ConvNet ง่ายสำหรับการจัดหมวดหมู่ CIFAR-10 อาจมีสถาปัตยกรรม [INPUT - CONV - Relu - สระว่ายน้ำ - เอฟซี] ในรายละเอียดเพิ่มเติมได้ที่: • INPUT [32x32x3] จะถือค่าพิกเซลดิบของภาพในกรณีนี้ภาพที่มีความกว้าง 32 สูง 32 และมีสามช่องสี R, G, B. •ชั้น CONV จะคำนวณการส่งออกของ เซลล์ประสาทที่เชื่อมต่อไปยังภูมิภาคท้องถิ่นในการป้อนข้อมูลแต่ละผลิตภัณฑ์คอมพิวเตอร์จุดระหว่างน้ำหนักของพวกเขาและภูมิภาคที่พวกเขาจะเชื่อมต่อกับปริมาณการป้อนข้อมูล ซึ่งอาจส่งผลในปริมาณเช่น [32x32x12]. •ชั้น Relu จะใช้ฟังก์ชั่นการเปิดใช้งาน elementwise เช่น max (0, x) thresholding ที่ศูนย์ ซึ่งจะทำให้ขนาดของไดรฟ์ไม่เปลี่ยนแปลง ([32x32x12]). ชั้นสระว่ายน้ำ•จะทำการดำเนินการลดขนาดตามมิติเชิงพื้นที่ (ความกว้างความสูง) ส่งผลให้ปริมาณเช่น [16x16x12]. •เอฟซี (เช่นอย่างเต็มที่ที่เชื่อมต่อ) ชั้น จะคำนวณระดับคะแนนส่งผลให้ปริมาณการขนาด [1x1x10] ที่แต่ละแห่งที่ 10 หมายเลขตรงกับระดับคะแนนเช่นในหมู่ 10 หมวดหมู่ของ CIFAR-10 เช่นเดียวกับโครงข่ายประสาทสามัญและเป็นชื่อที่แสดงถึงเซลล์ประสาทในชั้นนี้แต่ละคนจะต้องเชื่อมต่อกับตัวเลขทั้งหมดในปริมาณที่ก่อนหน้านี้. ด้วยวิธีนี้ ConvNets เปลี่ยนชั้นภาพต้นฉบับโดยชั้นจากค่าพิกเซลต้นฉบับให้กับคะแนนชั้นสุดท้าย . โปรดทราบว่าบางชั้นมีพารามิเตอร์และอื่น ๆ ที่ไม่ได้ทำ โดยเฉพาะอย่างยิ่งชั้น CONV / เอฟซีดำเนินการเปลี่ยนแปลงที่มีฟังก์ชั่นไม่เพียง แต่การเปิดใช้งานในปริมาณที่นำเข้า แต่ยังพารามิเตอร์ (น้ำหนักและอคติของเซลล์ประสาท) บนมืออื่น ๆ , ชั้น Relu / สระว่ายน้ำที่จะใช้ฟังก์ชั่นการแก้ไข พารามิเตอร์ในชั้น CONV / เอฟซีจะได้รับการฝึกอบรมที่มีเชื้อสายทางลาดเพื่อให้คะแนนระดับที่คำนวณ ConvNet มีความสอดคล้องกับป้ายชื่ออยู่ในชุดการฝึกอบรมสำหรับภาพแต่ละภาพ. สรุป: ได้• ConvNet สถาปัตยกรรมคือรายการของชั้นที่เปลี่ยน ปริมาณภาพเป็นปริมาณการส่งออก (เช่นการถือครองคะแนนชั้น) •มีชนิดที่แตกต่างกันไม่กี่ชั้น (เช่น CONV / เอฟซี / Relu / สระว่ายน้ำไกลโดยที่นิยมมากที่สุด) จะ•แต่ละชั้นยอมรับปริมาณ3D การป้อนข้อมูลและแปลงมัน การส่งออกปริมาณ 3D ผ่านฟังก์ชั่นอนุพันธ์•ชั้นแต่ละคนอาจหรือไม่อาจมีพารามิเตอร์(เช่น CONV / เอฟซีทำ Relu / สระว่ายน้ำไม่ได้) •แต่ละชั้นอาจจะหรืออาจจะไม่ได้ hyperparameters เพิ่มเติม (เช่น CONV / เอฟซี / สระว่ายน้ำทำ , Relu ไม่ได้) การเปิดใช้งานของตัวอย่าง ConvNet สถาปัตยกรรม ปริมาณเริ่มต้นเก็บพิกเซลภาพดิบปริมาณและร้านค้าที่ผ่านมาระดับคะแนน ปริมาณของการเปิดใช้งานไปตามเส้นทางการประมวลผลแต่ละครั้งจะถูกแสดงเป็นคอลัมน์ เพราะมันเป็นเรื่องยากที่จะเห็นภาพ 3 มิติไดรฟ์ที่เราออกวางชิ้นปริมาณในแต่ละแถว ปริมาณชั้นสุดท้ายถือคะแนนสำหรับแต่ละชั้นเรียน แต่ที่นี่เราจะเห็นภาพที่เรียงลำดับชั้น 5 คะแนนและพิมพ์ฉลากของแต่ละคน การสาธิตบนเว็บเต็มรูปแบบที่ปรากฏอยู่ในส่วนหัวของเว็บไซต์ของเรา สถาปัตยกรรมที่แสดงที่นี่เป็น VGG เล็กสุทธิซึ่งเราจะหารือในภายหลัง. ตอนนี้เราอธิบายแต่ละชั้นและรายละเอียดของ hyperparameters และ connectivities ของพวกเขา. Convolutional ชั้นชั้นConv เป็นกลุ่มอาคารหลักของเครือข่าย Convolutional และเอาท์พุท ปริมาณสามารถตีความได้ว่าการถือครองเซลล์จัดให้อยู่ในปริมาณ 3D ตอนนี้เราหารือเกี่ยวกับรายละเอียดของการ connectivities เซลล์ประสาทจัดพวกเขาในพื้นที่และการแบ่งปันพารามิเตอร์ของพวกเขาโครงการ. ภาพรวมและปรีชา พารามิเตอร์ของชั้น CONV ประกอบด้วยชุดของตัวกรอง learnable กรองทุกตำแหน่งที่มีขนาดเล็ก (พร้อมกว้างและความสูง) แต่ขยายผ่านความลึกเต็มรูปแบบของปริมาณการป้อนข้อมูล ในระหว่างการไปข้างหน้าผ่านที่เราเลื่อน (อย่างแม่นยำมากขึ้น convolve) ตัวกรองแต่ละความกว้างและความสูงของปริมาณการป้อนข้อมูลการผลิตแผนที่ยืนยันการใช้งาน 2 มิติของตัวกรองที่ ในขณะที่เราเลื่อนกรองข้ามการป้อนข้อมูลที่เราได้รับการคำนวณผลิตภัณฑ์จุดระหว่างรายการของตัวกรองและใส่ สัญชาตญาณเครือข่ายจะได้เรียนรู้ว่าการเปิดใช้งานตัวกรองเมื่อพวกเขาเห็นบางประเภทเฉพาะของคุณลักษณะที่บางตำแหน่งเชิงพื้นที่ในการป้อนข้อมูล ซ้อนแผนที่ยืนยันการใช้งานเหล่านี้สำหรับตัวกรองทั้งหมดพร้อมมิติความลึกรูปแบบปริมาณการส่งออกเต็มรูปแบบ รายการในปริมาณการส่งออกทุกคนจึงยังสามารถตีความได้ว่าการส่งออกของเซลล์ประสาทที่มีลักษณะที่เฉพาะภูมิภาคเล็ก ๆ ในการป้อนข้อมูลและพารามิเตอร์หุ้นที่มีเซลล์ประสาทในแผนที่การเปิดใช้งานเดียวกัน (ตั้งแต่ตัวเลขเหล่านี้ผลจากการใช้ตัวกรองเดียวกัน) ตอนนี้เราดำน้ำในรายละเอียดของกระบวนการนี้. เชื่อมต่อท้องถิ่น เมื่อจัดการกับปัจจัยการผลิตที่สูงมิติเช่นภาพที่เราเห็นข้างต้นนั้นจะทำไม่ได้ที่จะเชื่อมต่อไปยังเซลล์ประสาทเซลล์ประสาทในปริมาณที่ก่อนหน้านี้ แต่เราจะเชื่อมต่อเซลล์ประสาทแต่ละเพียงภูมิภาคท้องถิ่นของปริมาณการป้อนข้อมูล ทะเลาะวิวาทกัน
สถาปัตยกรรมของซีเอ็นเอ็นที่ถูกออกแบบมาเพื่อใช้ประโยชน์จากโครงสร้าง 2 มิติของภาพที่นำเข้า (หรือการป้อนข้อมูล 2D อื่น ๆ เช่นสัญญาณเสียงพูด) นี่คือความสำเร็จกับการเชื่อมต่อท้องถิ่นและน้ำหนักผูกตามด้วยรูปแบบของการร่วมกันซึ่งจะส่งผลในการแปลคุณสมบัติบางอย่างคงที่ ประโยชน์ของ CNNs ก็คือว่าพวกเขาจะง่ายในการฝึกอบรมและมีพารามิเตอร์ที่น้อยกว่าหลายเครือข่ายเชื่อมต่ออย่างเต็มที่ที่มีหมายเลขเดียวกันของหน่วยงานที่ซ่อน ในบทความนี้เราจะหารือเกี่ยวกับสถาปัตยกรรมของซีเอ็นเอ็นและวิธีการขยายพันธุ์หลังการคำนวณการไล่ระดับสีที่เกี่ยวกับพารามิเตอร์ของรูปแบบเพื่อที่จะใช้ในการเพิ่มประสิทธิภาพการไล่ระดับสีตาม ดูบทเรียนที่เกี่ยวข้องในการบิด andpooling สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการดำเนินงานเฉพาะผู้ที่.
สถาปัตยกรรม
Convolutional โครงข่ายประสาท (CNNs / ConvNets)
Convolutional โครงข่ายประสาทจะคล้ายกับโครงข่ายประสาทสามัญจากบทก่อนหน้าพวกเขาถูกสร้างขึ้นจากเซลล์ประสาทที่มีน้ำหนัก learnable และ อคติ แต่ละเซลล์ประสาทได้รับปัจจัยการผลิตบางส่วนดำเนินการสินค้าจุดและเลือกต่อไปนี้ด้วยเส้นตรงที่ไม่ใช่ ทั้งเครือข่ายยังคงแสดงฟังก์ชั่นคะแนนอนุพันธ์เดียว: จากพิกเซลภาพดิบปลายด้านหนึ่งคะแนนระดับที่อื่น ๆ และพวกเขายังมีฟังก์ชั่นการสูญเสีย (เช่น SVM / Softmax) ในวันสุดท้าย (ที่เชื่อมต่ออย่างเต็มที่) ชั้นและเคล็ดลับทั้งหมด / เทคนิคเราพัฒนาสำหรับการเรียนรู้โครงข่ายประสาทปกติยังคงใช้.
ดังนั้นสิ่งที่จะเปลี่ยน? สถาปัตยกรรม ConvNet ทำให้สมมติฐานที่ชัดเจนว่าปัจจัยการผลิตที่มีภาพซึ่งช่วยให้เราสามารถเข้ารหัสคุณสมบัติบางอย่างลงในสถาปัตยกรรม เหล่านี้ทำให้การทำงานมีประสิทธิภาพมากขึ้นไปข้างหน้าในการดำเนินการอย่างมากมายและช่วยลดปริมาณของพารามิเตอร์ในเครือข่าย.
สถาปัตยกรรมภาพรวมการเรียกคืน: ปกติตาข่ายประสาท
ขณะที่เราเห็นในบทก่อนหน้านี้เครือข่ายประสาทได้รับอินพุท (เวกเตอร์เดียว) และแปลงมันผ่านชุดของชั้นที่ซ่อนอยู่ แต่ละชั้นที่ซ่อนถูกสร้างขึ้นจากชุดของเซลล์ประสาทที่แต่ละเซลล์ประสาทเป็นอย่างที่เชื่อมต่อกับเซลล์ประสาทในชั้นก่อนหน้านี้และการที่เซลล์ประสาทในฟังก์ชั่นชั้นเดียวเป็นอิสระอย่างสมบูรณ์และไม่ได้ร่วมการเชื่อมต่อใด ๆ ชั้นสุดท้ายเชื่อมต่ออย่างเต็มที่เรียกว่า "ชั้นเอาท์พุท" และในการตั้งค่าการจัดหมวดหมู่มันหมายถึงคะแนนระดับ.
ปกติตาข่ายประสาทไม่ดีขนาดภาพเต็ม ใน CIFAR-10 ภาพเป็นเพียงขนาด 32x32x3 (32 กว้าง 32 สูง 3 ช่องสี) เพื่อให้เซลล์ประสาทอย่างเต็มที่ที่เชื่อมต่อเดียวในชั้นซ่อนแรกของโครงข่ายประสาทเทียมปกติจะมี 32 * 32 * 3 = 3072 น้ำหนัก . เงินจำนวนนี้ยังดูเหมือนว่าจัดการได้ แต่เห็นได้ชัดว่าโครงสร้างที่เชื่อมต่ออย่างเต็มที่ไม่ได้ระดับกับภาพที่มีขนาดใหญ่ ยกตัวอย่างเช่นภาพของขนาด respectible มากขึ้นเช่น 200x200x3 จะนำไปสู่เซลล์ประสาทที่มี 200 * 200 * 3 = 120,000 น้ำหนัก นอกจากนี้เราเกือบจะแน่นอนจะต้องการที่จะมีเซลล์ประสาทหลายอย่างเช่นดังนั้นพารามิเตอร์ที่จะเพิ่มขึ้นอย่างรวดเร็ว! ชัดเจนนี้การเชื่อมต่อเต็มรูปแบบสิ้นเปลืองและจำนวนมากของพารามิเตอร์ได้อย่างรวดเร็วจะนำไปสู่อิง.
เล่ม 3 มิติของเซลล์ประสาท Convolutional โครงข่ายประสาทใช้ประโยชน์จากความจริงที่ว่ามีการป้อนข้อมูลประกอบด้วยภาพและพวกเขา จำกัด สถาปัตยกรรมในทางที่เหมาะสมมากขึ้น โดยเฉพาะอย่างยิ่งไม่เหมือนปกติเครือข่ายประสาทเทียมชั้นของ ConvNet ที่มีเซลล์ประสาทที่จัดใน 3 มิติ: ความกว้างความสูงความลึก (โปรดทราบว่า depthhere คำหมายถึงมิติที่สามของปริมาณการเปิดใช้งานไม่ได้ที่จะมีความลึกของโครงข่ายประสาทเทียมเต็มรูปแบบซึ่งสามารถอ้างถึงจำนวนของชั้นในเครือข่าย.) ตัวอย่างเช่นภาพการป้อนข้อมูลใน CIFAR-10 มีปริมาณการป้อนข้อมูลของการเปิดใช้งานและปริมาณที่มีขนาด 32x32x3 (ความกว้างความสูงความลึกตามลำดับ) ในขณะที่เราเร็ว ๆ นี้จะเห็นเซลล์ประสาทในชั้นที่จะได้รับการเชื่อมต่อไปยังพื้นที่เล็ก ๆ ของชั้นก่อนที่จะแทนการทั้งหมดของเซลล์ประสาทในลักษณะที่เชื่อมต่ออย่างเต็มที่ นอกจากนี้การส่งออกชั้นสุดท้ายจะหา CIFAR-10 มีขนาด 1x1x10 เพราะในตอนท้ายของสถาปัตยกรรม ConvNet ที่เราจะลดลงในรูปแบบเวกเตอร์เดียวของคะแนนระดับพร้อมจัดมิติความลึก นี่คือการสร้างภาพ: ซ้าย: ชั้น 3 ปกติโครงข่ายประสาทเทียม ขวา: ConvNet มีการจัดทเซลล์ประสาทในสามมิติ (ความกว้างความสูงความลึก) รวมภาพในหนึ่งชั้น ชั้นของ ConvNet ทุกแปลงปริมาณการป้อนข้อมูล 3 มิติไปยังปริมาณการส่งออก 3 มิติของการเปิดใช้งานเซลล์ประสาท ในตัวอย่างนี้ชั้นการป้อนสีแดงถือภาพเพื่อให้กว้างและความสูงของมันจะเป็นขนาดของภาพและความลึกจะเป็น 3 (แดง, เขียว, ช่องสีฟ้า). ConvNet ถูกสร้างขึ้นจากชั้น ชั้นที่ทุกคนมีความง่าย API:. มันแปลงปริมาณ 3 มิติเข้ากับการส่งออกปริมาณ 3 มิติที่มีบางฟังก์ชั่นอนุพันธ์ที่อาจหรือไม่อาจมีพารามิเตอร์ชั้นใช้ในการสร้างConvNets ในฐานะที่เราอธิบายไว้ข้างต้นชั้นของ ConvNet ทุกแปลงปริมาณหนึ่งในการเปิดใช้งาน ไปยังอีกที่ผ่านฟังก์ชั่นอนุพันธ์ เราใช้สามประเภทหลักของชั้นที่จะสร้างสถาปัตยกรรม ConvNet: Convolutional ชั้นชั้นรวมกำไรและชั้นพร้อมที่เกี่ยวโยงกัน (ตรงตามที่เห็นในโครงข่ายประสาทปกติ) เราจะสแต็คชั้นเหล่านี้ในรูปแบบสถาปัตยกรรม ConvNet เต็มรูปแบบ. ตัวอย่างสถาปัตยกรรม: ภาพรวม เราจะไปลงรายละเอียดเพิ่มเติมด้านล่าง แต่ ConvNet ง่ายสำหรับการจัดหมวดหมู่ CIFAR-10 อาจมีสถาปัตยกรรม [INPUT - CONV - Relu - สระว่ายน้ำ - เอฟซี] ในรายละเอียดเพิ่มเติมได้ที่: • INPUT [32x32x3] จะถือค่าพิกเซลดิบของภาพในกรณีนี้ภาพที่มีความกว้าง 32 สูง 32 และมีสามช่องสี R, G, B. •ชั้น CONV จะคำนวณการส่งออกของ เซลล์ประสาทที่เชื่อมต่อไปยังภูมิภาคท้องถิ่นในการป้อนข้อมูลแต่ละผลิตภัณฑ์คอมพิวเตอร์จุดระหว่างน้ำหนักของพวกเขาและภูมิภาคที่พวกเขาจะเชื่อมต่อกับปริมาณการป้อนข้อมูล ซึ่งอาจส่งผลในปริมาณเช่น [32x32x12]. •ชั้น Relu จะใช้ฟังก์ชั่นการเปิดใช้งาน elementwise เช่น max (0, x) thresholding ที่ศูนย์ ซึ่งจะทำให้ขนาดของไดรฟ์ไม่เปลี่ยนแปลง ([32x32x12]). ชั้นสระว่ายน้ำ•จะทำการดำเนินการลดขนาดตามมิติเชิงพื้นที่ (ความกว้างความสูง) ส่งผลให้ปริมาณเช่น [16x16x12]. •เอฟซี (เช่นอย่างเต็มที่ที่เชื่อมต่อ) ชั้น จะคำนวณระดับคะแนนส่งผลให้ปริมาณการขนาด [1x1x10] ที่แต่ละแห่งที่ 10 หมายเลขตรงกับระดับคะแนนเช่นในหมู่ 10 หมวดหมู่ของ CIFAR-10 เช่นเดียวกับโครงข่ายประสาทสามัญและเป็นชื่อที่แสดงถึงเซลล์ประสาทในชั้นนี้แต่ละคนจะต้องเชื่อมต่อกับตัวเลขทั้งหมดในปริมาณที่ก่อนหน้านี้. ด้วยวิธีนี้ ConvNets เปลี่ยนชั้นภาพต้นฉบับโดยชั้นจากค่าพิกเซลต้นฉบับให้กับคะแนนชั้นสุดท้าย . โปรดทราบว่าบางชั้นมีพารามิเตอร์และอื่น ๆ ที่ไม่ได้ทำ โดยเฉพาะอย่างยิ่งชั้น CONV / เอฟซีดำเนินการเปลี่ยนแปลงที่มีฟังก์ชั่นไม่เพียง แต่การเปิดใช้งานในปริมาณที่นำเข้า แต่ยังพารามิเตอร์ (น้ำหนักและอคติของเซลล์ประสาท) บนมืออื่น ๆ , ชั้น Relu / สระว่ายน้ำที่จะใช้ฟังก์ชั่นการแก้ไข พารามิเตอร์ในชั้น CONV / เอฟซีจะได้รับการฝึกอบรมที่มีเชื้อสายทางลาดเพื่อให้คะแนนระดับที่คำนวณ ConvNet มีความสอดคล้องกับป้ายชื่ออยู่ในชุดการฝึกอบรมสำหรับภาพแต่ละภาพ. สรุป: ได้• ConvNet สถาปัตยกรรมคือรายการของชั้นที่เปลี่ยน ปริมาณภาพเป็นปริมาณการส่งออก (เช่นการถือครองคะแนนชั้น) •มีชนิดที่แตกต่างกันไม่กี่ชั้น (เช่น CONV / เอฟซี / Relu / สระว่ายน้ำไกลโดยที่นิยมมากที่สุด) จะ•แต่ละชั้นยอมรับปริมาณ3D การป้อนข้อมูลและแปลงมัน การส่งออกปริมาณ 3D ผ่านฟังก์ชั่นอนุพันธ์•ชั้นแต่ละคนอาจหรือไม่อาจมีพารามิเตอร์(เช่น CONV / เอฟซีทำ Relu / สระว่ายน้ำไม่ได้) •แต่ละชั้นอาจจะหรืออาจจะไม่ได้ hyperparameters เพิ่มเติม (เช่น CONV / เอฟซี / สระว่ายน้ำทำ , Relu ไม่ได้) การเปิดใช้งานของตัวอย่าง ConvNet สถาปัตยกรรม ปริมาณเริ่มต้นเก็บพิกเซลภาพดิบปริมาณและร้านค้าที่ผ่านมาระดับคะแนน ปริมาณของการเปิดใช้งานไปตามเส้นทางการประมวลผลแต่ละครั้งจะถูกแสดงเป็นคอลัมน์ เพราะมันเป็นเรื่องยากที่จะเห็นภาพ 3 มิติไดรฟ์ที่เราออกวางชิ้นปริมาณในแต่ละแถว ปริมาณชั้นสุดท้ายถือคะแนนสำหรับแต่ละชั้นเรียน แต่ที่นี่เราจะเห็นภาพที่เรียงลำดับชั้น 5 คะแนนและพิมพ์ฉลากของแต่ละคน การสาธิตบนเว็บเต็มรูปแบบที่ปรากฏอยู่ในส่วนหัวของเว็บไซต์ของเรา สถาปัตยกรรมที่แสดงที่นี่เป็น VGG เล็กสุทธิซึ่งเราจะหารือในภายหลัง. ตอนนี้เราอธิบายแต่ละชั้นและรายละเอียดของ hyperparameters และ connectivities ของพวกเขา. Convolutional ชั้นชั้นConv เป็นกลุ่มอาคารหลักของเครือข่าย Convolutional และเอาท์พุท ปริมาณสามารถตีความได้ว่าการถือครองเซลล์จัดให้อยู่ในปริมาณ 3D ตอนนี้เราหารือเกี่ยวกับรายละเอียดของการ connectivities เซลล์ประสาทจัดพวกเขาในพื้นที่และการแบ่งปันพารามิเตอร์ของพวกเขาโครงการ. ภาพรวมและปรีชา พารามิเตอร์ของชั้น CONV ประกอบด้วยชุดของตัวกรอง learnable กรองทุกตำแหน่งที่มีขนาดเล็ก (พร้อมกว้างและความสูง) แต่ขยายผ่านความลึกเต็มรูปแบบของปริมาณการป้อนข้อมูล ในระหว่างการไปข้างหน้าผ่านที่เราเลื่อน (อย่างแม่นยำมากขึ้น convolve) ตัวกรองแต่ละความกว้างและความสูงของปริมาณการป้อนข้อมูลการผลิตแผนที่ยืนยันการใช้งาน 2 มิติของตัวกรองที่ ในขณะที่เราเลื่อนกรองข้ามการป้อนข้อมูลที่เราได้รับการคำนวณผลิตภัณฑ์จุดระหว่างรายการของตัวกรองและใส่ สัญชาตญาณเครือข่ายจะได้เรียนรู้ว่าการเปิดใช้งานตัวกรองเมื่อพวกเขาเห็นบางประเภทเฉพาะของคุณลักษณะที่บางตำแหน่งเชิงพื้นที่ในการป้อนข้อมูล ซ้อนแผนที่ยืนยันการใช้งานเหล่านี้สำหรับตัวกรองทั้งหมดพร้อมมิติความลึกรูปแบบปริมาณการส่งออกเต็มรูปแบบ รายการในปริมาณการส่งออกทุกคนจึงยังสามารถตีความได้ว่าการส่งออกของเซลล์ประสาทที่มีลักษณะที่เฉพาะภูมิภาคเล็ก ๆ ในการป้อนข้อมูลและพารามิเตอร์หุ้นที่มีเซลล์ประสาทในแผนที่การเปิดใช้งานเดียวกัน (ตั้งแต่ตัวเลขเหล่านี้ผลจากการใช้ตัวกรองเดียวกัน) ตอนนี้เราดำน้ำในรายละเอียดของกระบวนการนี้. เชื่อมต่อท้องถิ่น เมื่อจัดการกับปัจจัยการผลิตที่สูงมิติเช่นภาพที่เราเห็นข้างต้นนั้นจะทำไม่ได้ที่จะเชื่อมต่อไปยังเซลล์ประสาทเซลล์ประสาทในปริมาณที่ก่อนหน้านี้ แต่เราจะเชื่อมต่อเซลล์ประสาทแต่ละเพียงภูมิภาคท้องถิ่นของปริมาณการป้อนข้อมูล ทะเลาะวิวาทกัน
การแปล กรุณารอสักครู่..
ภาพรวม : ขด Neural Network ( CNN ) ประกอบด้วยหนึ่งหรือมากกว่าหนึ่งขดชั้น ( มักด้วยค่าขั้นตอน ) แล้วตามด้วยหนึ่งหรือมากกว่าหนึ่งอย่างในมาตรฐานหลายชั้นเป็นเชื่อมต่อโครงข่ายประสาทเทียม . สถาปัตยกรรมของซีเอ็นเอ็นที่ถูกออกแบบมาเพื่อใช้ประโยชน์จากโครงสร้าง 2D ใส่ของภาพ ( หรือใส่แบบอื่น ๆ เช่น สัญญาณเสียงพูด )นี้ได้มีการเชื่อมต่อท้องถิ่นและเชื่อมโยงน้ำหนักตามด้วยบางรูปแบบของการซึ่งผลลัพธ์ในการแปลมีความ . ประโยชน์อื่นของ cnns เป็นว่าพวกเขาจะง่ายต่อการรถไฟ และมีหลายตัวแปรน้อยลงกว่าพร้อมการเชื่อมต่อเครือข่ายที่มีหมายเลขเดียวกันของหน่วยที่ซ่อนอยู่ในบทความนี้เราจะหารือเกี่ยวกับสถาปัตยกรรมของซีเอ็นเอ็นและขั้นตอนวิธีการกลับไปหาสีที่มีต่อค่าพารามิเตอร์ของแบบจำลองเพื่อใช้ในการเพิ่มประสิทธิภาพการใช้ ดูแบบฝึกหัดที่เกี่ยวข้องในรอยหยักของสมอง andpooling สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับผู้ที่เฉพาะการดำเนินงาน .
คอนสถาปัตยกรรมโครงข่ายประสาท ( cnns /
convnets )โครงข่ายประสาทเทียมในคอนจะคล้ายกันมากกับโครงข่ายประสาทเทียมธรรมดาจากบทก่อนหน้าที่พวกเขาจะสร้างขึ้นจากเซลล์ประสาทที่มีน้ำหนักและอคติ learnable . แต่ละเซลล์ได้รับบางข้อมูล ทําผลิตภัณฑ์จุดและเลือกที่จะตามมันด้วยไม่ . เครือข่าย ทั้งยังแสดงฟังก์ชัน Differentiable คะแนนเดียว :จากภาพดิบพิกเซลบนปลายด้านหนึ่งคะแนนที่เรียนอื่น ๆ และพวกเขายังคงมีการสูญเสียฟังก์ชัน ( เช่น SVM / softmax ) สุดท้าย ( มีต่อ ) ชั้นทั้งหมดเคล็ดลับ / เคล็ดลับที่เราพัฒนาขึ้นเพื่อการเรียนรู้โครงข่ายประสาทเทียมปกติยังคงใช้ .
แล้วอะไรที่เปลี่ยน ? convnet สถาปัตยกรรมให้ชัดเจน สมมติว่ากระผมเป็นรูปภาพซึ่งช่วยให้เราสามารถเข้ารหัสเป็นคุณสมบัติหนึ่งในสถาปัตยกรรม เหล่านี้ แล้วทำให้การทำงานมีประสิทธิภาพมากขึ้นที่จะใช้ออกมาอย่างมากมายและลดจำนวนของพารามิเตอร์ในเครือข่าย สถาปัตยกรรมภาพรวม
จำ : มุ้งประสาทปกติ อย่างที่เราเห็นในบทเรียนก่อนหน้านี้ โครงข่ายประสาทรับ input ( แบบเดี่ยว ) และแปลงมันผ่านชุดของชั้นซ่อนแต่ละชั้นซ่อนถูกสร้างขึ้นจากชุดของแต่ละเซลล์ประสาทเซลล์ประสาทที่เชื่อมต่ออย่างเต็มที่เซลล์ประสาทในชั้นก่อนหน้า และเซลล์ประสาทชั้นเดียวฟังก์ชันทั้งหมดที่เป็นอิสระและไม่แลกเปลี่ยนใด ๆการเชื่อมต่อ สุดท้ายเชื่อมต่อเต็มชั้นเรียกว่า " ชั้นออก " และในการตั้งค่าการจำแนกเป็นระดับคะแนน
ข่ายประสาทปกติดีไม่ขนาดเต็มภาพ ใน cifar-10 ภาพมีขนาด 32x32x3 ( 32 กว้าง 32 สูง 3 ช่องสี ) เพื่อเชื่อมต่อเซลล์ประสาทเดียวครบ ในแบบแรกอยู่ชั้นปกติ เครือข่ายประสาท จะได้ 32 * 32 * 3 = 1 รวม เงินจำนวนนี้ยังดูเหมือนว่าง่าย แต่ชัดเจนนี้อย่างเต็มที่การเชื่อมต่อโครงสร้างไม่ปรับภาพให้มีขนาดใหญ่ ตัวอย่างเช่นรูปภาพของ respectible ขนาดมากขึ้น เช่น 200x200x3 จะทำให้เซลล์ประสาทที่ 200 * 200 * 3 = 120 , 000 รวม นอกจากนี้ เราเกือบจะแน่นอนต้องการที่จะมีหลายเช่นเซลล์ประสาท ดังนั้นพารามิเตอร์จะเพิ่มขึ้นอย่างรวดเร็ว ชัดเจน , การเชื่อมต่อเต็มรูปแบบนี้เป็นการสิ้นเปลืองและจำนวนมากของพารามิเตอร์ได้อย่างรวดเร็วจะทำให้ overfitting .
3 มิติ ปริมาณ ของ เซลล์ประสาทโครงข่ายประสาทเทียมขดใช้ประโยชน์จากความจริงที่ว่าสัญญาณประกอบด้วยภาพและกำหนดสถาปัตยกรรมในทางที่เหมาะสมมากขึ้น โดยเฉพาะ ซึ่งแตกต่างจากปกติ , โครงข่ายประสาทชั้นของ convnet มีเซลล์ประสาทที่จัดใน 3 มิติ : ความกว้าง ความสูง ความลึก ( หมายเหตุ คำว่า depthhere หมายถึงมิติที่สามของการเปิดใช้งานเสียง
คอนสถาปัตยกรรมโครงข่ายประสาท ( cnns /
convnets )โครงข่ายประสาทเทียมในคอนจะคล้ายกันมากกับโครงข่ายประสาทเทียมธรรมดาจากบทก่อนหน้าที่พวกเขาจะสร้างขึ้นจากเซลล์ประสาทที่มีน้ำหนักและอคติ learnable . แต่ละเซลล์ได้รับบางข้อมูล ทําผลิตภัณฑ์จุดและเลือกที่จะตามมันด้วยไม่ . เครือข่าย ทั้งยังแสดงฟังก์ชัน Differentiable คะแนนเดียว :จากภาพดิบพิกเซลบนปลายด้านหนึ่งคะแนนที่เรียนอื่น ๆ และพวกเขายังคงมีการสูญเสียฟังก์ชัน ( เช่น SVM / softmax ) สุดท้าย ( มีต่อ ) ชั้นทั้งหมดเคล็ดลับ / เคล็ดลับที่เราพัฒนาขึ้นเพื่อการเรียนรู้โครงข่ายประสาทเทียมปกติยังคงใช้ .
แล้วอะไรที่เปลี่ยน ? convnet สถาปัตยกรรมให้ชัดเจน สมมติว่ากระผมเป็นรูปภาพซึ่งช่วยให้เราสามารถเข้ารหัสเป็นคุณสมบัติหนึ่งในสถาปัตยกรรม เหล่านี้ แล้วทำให้การทำงานมีประสิทธิภาพมากขึ้นที่จะใช้ออกมาอย่างมากมายและลดจำนวนของพารามิเตอร์ในเครือข่าย สถาปัตยกรรมภาพรวม
จำ : มุ้งประสาทปกติ อย่างที่เราเห็นในบทเรียนก่อนหน้านี้ โครงข่ายประสาทรับ input ( แบบเดี่ยว ) และแปลงมันผ่านชุดของชั้นซ่อนแต่ละชั้นซ่อนถูกสร้างขึ้นจากชุดของแต่ละเซลล์ประสาทเซลล์ประสาทที่เชื่อมต่ออย่างเต็มที่เซลล์ประสาทในชั้นก่อนหน้า และเซลล์ประสาทชั้นเดียวฟังก์ชันทั้งหมดที่เป็นอิสระและไม่แลกเปลี่ยนใด ๆการเชื่อมต่อ สุดท้ายเชื่อมต่อเต็มชั้นเรียกว่า " ชั้นออก " และในการตั้งค่าการจำแนกเป็นระดับคะแนน
ข่ายประสาทปกติดีไม่ขนาดเต็มภาพ ใน cifar-10 ภาพมีขนาด 32x32x3 ( 32 กว้าง 32 สูง 3 ช่องสี ) เพื่อเชื่อมต่อเซลล์ประสาทเดียวครบ ในแบบแรกอยู่ชั้นปกติ เครือข่ายประสาท จะได้ 32 * 32 * 3 = 1 รวม เงินจำนวนนี้ยังดูเหมือนว่าง่าย แต่ชัดเจนนี้อย่างเต็มที่การเชื่อมต่อโครงสร้างไม่ปรับภาพให้มีขนาดใหญ่ ตัวอย่างเช่นรูปภาพของ respectible ขนาดมากขึ้น เช่น 200x200x3 จะทำให้เซลล์ประสาทที่ 200 * 200 * 3 = 120 , 000 รวม นอกจากนี้ เราเกือบจะแน่นอนต้องการที่จะมีหลายเช่นเซลล์ประสาท ดังนั้นพารามิเตอร์จะเพิ่มขึ้นอย่างรวดเร็ว ชัดเจน , การเชื่อมต่อเต็มรูปแบบนี้เป็นการสิ้นเปลืองและจำนวนมากของพารามิเตอร์ได้อย่างรวดเร็วจะทำให้ overfitting .
3 มิติ ปริมาณ ของ เซลล์ประสาทโครงข่ายประสาทเทียมขดใช้ประโยชน์จากความจริงที่ว่าสัญญาณประกอบด้วยภาพและกำหนดสถาปัตยกรรมในทางที่เหมาะสมมากขึ้น โดยเฉพาะ ซึ่งแตกต่างจากปกติ , โครงข่ายประสาทชั้นของ convnet มีเซลล์ประสาทที่จัดใน 3 มิติ : ความกว้าง ความสูง ความลึก ( หมายเหตุ คำว่า depthhere หมายถึงมิติที่สามของการเปิดใช้งานเสียง
การแปล กรุณารอสักครู่..
ภาษาอื่น ๆ
การสนับสนุนเครื่องมือแปลภาษา: กรีก, กันนาดา, กาลิเชียน, คลิงออน, คอร์สิกา, คาซัค, คาตาลัน, คินยารวันดา, คีร์กิซ, คุชราต, จอร์เจีย, จีน, จีนดั้งเดิม, ชวา, ชิเชวา, ซามัว, ซีบัวโน, ซุนดา, ซูลู, ญี่ปุ่น, ดัตช์, ตรวจหาภาษา, ตุรกี, ทมิฬ, ทาจิก, ทาทาร์, นอร์เวย์, บอสเนีย, บัลแกเรีย, บาสก์, ปัญจาป, ฝรั่งเศส, พาชตู, ฟริเชียน, ฟินแลนด์, ฟิลิปปินส์, ภาษาอินโดนีเซี, มองโกเลีย, มัลทีส, มาซีโดเนีย, มาราฐี, มาลากาซี, มาลายาลัม, มาเลย์, ม้ง, ยิดดิช, ยูเครน, รัสเซีย, ละติน, ลักเซมเบิร์ก, ลัตเวีย, ลาว, ลิทัวเนีย, สวาฮิลี, สวีเดน, สิงหล, สินธี, สเปน, สโลวัก, สโลวีเนีย, อังกฤษ, อัมฮาริก, อาร์เซอร์ไบจัน, อาร์เมเนีย, อาหรับ, อิกโบ, อิตาลี, อุยกูร์, อุสเบกิสถาน, อูรดู, ฮังการี, ฮัวซา, ฮาวาย, ฮินดี, ฮีบรู, เกลิกสกอต, เกาหลี, เขมร, เคิร์ด, เช็ก, เซอร์เบียน, เซโซโท, เดนมาร์ก, เตลูกู, เติร์กเมน, เนปาล, เบงกอล, เบลารุส, เปอร์เซีย, เมารี, เมียนมา (พม่า), เยอรมัน, เวลส์, เวียดนาม, เอสเปอแรนโต, เอสโทเนีย, เฮติครีโอล, แอฟริกา, แอลเบเนีย, โคซา, โครเอเชีย, โชนา, โซมาลี, โปรตุเกส, โปแลนด์, โยรูบา, โรมาเนีย, โอเดีย (โอริยา), ไทย, ไอซ์แลนด์, ไอร์แลนด์, การแปลภาษา.
- A moderate increase in solar heat produc
- การจัดสอบ
- กล่อมนอน และ เชื่อใจกัน
- ฉันมีหลายเรื่องที่จะเล่าให้ฟัง
- inventories
- I like to write. Both word and song. I l
- และใช้ชีวิตอย่างมีความสุข
- มันไม่ใช่ธุระของคุณ.
- Close agian and i will call
- อดทน
- In this case, the machine is intended fo
- ผมชื่อTonkla เป็นProducer จากรายการ The
- ข้อมูลการเช่าที่จอดรถยนต์Parking rental
- Suppliers need to find out what their cu
- a CW sample
- Police investigating the accident said t
- Sales Promotion Incentives to buy...
- steel reinforcement
- มหาเศรษฐี
- 你一般几点休息
- ฉันไม่โชว์ จนกว่าเราจะได้พบกัน
- emergence
- Sales Promotion Incentives to buy...
- I can send money If you need
