Here, ww denotes the collection of

Here, ww denotes the collection of all weights in the network, bb all the biases, nn is the total number of training inputs, aa is the vector of outputs from the network when xx is input, and the sum is over all training inputs, xx. Of course, the output aa depends on xx, ww and bb, but to keep the notation simple I haven't explicitly indicated this dependence. The notation ∥v∥‖v‖ just denotes the usual length function for a vector vv. We'll call CC the quadratic cost function; it's also sometimes known as the mean squared error or just MSE. Inspecting the form of the quadratic cost function, we see that C(w,b)C(w,b) is non-negative, since every term in the sum is non-negative. Furthermore, the cost C(w,b)C(w,b) becomes small, i.e., C(w,b)≈0C(w,b)≈0, precisely when y(x)y(x) is approximately equal to the output, aa, for all training inputs, xx. So our training algorithm has done a good job if it can find weights and biases so that C(w,b)≈0C(w,b)≈0. By contrast, it's not doing so well when C(w,b)C(w,b) is large - that would mean that y(x)y(x) is not close to the output aa for a large number of inputs. So the aim of our training algorithm will be to minimize the cost C(w,b)C(w,b) as a function of the weights and biases. In other words, we want to find a set of weights and biases which make the cost as small as possible. We'll do that using an algorithm known as gradient descent.

ผลลัพธ์ (ไทย) 1:

ที่นี่ ww หมายถึงคอลเลกชันของน้ำหนักทั้งหมดในเครือข่าย บีบีทั้งหมดอคติ nn คือ จำนวนของปัจจัยการผลิตการฝึกอบรม aa เป็นเวกเตอร์ของผลจากเครือข่ายเมื่อ xx คืออินพุต และผลรวมอยู่ทั้งหมดฝึกอบรมอินพุต xx แน่นอน ผลผลิตขึ้นอยู่ xx, ww และบีบีกับ aa แต่เพื่อให้สัญลักษณ์ง่าย ผมยังไม่ได้ระบุอย่างชัดเจนนี้พึ่งพา ∥v∥‖v‖ สัญกรณ์เพียงแสดงถึงฟังก์ชันความยาวปกติสำหรับ vv. เป็นเวกเตอร์ เราจะโทรหา CC กำลังสองฟังก์ชัน ต้นทุน นอกจากนี้มันยังมีชื่อว่าหมายถึงกำลังสองข้อผิดพลาดหรือเพียง MSE ตรวจสอบรูปแบบของฟังก์ชั่นต้นทุนกำลังสอง เราเห็นว่า C(w,b)C(w,b) จะไม่เป็นลบ เนื่องจากทุกคำในผลรวมไม่เป็นลบ นอกจากนี้ ต้นทุน C(w,b)C(w,b) กลายเป็นเล็ก เช่น C (w, b) ≈0C (w, b) ≈0 เมื่อ y(x)y(x) เป็นประมาณเท่ากับเอาต์พุต aa สัญญาณเข้าฝึกอบรมทั้งหมด xx ดังนั้นอัลกอริทึมการฝึกอบรมของเราได้ทำงานดีถ้าคุณสามารถค้นหา น้ำหนัก และอคตินั้นที่ ≈0C C (b w ) (w, b) ≈0 โดยคมชัด มันไม่ได้ทำให้ดีเมื่อ C(w,b)C(w,b) มีขนาดใหญ่ - ที่จะหมายถึง y(x)y(x) ที่ไม่ได้อยู่ใกล้กับผลลัพธ์ aa สำหรับปัจจัยการผลิตเป็นจำนวนมาก ดังนั้นจุดมุ่งหมายของขั้นตอนวิธีการฝึกอบรมของเราจะลดต้นทุน C(w,b)C(w,b) เป็นฟังก์ชันของน้ำหนักและอคติ ในคำอื่น ๆ เราต้องการค้นหาชุดของตุ้มน้ำหนักและอคติซึ่งทำให้ต้นทุนขนาดเล็กที่สุด เราจะทำที่ใช้อัลกอริทึมที่เรียกว่าโคตรไล่ระดับ

ผลลัพธ์ (ไทย) 2:

นี่ WW หมายถึงคอลเลกชันของน้ำหนักทั้งหมดในเครือข่าย BB อคติทั้งหมด NN คือจำนวนของปัจจัยการผลิตการฝึกอบรม AA เป็นเวกเตอร์ของเอาท์พุทจากเครือข่ายเมื่อ xx คือการป้อนข้อมูลและผลรวมที่มีมากกว่าปัจจัยการผลิตการฝึกอบรมทั้งหมด xx แน่นอน AA ส่งออกขึ้นอยู่กับ xx, WW และ BB แต่เพื่อให้สัญกรณ์ง่ายฉันยังไม่ได้แสดงให้เห็นอย่างชัดเจนพึ่งพานี้ ∥v∥‖v‖สัญกรณ์เพียงหมายถึงฟังก์ชั่นความยาวปกติสำหรับ VV เวกเตอร์ เราจะเรียก CC ฟังก์ชั่นค่าใช้จ่ายกำลังสอง; ก็ยังบางครั้งเรียกว่าข้อผิดพลาด Squared เฉลี่ยหรือเพียงแค่ MSE การตรวจสอบรูปแบบของฟังก์ชั่นค่าใช้จ่ายกำลังสองเราจะเห็นว่า C (W, B) C (W, B) เป็นที่ไม่ใช่เชิงลบเนื่องจากในระยะรวมทุกไม่ใช่เชิงลบ นอกจากนี้ค่าใช้จ่าย C (W, B) C (W b) จะกลายเป็นขนาดเล็กคือ C (W b) ≈0C (w ข) ≈0ได้อย่างแม่นยำเมื่อ Y (x) Y (x) มีค่าเท่ากับประมาณ เพื่อการส่งออก, AA สำหรับปัจจัยการผลิตการฝึกอบรมทั้งหมด xx ดังนั้นขั้นตอนวิธีการฝึกอบรมของเราได้ดำเนินงานที่ดีถ้ามันสามารถหาน้ำหนักและอคติเพื่อให้ C (W b) ≈0C (w ข) ≈0 ในทางตรงกันข้ามก็ไม่ได้ทำเช่นนั้นได้ดีเมื่อ C (W, B) C (w ข) มีขนาดใหญ่ - ที่จะหมายถึง Y ที่ (x) Y (x) ไม่ได้ใกล้กับ AA เอาท์พุทสำหรับจำนวนมากของปัจจัยการผลิต ดังนั้นจุดมุ่งหมายของขั้นตอนวิธีการฝึกอบรมของเราจะได้รับการลดค่าใช้จ่าย C (W, B) C (w ข) เป็นหน้าที่ของน้ำหนักและอคติ ในคำอื่น ๆ ที่เราต้องการที่จะหาชุดของน้ำหนักและอคติซึ่งทำให้ค่าใช้จ่ายที่มีขนาดเล็กที่สุดเท่าที่ทำได้ เราจะทำอย่างนั้นได้โดยใช้วิธีที่เรียกว่าโคตรลาด

ผลลัพธ์ (ไทย) 3:

ที่นี่ , WW แสดงคอลเลกชันของน้ำหนักทั้งหมดในเครือข่าย BB อคติทั้งหมด , nn คือจำนวนของปัจจัยการฝึก AA เป็นเวกเตอร์ของผลผลิตจากเครือข่ายเมื่อ xx เป็น input และผลรวมมากกว่าปัจจัยการผลิตการฝึกอบรมทั้งหมด xx . แน่นอน การส่งออก AA ขึ้นอยู่กับ XX WW และบีบี แต่เก็บโน้ตง่าย ๆฉันยังไม่ได้ระบุไว้อย่างชัดเจนการพึ่งพานี้ หมายเหตุ∥ V ∥‖ V ‖แค่แสดงฟังก์ชันความยาวปกติสำหรับเวกเตอร์เป็นต้น . เราจะโทรหา CC ฟังก์ชันต้นทุนกำลังสอง มันยังบางครั้งเรียกว่าหมายถึงยกกำลังสองข้อผิดพลาดหรือ MSE . การตรวจสอบรูปแบบของฟังก์ชันต้นทุนกำลังสอง เราพบว่า C ( W , B ) C ( W , B ) ไม่ลบ เนื่องจากทุกระยะในผลรวมไม่ลบ นอกจากนี้ ต้นทุน C ( W , B ) C ( W , B ) จะกลายเป็นขนาดเล็ก ได้แก่ C ( W , B ) ≈ 0C ( W , B ) ≈ 0 แน่นอนเมื่อ Y ( x ) Y ( X ) มีค่าประมาณเท่ากับผลผลิต , AA , ปัจจัยการผลิต , การฝึกทั้งหมด xx . ดังนั้นขั้นตอนวิธีการฝึกของเรา ได้ทำงานที่ดี ถ้าสามารถหาน้ำหนักและอคติที่ C ( W , B ) ≈ 0C ( W , B ) ≈ 0 ในทางตรงกันข้าม มันก็ไม่ทำดีเมื่อ C ( W , B ) C ( W , b ) มีขนาดใหญ่ - นั่นหมายความว่า Y ( X ) y ( x ) จะปิดไม่ให้ผลผลิต AA สำหรับจำนวนขนาดใหญ่ของข้อมูล ดังนั้นเป้าหมายของขั้นตอนวิธีการฝึกอบรมของเราจะลดต้นทุน C ( W , B ) C ( W , A ) เป็นฟังก์ชันของน้ำหนักและ biases ในคำอื่น ๆที่เราต้องการที่จะหาชุดของน้ำหนักและอคติ ซึ่งทำให้ต้นทุนขนาดเล็กที่สุด . เราก็จะทำโดยใช้อัลกอริทึมที่รู้จักกันเป็น การไล่ระดับสีโคตร .