where the gradient ∇C∇C is the vect

where the gradient ∇C∇C is the vector

Just as for the two variable case, we can choose

and we're guaranteed that our (approximate) expression (12) for ΔCΔC will be negative. This gives us a way of following the gradient to a minimum, even when CC is a function of many variables, by repeatedly applying the update rule

You can think of this update rule as defining the gradient descent algorithm. It gives us a way of repeatedly changing the position vv in order to find a minimum of the function CC. The rule doesn't always work - several things can go wrong and prevent gradient descent from finding the global minimum of CC, a point we'll return to explore in later chapters. But, in practice gradient descent often works extremely well, and in neural networks we'll find that it's a powerful way of minimizing the cost function, and so helping the net learn.

Indeed, there's even a sense in which gradient descent is the optimal strategy for searching for a minimum. Let's suppose that we're trying to make a move ΔvΔv in position so as to decrease CC as much as possible. This is equivalent to minimizing ΔC≈∇C⋅ΔvΔC≈∇C⋅Δv. We'll constrain the size of the move so that ∥Δv∥=ϵ‖Δv‖=ϵ for some small fixed ϵ>0ϵ>0. In other words, we want a move that is a small step of a fixed size, and we're trying to find the movement direction which decreases CC as much as possible. It can be proved that the choice of ΔvΔv which minimizes ∇C⋅Δv∇C⋅Δv is Δv=−η∇CΔv=−η∇C, where η=ϵ/∥∇C∥η=ϵ/‖∇C‖ is determined by the size constraint ∥Δv∥=ϵ‖Δv‖=ϵ. So gradient descent can be viewed as a way of taking small steps in the direction which does the most to immediately decrease CC.

ผลลัพธ์ (ไทย) 1:

ที่ ∇C∇C ไล่ระดับเป็นเวกเตอร์เพียงสำหรับกรณีสองตัวแปร เราสามารถเลือกและเราจะรับประกันว่า ของเราแสดงออก (โดยประมาณ) (12) ΔCΔC จะเป็นค่าลบ นี้ทำให้เรามีทางลาดให้น้อยที่สุด แม้ว่า CC เป็นฟังก์ชันหลายตัวแปร โดยใช้กฎการปรับปรุงซ้ำ ๆคุณสามารถคิดของกฎการปรับปรุงนี้เป็นการกำหนดขั้นตอนวิธีการไล่ระดับสีโคตร มันทำให้เราจะเปลี่ยนแปลง vv ตำแหน่งซ้ำ ๆ เพื่อหาต่ำสุดของฟังก์ชัน CC กฎไม่ทำงานเสมอ - หลายสิ่งที่สามารถไปผิด และป้องกันเชื้อสายไล่ระดับจากทั่วโลกต่ำสุด CC จุดเราจะกลับไปสำรวจในภายหลัง แต่ ในทางปฏิบัติไล่ระดับโคตรมักจะทำงานได้ดีมาก และในเครือข่ายประสาท เราจะพบว่า มันเป็นวิธีที่มีประสิทธิภาพลดฟังก์ชันต้นทุน และเพื่อ ช่วยให้เรียนรู้สุทธิจริง ๆ แม้จะมีความรู้สึกที่ไล่ระดับโคตรเป็นกลยุทธ์ที่ดีที่สุดสำหรับการค้นหาน้อยที่สุด สมมติว่า เรากำลังพยายามทำการย้าย ΔvΔv ในตำแหน่งเพื่อลด CC มากที่สุด นี้จะเท่ากับลด ΔC≈∇C⋅ΔvΔC≈∇C⋅Δv เราจะจำกัดขนาดของการย้ายดังนั้นที่ ∥Δv∥ = ϵ‖Δv‖ =ϵสำหรับϵถาวรบางเล็ก > 0ϵ > 0 ในคำอื่น ๆ เราต้องการย้ายที่เป็นขั้นตอนเล็ก ๆ ของขนาดที่ถาวร และเรากำลังพยายามค้นหาทิศทางการเคลื่อนไหวซึ่งลดลงเป็นซีซี สามารถพิสูจน์ว่าทางเลือกของ ΔvΔv ซึ่งช่วยลด ∇C⋅Δv∇C⋅Δv Δv = −η∇CΔv = −η∇C ที่η = ϵ/∥∇C∥η = ϵ/‖∇C‖ จะถูกกำหนด โดย ∥Δv∥ ข้อจำกัดขนาด = ϵ‖Δv‖ =ϵ เชื้อสายไล่ระดับเพื่อให้สามารถดูได้ ตามขั้นตอนวิธีการขนาดเล็กในทิศทางที่ไม่มากสุดเพื่อลดซีซีทันที

ผลลัพธ์ (ไทย) 2:

ที่∇C∇Cการไล่ระดับสีเป็นเวกเตอร์

เช่นเดียวสำหรับกรณีตัวแปรสองเราสามารถเลือก

และเรารับประกันได้ว่าเรา (โดยประมาณ) การแสดงออก (12) สำหรับΔCΔCจะเป็นค่าลบ นี้ทำให้เรามีวิธีการดังต่อไปนี้การไล่ระดับสีให้น้อยที่สุดแม้ในขณะที่ซีซีเป็นหน้าที่ของตัวแปรจำนวนมากด้วยซ้ำการใช้กฎการปรับปรุงที่

คุณสามารถคิดว่ากฎการปรับปรุงนี้การกำหนดขั้นตอนวิธีการไล่ระดับสีโคตร มันทำให้เรามีวิธีการซ้ำ ๆ เปลี่ยนตำแหน่ง VV เพื่อหาต่ำสุดของ CC ฟังก์ชั่นที่ กฎไม่เคยทำงาน - หลายสิ่งที่สามารถไปอย่างผิดปกติและป้องกันการสืบเชื้อสายมาจากการหาลาดต่ำสุดระดับโลกของซีซีจุดที่เราจะกลับไปสำรวจในบทต่อ แต่ในทางปฏิบัติการไล่ระดับสีโคตรมักจะทำงานได้ดีมากและในเครือข่ายประสาทเราจะพบว่ามันเป็นวิธีที่มีประสิทธิภาพของการลดค่าใช้จ่ายในการทำงานและเพื่อช่วยให้เรียนรู้สุทธิ

อันที่จริงมีแม้กระทั่งความรู้สึกที่โคตรลาดเป็นกลยุทธ์ที่ดีที่สุดสำหรับการค้นหาอย่างน้อยหนึ่ง สมมติว่าเรากำลังพยายามที่จะทำให้ΔvΔvย้ายในตำแหน่งเพื่อลด CC มากที่สุดเท่าที่เป็นไปได้ นี้จะเทียบเท่ากับการลดΔC≈∇C⋅ΔvΔC≈∇C⋅Δv เราจะ จำกัด ขนาดของการย้ายเพื่อให้∥Δv∥ = ε‖Δv‖ = εสำหรับบางขนาดเล็กคงε> 0ε> 0 ในคำอื่น ๆ ที่เราต้องการย้ายที่เป็นขั้นตอนเล็ก ๆ ของขนาดคงที่และเรากำลังพยายามที่จะหาทิศทางการเคลื่อนไหวที่ลดลง CC มากที่สุดเท่าที่เป็นไปได้ มันสามารถพิสูจน์ได้ว่าทางเลือกของΔvΔvซึ่งช่วยลดการ∇C⋅Δv∇C⋅ΔvคือΔv = = -η∇CΔv-η∇Cที่η = ε / ∥∇C∥η = ε / ‖∇C‖คือ กำหนดโดย จำกัด ขนาด∥Δv∥ = ε‖Δv‖ = ε ดังนั้นเชื้อสายลาดสามารถดูเป็นวิธีการทำตามขั้นตอนเล็ก ๆ ในทิศทางที่ไม่มากที่สุดเพื่อลด CC ทันที

ผลลัพธ์ (ไทย) 3:

ที่ลาด∇ C ∇ C เป็นเวกเตอร์เพียงแค่สำหรับสองตัวแปร กรณี เราสามารถเลือกและเรารับประกันว่าของเรา ( โดยประมาณ ) การแสดงออก ( 12 ) Δ C Δ C จะถูกลบ นี้จะช่วยให้เราวิธีการต่อไปนี้การไล่ระดับสีให้น้อยที่สุด แม้ว่า CC เป็นฟังก์ชันของตัวแปรหลาย ด้วยซ้ำการปรับปรุง กฎคุณสามารถคิดว่านี้ปรับปรุงกฎการกำหนดความลาดชันโคตรขั้นตอนวิธี มันทำให้เราวิธีซ้ำเปลี่ยนตำแหน่งเป็นต้นเพื่อที่จะหาต่ำสุดของฟังก์ชัน CC กฎมักจะไม่ทำงาน หลายๆ สิ่งที่สามารถไปผิด และป้องกันการตกลงมาจากการหาขั้นต่ำทั่วโลกถึงจุดที่เราจะกลับไปสำรวจในบทต่อมา แต่ในการปฏิบัติการไล่ระดับสีโคตรบ่อยทำงานดีมาก และโครงข่ายประสาทเทียม เราจะพบว่า มันเป็นวิธีที่มีประสิทธิภาพของการลดค่าใช้จ่ายในการทำงานและเพื่อช่วยให้เครือข่ายเรียนรู้แน่นอน ไม่มีแม้แต่ความรู้สึกที่ไล่ระดับโคตรเป็นกลยุทธ์ที่ดีที่สุดสำหรับการค้นหาน้อย สมมุติว่าเรากำลังพยายามย้ายΔ V Δ V ในตำแหน่งเพื่อลด CC มากที่สุดเท่าที่เป็นไปได้ นี้จะเทียบเท่ากับการลดΔ C ≈∇ C ⋅Δ V C C Δ≈∇⋅Δ V . เราจะกำหนดขนาดของการย้ายเพื่อให้∥Δ V ∥ = v = ϵ‖Δ‖ϵบางขนาดเล็กคงϵ > 0 ϵ > 0 ในคำอื่น ๆที่เราอยากย้ายที่ก้าวเล็ก ๆของขนาดคงที่ และเรากำลังพยายามที่จะหาทิศทางการเคลื่อนไหวที่ลดลง ( มากที่สุดเท่าที่เป็นไปได้ มันสามารถพิสูจน์ได้ว่าทางเลือกของΔ V Δ V ซึ่งช่วยลด∇ C ⋅Δ V ∇ C ⋅Δ v Δ V = V = −η∇Δ−η∇ C C ที่η = ϵ / ∥∇ C ∥η = ϵ / ‖∇ C ‖จะถูกกำหนดโดยขนาดข้อจำกัด∥Δ V ∥ = v = ϵ‖Δ‖ϵ . ดังนั้น การไล่ระดับสีโคตรสามารถดูเป็นวิธีการที่จะก้าวเล็ก ๆในทิศทางที่ไม่ที่สุดทันทีลด CC