Notice that with this rule gradient

Notice that with this rule gradient descent doesn't reproduce real physical motion. In real life a ball has momentum, and that momentum may allow it to roll across the slope, or even (momentarily) roll uphill. It's only after the effects of friction set in that the ball is guaranteed to roll down into the valley. By contrast, our rule for choosing ΔvΔv just says "go down, right now". That's still a pretty good rule for finding the minimum!

To make gradient descent work correctly, we need to choose the learning rate ηη to be small enough that Equation (9) is a good approximation. If we don't, we might end up with ΔC>0ΔC>0, which obviously would not be good! At the same time, we don't want ηη to be too small, since that will make the changes ΔvΔv tiny, and thus the gradient descent algorithm will work very slowly. In practical implementations, ηη is often varied so that Equation (9) remains a good approximation, but the algorithm isn't too slow. We'll see later how this works.

I've explained gradient descent when CC is a function of just two variables. But, in fact, everything works just as well even when CC is a function of many more variables. Suppose in particular that CC is a function of mm variables, v1,…,vmv1,…,vm. Then the change ΔCΔC in CC produced by a small change Δv=(Δv1,…,Δvm)TΔv=(Δv1,…,Δvm)T is

ผลลัพธ์ (ไทย) 1:

ขอให้สังเกตว่า กฎนี้ ไล่ระดับโคตรไม่เกิดเคลื่อนไหวทางกายภาพจริง ในชีวิตจริง ลูกมีโมเมนตัม และโมเมนตัมที่อาจอนุญาตให้ม้วนข้ามลาด หรือแม้แต่ (ชั่วขณะ) ไต่ มันเป็นเฉพาะหลังจากผลของแรงเสียดทานในการที่ลูกเป็นการรับประกันว่า จะม้วนลงเป็นหุบเขา โดยคมชัด กฎของเราสำหรับการเลือก ΔvΔv เพียงบอกว่า "ไปลง อยู่" ที่ยังคงเป็นกฎที่ดีสำหรับการค้นหาขั้นต่ำการทำงานถูกไล่ระดับโคตร เราต้องเลือกการเรียนรู้อัตราηηจะเล็กพอว่า สมการ (9) เป็นการประมาณที่ดี ถ้าเราไม่ เราอาจจะ มี ΔC > 0ΔC > 0 ซึ่งเห็นได้ชัดจะไม่ดี ในเวลาเดียวกัน เราไม่ต้องηηจะเล็กเกินไป ตั้งแต่ให้ ΔvΔv การเปลี่ยนแปลงเล็ก ๆ และดังนั้น อัลกอริทึมไล่ระดับโคตรจะทำงานช้ามาก ในการใช้งานจริง ηηแตกต่างกันมักจะดังนั้นสมการ (9) ยังคง ประมาณการดี แต่อัลกอริทึมไม่ช้าเกินไป เราจะเห็นในภายหลังอย่างไรฉันได้อธิบายไล่ระดับโคตรเมื่อ CC เป็นฟังก์ชันของตัวแปรเพียงสอง แต่ ในความเป็นจริง ทำงานทุกอย่างได้ดีแม้ว่า CC เป็นฟังก์ชันของตัวแปรเพิ่มเติมจำนวนมาก สมมติว่าโดยเฉพาะ CC ที่เป็นฟังก์ชันของตัวแปรมม. v1,..., vmv1,..., vm แล้ว ΔCΔC เปลี่ยนในซีซีผลิต โดย Δv การเปลี่ยนแปลงเล็กน้อย = (Δv1,..., Δvm) TΔv (Δv1,..., Δvm) = T คือ

ผลลัพธ์ (ไทย) 2:

ขอให้สังเกตว่ามีนี้โคตรกฎการไล่ระดับสีไม่ทำซ้ำการเคลื่อนไหวทางกายภาพจริง ในชีวิตจริงลูกมีโมเมนตัมและโมเมนตัมที่อาจช่วยให้มันแผ่ทั่วลาดชันหรือแม้กระทั่ง (ชั่วขณะ) กลิ้งขึ้นเนิน มันเป็นเพียงหลังจากผลกระทบของแรงเสียดทานที่กำหนดไว้ในการที่ลูกจะรับประกันว่าจะแผ่ลงไปในหุบเขา ในทางตรงกันข้ามการปกครองของเราสำหรับการเลือกΔvΔvเพียงแค่บอกว่า "ลงไปตอนนี้" ที่ยังคงเป็นกฎที่ดีงามในการหาต่ำสุด!

เพื่อให้การทำงานโคตรลาดอย่างถูกต้องเราต้องเลือกηηอัตราการเรียนรู้ที่จะมีขนาดเล็กพอสมการที่ (9) เป็นประมาณการที่ดี ถ้าเราทำไม่ได้เราจะจบลงด้วยΔC> 0ΔC> 0 ซึ่งเห็นได้ชัดว่าจะไม่ดี! ในขณะเดียวกันเราไม่ต้องการηηให้มีขนาดเล็กเกินไปเพราะนั่นจะทำให้การเปลี่ยนแปลงΔvΔvเล็ก ๆ และทำให้ขั้นตอนวิธีการไล่ระดับสีโคตรจะทำงานช้ามาก ในการใช้งานในทางปฏิบัติηηมักจะแตกต่างกันเพื่อให้สมการที่ (9) ยังคงประมาณการที่ดี แต่อัลกอริทึมที่ไม่ช้าเกินไป เราจะได้เห็นต่อไปวิธีการทำงานนี้

ผมได้อธิบายโคตรลาดเมื่อ CC เป็นหน้าที่ของเพียงสองตัวแปร แต่ในความเป็นจริงทุกอย่างทำงานก็เช่นกันแม้ในขณะที่ซีซีเป็นหน้าที่ของตัวแปรอื่น ๆ อีกมากมาย สมมติว่าโดยเฉพาะอย่างยิ่งที่ CC เป็นหน้าที่ของตัวแปรมม V1, ... , vmv1, ... , VM แล้วΔCΔCเปลี่ยนแปลงใน CC ผลิตโดยการเปลี่ยนแปลงเล็ก ๆ Δv = (Δv1, ... , Δvm) TΔv = (Δv1, ... , Δvm) T คือ

ผลลัพธ์ (ไทย) 3:

สังเกตเห็นว่ามีกฎนี้ไล่ระดับโคตรไม่ทำซ้ำการเคลื่อนไหวทางกายภาพจริง ในชีวิตจริงบอลได้แรงและโมเมนตัมที่อาจช่วยให้มันกลิ้งข้ามเนิน หรือแม้แต่ ( ชั่วขณะ ) ม้วนขึ้น มันเป็นเพียงหลังจากที่ผลของแรงเสียดทานในที่บอลจะรับประกันที่จะม้วนลงในหุบเขา ในทางตรงกันข้าม กฎของเราสำหรับการเลือกΔΔ V V ก็กล่าวว่า " ลงไปเดี๋ยวนี้ " ที่ยังคงกฎดีหาน้อยเพื่อให้การไล่ระดับโคตรทำงานอย่างถูกต้อง เราต้องเลือกอัตราการเรียนรู้ηηถูกขนาดเล็กพอ สมการที่ ( 9 ) คือการประมาณที่ดี ถ้าเราไม่ทำ เราอาจจะลงเอยด้วยΔ c > 0 Δ c > 0 ซึ่งเห็นได้ชัดจะไม่ดี ! ในเวลาเดียวกัน เราไม่อยากηηจะเล็กเกินไป เนื่องจากจะทำให้การเปลี่ยนแปลงΔ V Δ V เล็ก จึงไล่ระดับโคตรอัลกอริทึมจะทำงานได้ช้ามาก ในการใช้งานจริง ηηมักจะแตกต่างกันดังนั้นสมการที่ ( 9 ) ยังคงใกล้เคียงที่ดี แต่วิธีการไม่ช้าเกินไป เราจะเห็นในภายหลัง วิธีการทำงานนี้ผมก็อธิบายไล่ระดับโคตรเมื่อ CC เป็นฟังก์ชันสองตัวแปร แต่ ในความเป็นจริง ทุกอย่างใช้งานได้เป็นอย่างดี แม้ว่า CC เป็นฟังก์ชันหลายตัวแปร สมมติว่าในที่เฉพาะเจาะจงที่ CC เป็นฟังก์ชันของมม. ตัว V1 , . . . , vmv1 , . . . , VM . แล้วเปลี่ยนΔ C Δ C ในซีซีที่ผลิตโดยการเปลี่ยนแปลงขนาดเล็กΔ V = ( Δ V1 , . . . , Δ VM ) T Δ V = ( Δ V1 , . . . , Δ VM ) t คือ