ExerciseAn extreme version of gradi

Exercise

An extreme version of gradient descent is to use a mini-batch size of just 1. That is, given a training input, xx, we update our weights and biases according to the rules wk→w′k=wk−η∂Cx/∂wkwk→wk′=wk−η∂Cx/∂wk and bl→b′l=bl−η∂Cx/∂blbl→bl′=bl−η∂Cx/∂bl. Then we choose another training input, and update the weights and biases again. And so on, repeatedly. This procedure is known as online, on-line, or incremental learning. In online learning, a neural network learns from just one training input at a time (just as human beings do). Name one advantage and one disadvantage of online learning, compared to stochastic gradient descent with a mini-batch size of, say, 2020.
Let me conclude this section by discussing a point that sometimes bugs people new to gradient descent. In neural networks the cost CC is, of course, a function of many variables - all the weights and biases - and so in some sense defines a surface in a very high-dimensional space. Some people get hung up thinking: "Hey, I have to be able to visualize all these extra dimensions". And they may start to worry: "I can't think in four dimensions, let alone five (or five million)". Is there some special ability they're missing, some ability that "real" supermathematicians have? Of course, the answer is no. Even most professional mathematicians can't visualize four dimensions especially well, if at all. The trick they use, instead, is to develop other ways of representing what's going on. That's exactly what we did above: we used an algebraic (rather than visual) representation of ΔCΔC to figure out how to move so as to decrease CC. People who are good at thinking in high dimensions have a mental library containing many different techniques along these lines; our algebraic trick is just one example. Those techniques may not have the simplicity we're accustomed to when visualizing three dimensions, but once you build up a library of such techniques, you can get pretty good at thinking in high dimensions. I won't go into more detail here, but if you're interested then you may enjoy reading this discussion of some of the techniques professional mathematicians use to think in high dimensions. While some of the techniques discussed are quite complex, much of the best content is intuitive and accessible, and could be mastered by anyone.

ผลลัพธ์ (ไทย) 1:

ออกกำลังกายรุ่นโคตรไล่ระดับมากคือการ ใช้ชุดมินิขนาดเพียง 1 นั่นคือ รับการฝึกอบรม อินพุต xx เราปรับปรุงน้ำหนักและอคติของเราตาม wk→w′k กฎ = wk−η∂Cx/∂wkwk→wk′ = wk−η∂Cx/∂wk และ bl→b′l = bl−η∂Cx/∂blbl→bl′ = bl−η∂Cx/∂bl แล้วเราเลือกอินพุตอื่นการฝึกอบรม และปรับปรุงน้ำหนักและอคติอีก และอื่น ๆ ซ้ำ ๆ กระบวนการนี้เรียกว่าการเรียนรู้ออนไลน์ ออนไลน์ หรือแบบเพิ่มหน่วย ในการเรียนรู้ออนไลน์ เครือข่ายประสาทเรียนรู้จากการป้อนข้อมูลการฝึกอบรมเพียงหนึ่งครั้ง (เช่นเดียวกับมนุษย์) ชื่อประโยชน์ข้อหนึ่ง และข้อเสียอย่างหนึ่งของออนไลน์การเรียนรู้ เมื่อเทียบกับเชื้อสายไล่ระดับ stochastic ชุดมินิขนาด พูด 2020ผมขอสรุปในส่วนนี้ โดยการอภิปรายจุดที่บางครั้งคนใหม่ไล่ระดับโคตร ในเครือข่ายประสาท CC ต้นทุน เป็น หลักสูตร ฟังก์ชันหลายตัวแปร -ทั้งหมดน้ำหนักและอคติ - และดังนั้น ในความรู้สึกบางพื้นผิวในพื้นที่สูงมากขนาดนี้ บางคนได้รับการแขวนคิด: "เฮ้ ฉันมีเพื่อให้สามารถเห็นภาพทั้งหมดเหล่านี้มิติพิเศษ" และพวกเขาอาจเริ่มกังวล: "ผมไม่คิดว่า ในสี่ มิติ ประสาห้า (หรือห้าล้าน)" มีความสามารถพิเศษบางอย่างที่พวกเขากำลังหายไป ความสามารถบางอย่างที่มี "ความจริง" supermathematicians แน่นอน คำตอบคือไม่ แม้แต่มืออาชีพ mathematicians ไม่เห็นภาพสี่มิติเช่น ถ้าที่ทั้งหมด เคล็ดลับที่พวกเขาใช้ แทน คือการ พัฒนาความคิดเป็นสิ่งที่เกิดขึ้น นั่นคือสิ่งที่เราได้ข้างต้น: เราใช้การแสดงทางพีชคณิต (มากกว่าภาพ) ของ ΔCΔC จะคิดออกวิธีการย้ายเพื่อลด CC คนดีที่คิดในมิติสูงมีจิตใจที่ประกอบด้วยเทคนิคแตกต่างกันตามบรรทัดเหล่านี้ เคล็ดลับของเราทางพีชคณิตเป็นเพียงตัวอย่างหนึ่ง เทคนิคเหล่านั้นอาจไม่มีความเรียบง่ายเราเคยเมื่อแสดงผลสามมิติ แต่เมื่อคุณสร้างไลบรารีของเทคนิคดังกล่าว คุณสามารถได้รับสวยดีที่คิดในมิติที่สูงขึ้น ฉันจะไม่ไปลงในรายละเอียดที่นี่ แต่หากคุณสนใจ แล้วคุณอาจเพลิดเพลินกับการอ่านสนทนานี้ของบางอย่างของเทคนิคที่ mathematicians อาชีพที่ใช้การคิดในมิติที่สูง บางส่วนของเทคนิคที่กล่าวถึงจะค่อนข้างซับซ้อน มากของเนื้อหาที่ดีที่สุดสามารถเข้าถึงได้ง่าย และสามารถเข้าใจได้ทุกคน

ผลลัพธ์ (ไทย) 2:

การออกกำลังกาย

รุ่นที่รุนแรงเชื้อสายลาดคือการใช้ขนาดมินิแบทช์เพียง 1 นั่นคือการได้รับการป้อนข้อมูลการฝึกอบรม xx เราปรับปรุงน้ำหนักและอคติของเราเป็นไปตามกฎ WK → w'k = WK-η∂Cx / ∂wkwk→ WK '= WK-η∂Cx / ∂wkและ BL → b'l = BL-η∂Cx / ∂blbl→ BL' = BL-η∂Cx / ∂bl แล้วเราเลือกการป้อนข้อมูลการฝึกอบรมอื่นและปรับปรุงน้ำหนักและอคติอีกครั้ง และอื่น ๆ ซ้ำแล้วซ้ำอีก ขั้นตอนนี้เป็นที่รู้จักกันออนไลน์แบบ on-line หรือการเรียนรู้ที่เพิ่มขึ้น ในการเรียนรู้ออนไลน์, เครือข่ายประสาทเรียนรู้จากการป้อนข้อมูลเพียงหนึ่งในการฝึกอบรมในเวลา (เช่นเดียวกับที่มนุษย์ทำ) ชื่อหนึ่งประโยชน์และข้อเสียหนึ่งในการเรียนรู้ออนไลน์เมื่อเทียบกับการไล่ระดับสีโคตรสุ่มที่มีขนาดเล็กชุดของการพูดในปี 2020
ผมขอสรุปในส่วนนี้โดยการอภิปรายประเด็นที่บางครั้งข้อบกพร่องผู้คนใหม่ ๆ ลาดลงมา ในเครือข่ายประสาท CC ค่าใช้จ่ายของหลักสูตรฟังก์ชั่นของตัวแปรหลาย - น้ำหนักและอคติ - และอื่น ๆ ในความรู้สึกบางกำหนดพื้นผิวในพื้นที่สูงมิติมาก บางคนได้รับแขวนขึ้นความคิด: "เฮ้ฉันจะต้องสามารถที่จะเห็นภาพทุกมิติพิเศษเหล่านี้" และพวกเขาอาจจะเริ่มกังวลว่า "ผมไม่สามารถคิดในมิติที่สี่ให้อยู่คนเดียวห้า (หรือห้าล้านบาท)" มีบางความสามารถพิเศษที่พวกเขากำลังขาดหายไปความสามารถบางอย่างที่ supermathematicians "ของจริง" ได้? แน่นอนคำตอบคือไม่มี แม้นักคณิตศาสตร์มืออาชีพส่วนใหญ่ไม่สามารถเห็นภาพสี่มิติโดยเฉพาะอย่างยิ่งถ้าที่ทั้งหมด เคล็ดลับที่พวกเขาใช้แทนคือการพัฒนาวิธีการอื่น ๆ ของการเป็นตัวแทนสิ่งที่เกิดขึ้น นั่นคือสิ่งที่เราทำไป: เราใช้พีชคณิต (แทนที่จะภาพ) เป็นตัวแทนของΔCΔCจะคิดออกว่าจะย้ายเพื่อลด CC คนที่มีดีที่ความคิดในมิติที่สูงจะมีห้องสมุดจิตที่มีเทคนิคที่แตกต่างกันไปตามเส้นเหล่านี้ เคล็ดลับเกี่ยวกับพีชคณิตของเราเป็นเพียงตัวอย่างหนึ่ง เทคนิคเหล่านั้นอาจไม่ได้มีความเรียบง่ายที่เราคุ้นเคยกับการเมื่อการแสดงผลสามมิติ แต่เมื่อคุณสร้างห้องสมุดของเทคนิคดังกล่าวคุณจะได้รับสิ่งที่ดีงามที่คิดในมิติที่สูง ฉันจะไม่เข้าไปดูรายละเอียดเพิ่มเติมได้ที่นี่ แต่ถ้าคุณสนใจแล้วคุณอาจสนุกกับการอ่านการอภิปรายของบางส่วนของเทคนิคนี้นักคณิตศาสตร์มืออาชีพใช้ในการคิดในมิติที่สูง ในขณะที่บางส่วนของเทคนิคที่กล่าวถึงจะค่อนข้างซับซ้อนมากของเนื้อหาที่ดีที่สุดคือใช้งานง่ายและสามารถเข้าถึงได้และสามารถเข้าใจได้โดยทุกคน

ผลลัพธ์ (ไทย) 3:

ออกกําลังกายรุ่นสุดขีดของความลาดชันโคตร คือการใช้ มินิ ขนาดชุดเพียง 1 นั่นคือ ให้ฝึกใส่ xx เรา update น้ำหนักและอคติตามกฎ WK → keyboard - key - name W K = สัปดาห์นั้น−η∂ CX / ∂ wkwk → keyboard - key - name นั้นต่อสัปดาห์ = −η∂ CX / wk ∂ BL → keyboard - key - name และ B ได้รับ L = BL −η∂ CX / ∂ blbl → keyboard - key - name = จำนวน BL นั้น−η∂ CX / ∂เลือดเราก็เลือกอื่นการป้อนข้อมูลและปรับปรุงน้ำหนัก และ อคติอีก และอื่น ๆ . ขั้นตอนนี้จะเรียกว่าเป็นออนไลน์หรือการเรียนรู้แบบเพิ่มหน่วย ในการเรียนรู้ออนไลน์ , เครือข่ายประสาทเรียนรู้จากเพียงหนึ่งการป้อนข้อมูลได้ตลอดเวลา ( เหมือนมนุษย์ ) ชื่อ หนึ่ง ประโยชน์และข้อเสียของการเรียนรู้ออนไลน์เมื่อเทียบกับการสุ่มเชื้อสายกับมินิ ขนาดชุดของ , พูด , 2020ผมขอสรุปในส่วนนี้ โดยการอภิปรายประเด็นที่บางครั้งแมลงคนใหม่ไล่ระดับโคตร . ในโครงข่าย ซีซี ต้นทุนคือ ฟังก์ชันของตัวแปรหลายทั้งหมดน้ำหนักและอคติ - และดังนั้นในความรู้สึกบางอย่างกำหนดพื้นผิวในพื้นที่มาก - สูงขนาด . บางคนได้รับแขวนคิด : " เฮ้ , ฉันสามารถเห็นมิติพิเศษ " ทั้งหมด และพวกเขาอาจจะเริ่มกังวล : " ฉันไม่สามารถคิดใน 4 มิติ อย่าว่าแต่ห้า ( หรือห้าล้านบาท ) " มีความสามารถจะหายไป ความสามารถบางอย่างที่ " จริง " supermathematicians ได้ ? แน่นอน คำตอบคือ ไม่ แม้ที่สุดอาชีพนักคณิตศาสตร์ไม่สามารถเห็นภาพ 4 มิติ โดยเฉพาะอย่างยิ่งถ้าที่ทั้งหมด เทคนิคที่พวกเขาใช้ แทน คือ การพัฒนาวิธีอื่นแทน ว่าเกิดอะไรขึ้น ซึ่งเราก็ทำตามข้างบน : เราใช้พีชคณิต ( มากกว่าภาพ ) การเป็นตัวแทนของΔ C Δ C ที่จะคิดออกวิธีการย้ายเพื่อลด CC คนที่เก่งคิดในมิติสูง มีจิตที่เป็นห้องสมุดที่มีเทคนิคที่แตกต่างกันมากตามบรรทัดเหล่านี้ เคล็ดลับ พีชคณิต ของเราเป็นเพียงหนึ่งตัวอย่าง เทคนิคเหล่านั้นไม่อาจมีความเรียบง่ายที่เราคุ้นเคย เมื่อมีการสร้างภาพ 3 มิติ แต่เมื่อคุณสร้างห้องสมุดของเทคนิคดังกล่าว คุณจะได้รับสวยดีคิดในมิติที่สูง ฉันจะไม่ไปลงในรายละเอียดที่นี่ แต่ถ้าคุณสนใจแล้วคุณอาจจะสนุกกับการอ่านนี้อภิปรายบางเทคนิควิชาชีพนักคณิตศาสตร์ใช้คิดในมิติที่สูง ในขณะที่บางส่วนของเทคนิคที่กล่าวถึงจะค่อนข้างซับซ้อนมาก เนื้อหาที่ดีที่สุดคือใช้งานง่ายและสามารถเข้าถึงได้และสามารถควบคุมได้โดยทุกคน