When a golf player is first learnin

When a golf player is first learning to play golf, they usually spend most of their time developing a basic swing. Only gradually do they develop other shots, learning to chip, draw and fade the ball, building on and modifying their basic swing. In a similar way, up to now we've focused on understanding the backpropagation algorithm. It's our "basic swing", the foundation for learning in most work on neural networks. In this chapter I explain a suite of techniques which can be used to improve on our vanilla implementation of backpropagation, and so improve the way our networks learn.

The techniques we'll develop in this chapter include: a better choice of cost function, known as the cross-entropy cost function; four so-called "regularization" methods (L1 and L2 regularization, dropout, and artificial expansion of the training data), which make our networks better at generalizing beyond the training data; a better method for initializing the weights in the network; and a set of heuristics to help choose good hyper-parameters for the network. I'll also overview several other techniques in less depth. The discussions are largely independent of one another, and so you may jump ahead if you wish. We'll also implement many of the techniques in running code, and use them to improve the results obtained on the handwriting classification problem studied in Chapter 1.

Of course, we're only covering a few of the many, many techniques which have been developed for use in neural nets. The philosophy is that the best entree to the plethora of available techniques is in-depth study of a few of the most important. Mastering those important techniques is not just useful in its own right, but will also deepen your understanding of what problems can arise when you use neural networks. That will leave you well prepared to quickly pick up other techniques, as you need them.

ผลลัพธ์ (ไทย) 1:

เมื่อผู้เล่นกอล์ฟ ครั้งแรกในการเรียนรู้การเล่นกอล์ฟ พวกเขามักจะใช้เวลาพัฒนาวงสวิงพื้นฐานส่วนใหญ่ เพียง ค่อย ๆ ทำพวกเขาพัฒนาภาพอื่น ๆ เรียนชิ วาด และจางลูก สร้าง และปรับเปลี่ยนสวิงพื้นฐานของพวกเขา ในลักษณะคล้ายกัน ถึงตอนนี้ เราได้เน้นความเข้าใจอัลกอริทึม backpropagation มันเป็นของเรา "พื้นฐานสวิง" มูลนิธิเพื่อการเรียนรู้ในการทำงานส่วนใหญ่บนเครือข่ายประสาท ในบทนี้ ผมอธิบายชุดของเทคนิคที่สามารถใช้เพื่อปรับปรุงการดำเนินงานของเราวานิลลาของ backpropagation และเพื่อ ปรับปรุงวิธีการเรียนรู้เครือข่ายของเราเทคนิคที่เราจะพัฒนาในบทนี้รวมถึง: ทางเลือกที่ดีของต้นทุนงาน เรียกว่าฟังก์ชันต้นทุนข้าม entropy เรียกว่า "regularization" วิธีที่ 4 (L1 และ L2 regularization ถอน และข้อมูลการฝึกอบรมการประดิษฐ์ขยาย), ซึ่งทำให้เครือข่ายของเราดีกว่าที่ generalizing นอกเหนือจากข้อมูลการฝึกอบรม วิธีดีสำหรับการเตรียมใช้งานในเครือข่าย น้ำหนัก และชุดของการรุกเพื่อช่วยเลือกดีไฮเปอร์พารามิเตอร์สำหรับเครือข่าย ฉันจะยังรวมเทคนิคอื่น ๆ หลายความลึกน้อยกว่า การสนทนาส่วนใหญ่เป็นอิสระจากกัน และดังนั้น คุณอาจข้ามหากคุณต้องการ เราจะยังใช้เทคนิคมากมายในการเรียกใช้รหัส และใช้ในการปรับปรุงผลลัพธ์ที่ได้จากปัญหาการจำแนกลายมือในบทที่ 1แน่นอน เรากำลังเฉพาะครอบคลุมกี่จำนวนมาก หลายเทคนิคซึ่งได้รับการพัฒนาสำหรับใช้ในมุ้งของระบบประสาท ปรัชญาคือ ว่า เข้าสุดเกรงขามมีเทคนิคเป็นการศึกษาในเชิงลึกของสิ่งสำคัญที่สุด เรียนรู้เทคนิคที่สำคัญไม่เพียงมีประโยชน์ในสิทธิของตนเอง แต่ยังจะลึกมากขึ้นความเข้าใจว่าปัญหาที่สามารถเกิดขึ้นเมื่อคุณใช้เครือข่ายประสาท ที่จะทำให้คุณพร้อมรับเทคนิคอื่น ๆ ได้อย่างรวดเร็วจำเป็นนั้น

ผลลัพธ์ (ไทย) 2:

เมื่อผู้เล่นกอล์ฟเป็นครั้งแรกที่การเรียนรู้ในการเล่นกอล์ฟพวกเขามักจะใช้เวลาส่วนใหญ่ของพวกเขาพัฒนาวงสวิงพื้นฐาน เพียง แต่ค่อยๆทำพวกเขาพัฒนาภาพอื่น ๆ เรียนรู้ที่จะชิปวาดและจางหายไปบอล, การสร้างและการปรับเปลี่ยนวงสวิงพื้นฐานของพวกเขา ในทำนองเดียวกันถึงตอนนี้เราได้มุ่งเน้นไปที่การทำความเข้าใจขั้นตอนวิธีการแพร่กระจายย้อนกลับ มันเป็น "แกว่งพื้นฐาน" ของเรารากฐานสำหรับการเรียนรู้ในการทำงานมากที่สุดในเครือข่ายประสาท ในบทนี้จะอธิบายชุดของเทคนิคที่สามารถนำมาใช้ในการปรับปรุงการดำเนินงานวานิลลาของเราในการแพร่กระจายย้อนกลับและเพื่อปรับปรุงวิธีการเรียนรู้เครือข่ายของเรา

เทคนิคที่เราจะพัฒนาในบทนี้รวมถึง: ทางเลือกที่ดีของการทำงานค่าใช้จ่ายที่เรียกว่าฟังก์ชั่นค่าใช้จ่ายข้ามเอนโทรปี; สี่เรียกว่า "กู" วิธีการ (L1 และ L2 กู, การออกกลางคันและการขยายตัวเทียมของข้อมูลการฝึกอบรม) ซึ่งทำให้เครือข่ายของเราดีกว่าที่ generalizing เกินข้อมูลการฝึกอบรม; วิธีการที่ดีกว่าสำหรับการเริ่มต้นน้ำหนักในเครือข่าย; และชุดของการวิเคราะห์พฤติกรรมเพื่อช่วยเลือก Hyper-พารามิเตอร์ที่ดีสำหรับเครือข่าย ฉันจะยังภาพรวมเทคนิคอื่น ๆ อีกหลายในเชิงลึกน้อย การอภิปรายส่วนใหญ่จะเป็นอิสระจากกันและอื่น ๆ ที่คุณอาจจะกระโดดไปข้างหน้าหากคุณต้องการ นอกจากนี้เราจะใช้หลายเทคนิคในการใช้รหัสและใช้พวกเขาเพื่อปรับปรุงผลที่ได้รับในการแก้ปัญหาการจำแนกลายมือศึกษาในบทที่ 1

แน่นอนเรากำลังเพียงครอบคลุมบางส่วนของหลายเทคนิคต่าง ๆ ที่ได้รับการ พัฒนาขึ้นเพื่อใช้ในประสาท ปรัชญาคือการที่ดีที่สุดที่จะ entree มากมายเหลือเฟือของเทคนิคที่มีอยู่คือการศึกษาในเชิงลึกของไม่กี่สิ่งที่สำคัญที่สุด เรียนรู้เทคนิคที่สำคัญคือไม่ได้มีประโยชน์เพียงแค่ในสิทธิของตนเอง แต่ยังจะเข้าใจลึกซึ้งยิ่งขึ้นของสิ่งที่ปัญหาจะเกิดขึ้นเมื่อคุณใช้โครงข่ายประสาทเทียม ที่จะทำให้คุณพร้อมแล้วที่จะได้อย่างรวดเร็วการเลือกเทคนิคอื่น ๆ ตามที่คุณต้องการ

ผลลัพธ์ (ไทย) 3:

เมื่อเล่นกอล์ฟเป็นครั้งแรก เรียนรู้การเล่นกอล์ฟ พวกเขามักจะใช้เวลาส่วนใหญ่ของเวลาของพวกเขาในการพัฒนาวงสวิงพื้นฐาน แต่ค่อยๆ ทำ พวกเขาพัฒนาภาพ อื่น ๆ , การเรียนรู้ที่จะชิป วาด และจางหายลูกบอลสร้างและปรับเปลี่ยนวงสวิงพื้นฐานของพวกเขา ในลักษณะที่คล้ายกัน ถึง ตอนนี้ เราได้เน้นการเข้าใจแบบอัลกอริทึม มันเป็น " พื้นฐานการสวิง " มูลนิธิเพื่อการเรียนรู้ในการทำงานมากที่สุดบนโครงข่าย ในบทนี้จะอธิบายเป็นชุดของเทคนิคที่สามารถใช้เพื่อปรับปรุงของเรา วนิลา ใช้แบบ และเพื่อปรับปรุงวิธีการที่เครือข่ายของเราเรียนรู้เทคนิคที่เราจะพัฒนาในบทนี้รวม : ทางเลือกที่ดีของต้นทุนการทำงาน เรียกว่าข้ามเอนโทรปีฟังก์ชันต้นทุน ; สี่เรียกว่า " ผิดกฎหมาย " ของวิธีการ ( L1 และ L2 regularization ลาออกกลางคัน และการขยายตัว , ประดิษฐ์ของข้อมูลฝึก ) ซึ่งทำให้เครือข่ายของเราดีกว่าที่เกิน Generalizing ข้อมูลการฝึกอบรม วิธีที่ดีกว่าสำหรับ เริ่มน้ำหนักในเครือข่าย และชุดของฮิวริสติกเพื่อช่วยเลือกพารามิเตอร์ไฮเปอร์ดีสำหรับเครือข่าย ผมจะรวมเทคนิคอื่นๆ ในความลึกน้อยกว่า การอภิปรายส่วนใหญ่จะเป็นอิสระจากกันและดังนั้นคุณอาจจะกระโดดไปข้างหน้า หากคุณต้องการ เราก็ใช้หลายเทคนิคในการเรียกใช้รหัสและใช้พวกเขาเพื่อปรับปรุงผลลัพธ์ที่ได้บนลายมือหมวดหมู่ปัญหาที่จะศึกษาในบทที่ 1แน่นอน , เราครอบคลุมกี่ เทคนิคมากมายซึ่งได้รับการพัฒนาเพื่อใช้ในแบบตาข่าย ปรัชญาก็คือการดีที่สุด ด้วยเทคนิคของการศึกษาในเชิงลึกของบางส่วนของที่สำคัญที่สุด การเรียนรู้เทคนิคที่สำคัญคือไม่ได้มีประโยชน์แค่ในสิทธิของตนเอง แต่จะลึกมากขึ้นความเข้าใจในปัญหาที่อาจเกิดขึ้นเมื่อคุณใช้เครือข่ายประสาท ที่คุณจะต้องเตรียมตัวมาเป็นอย่างดีได้อย่างรวดเร็วขึ้น เทคนิค อื่น ๆ , ตามที่คุณต้องการพวกเขา