The training of all CNNs in this wo

The training of all CNNs in this work has been carried out by optimizing the cross-entropy objective function using the mini-batch Nesterov’s accelerated gradient descent [19]. Backpropagation of the gradient has been performed with an initial learning rate of 0.01 and the momentum of 0.9. Contrary to some recent works where CNNs are used just as feature extractors and followed by other classification methods (like SVM [21] or ELM [33]), in our experiments, CNNs have been used both as feature extractors and as classifiers. Input RGB-images have been normalized before CNN processing. Every epoch, faces are randomly substituted by their mirrored copy with the probability 0.5 (i.e. either face or its mirrored copy participates in every epoch). The size of a mini-batch has been set to 128. In order to prevent the CNNs from overfitting, we have employed the “dropout” regularization [26] on the activations of convolutional layers and the fully-connected layer. We have made the ratio of the “dropout” to be dependent on the particular size of the convolutional or the fully-connected layer varying it from 0 (i.e. no “dropout”) to 0.5. The training has been stopped once the validation accuracy stops improving. It corresponds to the moment when the training accuracy is between 98.0% and 98.1% (depending on the particular CNN architecture). Training has taken about 30 epochs with slight variations depending on the particular CNN, which corresponds to about 27 h of training for the Starting CNN and 2.5 h of training for the CNN I on the contemporary GPU. All experiments in this work have been performed using Theano deep learning library

ผลลัพธ์ (ไทย) 1:

ดำเนินการฝึกอบรมของ CNNs ทั้งหมดในงานนี้ออก โดยเพิ่มประสิทธิภาพฟังก์ชันวัตถุประสงค์ครอส-ใช้โคตรไล่ระดับของ Nesterov มินิชุดเร่ง [19] Backpropagation ของการไล่ระดับสีมีการอัตราการเรียนรู้เริ่มต้น 0.01 และโมเมนตัมของ 0.9 ขัดกับบางผลงานล่าสุดที่ใช้ก็ extractors คุณลักษณะ และตามวิธีการจัดประเภทอื่น ๆ (เช่น SVM [21] หรือเอล์ม [33]), ในการทดลองของเรา CNNs, CNNs ใช้ เป็น extractors ลักษณะการทำงาน และ เป็นคำนามภาษา ภาพ RGB อินพุทได้รับตามปกติก่อน CNN ประมวลผล ทุกยุค ใบหน้าเป็นแบบสุ่มแทน โดยสำเนามิเรอร์ด้วยความน่าเป็น 0.5 (เช่นใบหน้าหรือสำเนาของมิเรอร์มีส่วนร่วมในทุกยุค) มีการตั้งขนาดของชุดมินิไป 128 เพื่อป้องกันการ CNNs overfitting เราใช้รหัส regularization "เป็นถอน" [26] บนการเปิดใช้งานเลเยอร์ convolutional และชั้นการเชื่อมต่อทั้งหมด เราทำอัตราส่วนของการ "เป็นถอน" จะขึ้นอยู่กับขนาดเฉพาะของชั้นการเชื่อมต่อทั้งหมดแตกต่างจาก 0 (เช่นไม่ "ถอน") ไป 0.5 หรือที่ convolutional การฝึกอบรมได้หยุดเมื่อตรวจสอบความถูกต้องหยุดปรับปรุง มันตรงกับช่วงเวลาที่เมื่อฝึกความถูกต้องอยู่ระหว่าง 98.0% และ 98.1% (ขึ้นอยู่กับสถาปัตยกรรมเฉพาะของซีเอ็นเอ็น) ฝึกอบรมได้ดำเนินการประมาณ 30 epochs มีเปลี่ยนแปลงเล็กน้อยขึ้นอยู่กับเฉพาะซีเอ็น ซึ่งตรงกับประมาณ 27 h ของการฝึกอบรมสำหรับซีเอ็นเอ็นที่เริ่มต้นและ h 2.5 ความรู้ซีเอ็นผมบน GPU ร่วมสมัย ทดลองทั้งหมดในงานนี้มีการใช้ Theano ที่ไลบรารีการเรียนรู้ลึก

ผลลัพธ์ (ไทย) 2:

การฝึกอบรมของ CNNs ทั้งหมดในงานนี้ได้รับการดำเนินการโดยการเพิ่มประสิทธิภาพการทำงานของวัตถุประสงค์ข้ามเอนโทรปีใช้มินิชุด Nesterov ของโคตรลาดเร่ง [19] backpropagation ของการไล่ระดับสีที่ได้รับการดำเนินการที่มีอัตราการเรียนรู้เริ่มต้น 0.01 และโมเมนตัมของ 0.9 ตรงกันข้ามกับบางส่วนผลงานล่าสุดที่ CNNs ถูกนำมาใช้เช่นเดียวกับที่สกัดบาร์และตามมาด้วยวิธีการจำแนกอื่น ๆ (เช่น SVM [21] หรือ ELM [33]) ในการทดลองของเราได้รับการ CNNs ใช้เป็นทั้งบาร์และสกัดเป็นลักษณนาม ป้อนข้อมูล RGB ภาพที่ได้รับการประมวลผลปกติก่อนที่ซีเอ็นเอ็น ยุคทุกใบหน้าถูกเปลี่ยนตัวโดยการสุ่มสำเนามิเรอร์ของพวกเขาด้วยความน่าจะเป็น 0.5 (คือทั้งใบหน้าหรือคัดลอกสะท้อนที่มีส่วนร่วมในทุกยุค) ขนาดของมินิชุดที่ได้รับการตั้งค่าให้ 128 เพื่อป้องกันไม่ให้ CNNs จากอิงเรามีการจ้างงาน "การออกกลางคัน" regularization [26] ในการเปิดใช้งานของชั้นความสับสนและชั้นที่เชื่อมต่ออย่างเต็มที่ เราได้ทำให้อัตราส่วนของ "การออกกลางคัน" เพื่อจะขึ้นอยู่กับขนาดโดยเฉพาะอย่างยิ่งของความสับสนหรือชั้นที่เชื่อมต่อที่แตกต่างกันอย่างเต็มที่จาก 0 (คือไม่มี "การออกกลางคัน") 0.5 การฝึกอบรมที่ได้รับการหยุดการตรวจสอบความถูกต้องครั้งเดียวจะหยุดการปรับปรุง มันสอดคล้องกับช่วงเวลาที่ถูกต้องการฝึกอบรมอยู่ระหว่าง 98.0% และ 98.1% (ขึ้นอยู่กับสถาปัตยกรรมโดยเฉพาะอย่างยิ่งซีเอ็นเอ็น) การฝึกอบรมได้รับประมาณ 30 epochs มีการเปลี่ยนแปลงเล็กน้อยขึ้นอยู่กับซีเอ็นเอ็นโดยเฉพาะอย่างยิ่งซึ่งสอดคล้องกับประมาณ 27 ชั่วโมงของการฝึกอบรมสำหรับการเริ่มต้นของซีเอ็นเอ็นและ 2.5 ชั่​​วโมงของการฝึกอบรมสำหรับซีเอ็นเอ็นฉันบน GPU ร่วมสมัย การทดสอบทั้งหมดในงานนี้ได้รับการดำเนินการใช้ห้องสมุดการเรียนรู้ Theano ลึก

ผลลัพธ์ (ไทย) 3:

การฝึกอบรมของ cnns ทั้งหมดในงานนี้ ได้ดำเนินการโดยการปรับครอสเอนโทรปีวัตถุประสงค์ฟังก์ชันโดยใช้มินิชุด Nesterov เป็นเร่งสีโคตร [ 19 ] แบบของการไล่ระดับสีได้รับการเริ่มต้นอัตราการเรียนรู้เท่ากับ 0.01 และโมเมนตัมของ 0.9ตรงกันข้ามกับบางผลงานล่าสุดที่ cnns จะใช้เพียงสกัดคุณลักษณะและตามด้วยวิธีการอื่น ๆ ( เช่น SVM [ 21 ] หรือ Elm [ 33 ] ) ในการทดลองของเรา cnns ได้ถูกใช้เป็นทั้งคุณลักษณะและสกัดเป็นลักษณนาม ภาพ RGB input ได้ปกติก่อนการประมวลผล ซีเอ็นเอ็น ทุกยุค ใบหน้าของมิเรอร์แทน โดยสุ่มคัดลอกกับความน่าจะเป็น 0.5 ( เช่นทั้งใบหน้า หรือกระจกคัดลอกมีส่วนร่วมในทุกยุค ) ขนาดของมินิชุดมีตั้ง 128 . เพื่อป้องกัน cnns จาก overfitting เราได้ใช้ " มหิดล " ผิดกฎหมาย [ 26 ] ในกิจกรรมของคอนชั้นและเต็มเชื่อมต่อชั้นเราได้ทำให้อัตราส่วนของ " มหิดล " จะขึ้นอยู่กับขนาดเฉพาะของขดหรือเชื่อมต่อชั้นอย่างเต็มที่ แตกต่างจาก 0 ( คือ " มหิดล " ) 0.5 การอบรมได้หยุดเมื่อตรวจสอบความถูกต้องหยุดปรับปรุง มันสอดคล้องกับช่วงเวลาที่ฝึกความแม่นยำระหว่าง 98.0 % และ 98.1 % ( ขึ้นอยู่กับสถาปัตยกรรมซีเอ็นเอ็นโดยเฉพาะ )ฝึกได้ประมาณ 30 ยุคสมัยกับการเปลี่ยนแปลงเล็กน้อยขึ้นอยู่กับซีเอ็นเอ็นโดยเฉพาะ ซึ่งสอดคล้องกับประมาณ 27 H ของการฝึกอบรมสำหรับการเริ่มต้นซีเอ็นเอ็นและ 2.5 H ของการฝึกอบรมสำหรับซีเอ็นเอ็นฉันบน GPU ร่วมสมัย การทดลองทั้งหมดในงานนี้มีการใช้ที โนลึกการเรียนรู้ห้องสมุด