We demonstrate the special conditio

We demonstrate the special condition where the Q-learning and regression models provide an identical prediction. This is the case when the following three conditions hold: (1) the forgetting and learning rates are identical (αL = αF ; F-Q model), (2) the influence of the initial action value can be neglected (e.g., the initial values are zero), and (3) the cutoff effect of the history length (Mr ) included in the regression model can be neglected. When the first condition is not met (i.e., when the forgetting rate differs from the learning rate), as is the case for the standard Q-learning model (αF = 0), a dependence on choice history arises. This dependence on choice history is relatively complex and cannot be completely captured by a conventional regression model. This dependence on choice history is a property of the RL model, which distinguishes it from simple regression models. It should be noted that this apparent dependence on choice history was found only by examining the relationship between regression models and RL models, as we have done in the present study, rather than by simply examining the RL model itself.

ผลลัพธ์ (ไทย) 1:

เราแสดงให้เห็นถึงเงื่อนไขพิเศษที่รุ่น Q-เรียนรู้และการถดถอยให้การคาดเดาเหมือนกัน เป็นกรณีนี้เมื่อเก็บสามเงื่อนไขต่อไปนี้: (1) การลืมและการเรียนรู้ราคาถูกเหมือนกัน (αL = αF รุ่น F-Q), (2) อิทธิพลของค่าการกระทำเริ่มต้นสามารถเป็นที่ไม่มีกิจกรรม (เช่น ค่าเริ่มต้นเป็นศูนย์), และ (3) ผลของความยาวประวัติ (Mr) รวมอยู่ในแบบจำลองถดถอยตัดยอดสามารถถูกที่ไม่มีกิจกรรมได้ เมื่อเงื่อนไขไม่ตรงกับ (เช่น เมื่ออัตรา forgetting แตกต่างจากอัตราการเรียนรู้), เป็นกรณีแบบมาตรฐานคิวเรียน (αF = 0), พึ่งทางประวัติศาสตร์เกิดขึ้น พึ่งทางประวัติศาสตร์นี้ค่อนข้างซับซ้อน และไม่สมบูรณ์จับ โดยแบบจำลองถดถอยธรรมดา พึ่งทางประวัติศาสตร์นี้เป็นคุณสมบัติของรุ่น RL ซึ่งแตกต่างจากแบบจำลองถดถอยอย่างง่าย ก็ควรจดบันทึกว่า พึ่งทางประวัติศาสตร์นี้ปรากฏพบเท่านั้น โดยตรวจสอบความสัมพันธ์ระหว่างแบบจำลองถดถอยที่รุ่น RL เราได้ทำในการศึกษาปัจจุบัน แทน การตรวจสอบรุ่น RL เองก็

ผลลัพธ์ (ไทย) 2:

เราแสดงให้เห็นถึงเงื่อนไขพิเศษที่ Q-การเรียนรู้และรูปแบบการถดถอยให้การคาดการณ์ที่เหมือนกัน นี้เป็นกรณีที่ต่อไปนี้สามเงื่อนไขถือ: (1) ลืมและอัตราการเรียนรู้เหมือนกัน (αL = αF; รุ่น FQ), (2) อิทธิพลของค่าดำเนินการเริ่มต้นที่สามารถละเลย (เช่นค่าเริ่มต้นเป็น ศูนย์) และ (3) ผลกระทบของความยาวตัดประวัติศาสตร์ (นาย) รวมอยู่ในรูปแบบการถดถอยสามารถละเลย เมื่อเงื่อนไขแรกที่ไม่ได้พบกัน (กล่าวคือเมื่ออัตราการลืมความแตกต่างจากอัตราการเรียนรู้) เป็นกรณีสำหรับรุ่น Q-มาตรฐานการเรียนรู้ (αF = 0), การพึ่งพาประวัติศาสตร์ทางเลือกที่เกิดขึ้น การพึ่งพาอาศัยกันในประวัติศาสตร์ทางเลือกนี้ค่อนข้างซับซ้อนและไม่สามารถจับภาพอย่างสมบูรณ์โดยรูปแบบการถดถอยแบบเดิม การพึ่งพาอาศัยกันในประวัติศาสตร์ทางเลือกนี้เป็นทรัพย์สินของรูปแบบชีวิตที่แตกต่างจากรูปแบบการถดถอยอย่างง่าย มันควรจะตั้งข้อสังเกตว่าการพึ่งพาอาศัยกันนี้เห็นได้ชัดในประวัติศาสตร์ทางเลือกที่ถูกค้นพบโดยเฉพาะการตรวจสอบความสัมพันธ์ระหว่างรูปแบบการถดถอยและรูปแบบชีวิตที่เราได้ทำในการศึกษาปัจจุบันมากกว่าโดยเพียงแค่การตรวจสอบรูปแบบชีวิตตัวเอง

ผลลัพธ์ (ไทย) 3:

เราแสดงให้เห็นถึงเงื่อนไขพิเศษที่ q-learning และการถดถอยแบบให้เดาเหมือนกัน เป็นกรณีนี้เมื่อต่อไปนี้สามเงื่อนไขถือ ( 1 ) ลืมและอัตราการเรียนรู้เป็นเหมือนกัน ( α L = α F ; รูปแบบ f-q ) , ( 2 ) อิทธิพลของค่าการกระทำเริ่มต้นสามารถละเลย ( เช่นค่าเริ่มต้นเป็นศูนย์ )( 3 ) ตัดผลของความยาวประวัติศาสตร์ ( MR ) รวมอยู่ในตัวแบบการถดถอยสามารถหลง เมื่อเงื่อนไขแรก คือ ไม่พบ ( เช่น เมื่อลืมคะแนนแตกต่างจากอัตราการเรียนรู้ ) เป็นกรณีสำหรับรูปแบบ q-learning มาตรฐาน ( α F = 0 ) , การพึ่งพาประวัติศาสตร์ทางเลือกที่เกิดขึ้นนี้การพึ่งพาประวัติศาสตร์ทางเลือกที่ค่อนข้างซับซ้อนและไม่สามารถจะสมบูรณ์ได้โดยการถดถอยแบบปกติ นี้การพึ่งพาประวัติศาสตร์ทางเลือก เป็นสมบัติของ RL แบบซึ่งแตกต่างจากแบบจำลองการถดถอยอย่างง่าย มันควรจะสังเกตว่าชัดเจนพึ่งพาประวัติศาสตร์ทางเลือก พบเพียงโดยการตรวจสอบความสัมพันธ์ระหว่างรูปแบบการถดถอยและ RL รุ่นตามที่เราได้ทำในการศึกษามากกว่าเพียงแค่การตรวจสอบ RL รูปแบบนั่นเอง