Fig. 1. Simulation and analytical r

Fig. 1. Simulation and analytical results for the special case in which the learning rate (αL) and the forgetting rate (αF ) are identical (F-Q model). These two parameters
were varied while fixed to the same value (αL = αF ). (A) The regression coefficients for the reward history (top) and the choice history (bottom). The solid line represents
the coefficients estimated for the logistic regression model fitted to simulated data generated by the Q-learning models. The squares represent the analytical predictions
obtained using Eq. (17). (B) The total sum of the regression coefficients for the reward history (top) and the choice history (bottom), while varying the length of the history
included in the regression model (Mr = Mc ). (C) The scatter plot of the predictions regarding the current choice (P(a(t) = 1)) derived from the Q-learning model and
the regression model for varying learning rates (with identical forgetting and learning rates). For (A) and (C), the history lengths Mr and Mc are both set to 10. The other
parameters were κ = 1 and β = 3.0.

ผลลัพธ์ (ไทย) 1:

รูปที่ 1 การจำลองและผลการวิเคราะห์สำหรับกรณีที่อัตราการเรียนรู้ (αL) และอัตราการลืม (αF) อยู่เหมือนกัน (รุ่น F Q) พารามิเตอร์เหล่านี้สองมีความหลากหลายในขณะที่คงค่าเดียว (αL = αF) (ก) สัมประสิทธิ์การถดถอยสำหรับประวัติรางวัล (ด้านบน) และประวัติศาสตร์ทางเลือก (ด้านล่าง) เส้นทึบแสดงถึงค่าสัมประสิทธิ์ที่ประมาณได้สำหรับแบบจำลองการถดถอยโลจิสติกติดตั้งการจำลองข้อมูลที่สร้างขึ้น โดยรุ่น Q-การเรียนรู้ สี่เหลี่ยมแสดงการคาดคะเนวิเคราะห์รับใช้ Eq. (17) (ข) ผลรวมของสัมประสิทธิ์การถดถอยสำหรับประวัติรางวัล (ด้านบน) และประวัติศาสตร์ทางเลือก (ล่าง), ในขณะที่ความยาวของประวัติศาสตร์ที่แตกต่างกันรวมอยู่ในแบบจำลองถดถอย (Mr = Mc) (C) พล็อตกระจายการคาดการณ์เกี่ยวกับกระแสทางเลือก (P(a(t) = 1)) ได้มาจากแบบเรียน Q และแบบจำลองการถดถอยสำหรับราคาในการเรียนรู้ (ด้วยเหมือนกันลืม และอัตราการเรียนรู้) ที่แตกต่างกัน สำหรับ (A) และ (C), ความยาวประวัติ Mr และ Mc ทั้ง 10 อื่น ๆพารามิเตอร์ถูกκ = 1 และβ = 3.0

ผลลัพธ์ (ไทย) 2:

มะเดื่อ. 1. การจำลองและการวิเคราะห์ผลการค้นหาสำหรับกรณีพิเศษในการที่อัตราการเรียนรู้ (αL) และอัตราการลืม (αF) เหมือนกัน (รุ่น FQ) ทั้งสองพารามิเตอร์
ถูกแตกต่างกันในขณะที่ยังคงเป็นค่าเดียวกัน (αL = αF) (ก) ค่าสัมประสิทธิ์การถดถอยสำหรับประวัติรางวัล (บน) และประวัติศาสตร์ทางเลือก (ล่าง) บรรทัดที่มั่นคงหมายถึง
ค่าสัมประสิทธิ์โดยประมาณสำหรับรูปแบบการถดถอยโลจิสติพอดีกับข้อมูลจำลองที่สร้างขึ้นโดย Q-การเรียนรู้รูปแบบ สี่เหลี่ยมแทนการคาดการณ์การวิเคราะห์
ได้ใช้สมการ (17) (ข) ผลรวมของค่าสัมประสิทธิ์การถดถอยสำหรับประวัติรางวัล (บน) และเป็นทางเลือกที่ประวัติ (ด้านล่าง) ในขณะที่ที่แตกต่างกันตามความยาวของประวัติศาสตร์
รวมอยู่ในรูปแบบการถดถอย (นาย = Mc) (C) พล็อตกระจายของการคาดการณ์เกี่ยวกับทางเลือกในปัจจุบัน (P (A (t) = 1)) ที่ได้มาจากรุ่น Q-เรียนรู้และ
ตัวแบบการถดถอยที่แตกต่างกันสำหรับอัตราการเรียนรู้ (กับลืมเหมือนกันและอัตราการเรียนรู้) สำหรับ (A) และ (C), ประวัติความยาวนายและ Mc มีทั้งที่ตั้งค่าไว้ที่ 10. อื่น ๆ
พารามิเตอร์เป็นκ = 1 และβ = 3.0

ผลลัพธ์ (ไทย) 3:

รูปที่ 1 การจำลองและวิเคราะห์ผลการทดลองในกรณีพิเศษซึ่งอัตราการเรียนรู้ ( α L ) และลืมคะแนน ( α F ) เป็นเหมือนกัน ( f-q รุ่น ) เหล่านี้สองพารามิเตอร์แตกต่างกันไป ในขณะที่การแก้ไขค่าเดียวกัน ( α L = α F ) ( ก ) สัมประสิทธิ์ถดถอยสำหรับรางวัลประวัติศาสตร์ ( ด้านบน ) และเลือกประวัติ ( ล่าง ) สายแข็ง หมายถึงค่าสัมประสิทธิ์การประมาณการถดถอยโลจิสติกแบบเข็มขัดจำลองข้อมูลที่สร้างขึ้นโดย q-learning รุ่น ช่องสี่เหลี่ยมที่แสดงการคาดการณ์เชิงวิเคราะห์ได้รับการใช้อีคิว ( 17 ) ( ข ) รวมผลบวกของสัมประสิทธิ์ถดถอยสำหรับรางวัลประวัติศาสตร์ ( ด้านบน ) และเลือกประวัติ ( ล่าง ) ในขณะที่การเปลี่ยนแปลงความยาวของประวัติรวมอยู่ในตัวแบบการถดถอย ( MR = MC ) ( ค ) กระจายพล็อตของการคาดการณ์เกี่ยวกับทางเลือกปัจจุบัน ( P ( A ( t ) = 1 ) ) ที่ได้จาก q-learning รุ่นรูปแบบการถดถอยในการปรับอัตราการเรียนรู้ ( ด้วยเหมือนลืมและอัตราการเรียนรู้ ) ( ก ) และ ( ค ) , ประวัติยาวนาย พิธีกร ทั้งชุด 10 อื่น ๆค่าκ = 1 และบีตา = 3.0