AbstractReinforcement Learning has

Abstract
Reinforcement Learning has greatly influenced models of conditioning, providing powerful explanations of acquired
behaviour and underlying physiological observations. However, in recent autoshaping experiments in rats, variation in the
form of Pavlovian conditioned responses (CRs) and associated dopamine activity, have questioned the classical hypothesis
that phasic dopamine activity corresponds to a reward prediction error-like signal arising from a classical Model-Free
system, necessary for Pavlovian conditioning. Over the course of Pavlovian conditioning using food as the unconditioned
stimulus (US), some rats (sign-trackers) come to approach and engage the conditioned stimulus (CS) itself – a lever – more
and more avidly, whereas other rats (goal-trackers) learn to approach the location of food delivery upon CS presentation.
Importantly, although both sign-trackers and goal-trackers learn the CS-US association equally well, only in sign-trackers
does phasic dopamine activity show classical reward prediction error-like bursts. Furthermore, neither the acquisition nor
the expression of a goal-tracking CR is dopamine-dependent. Here we present a computational model that can account for
such individual variations. We show that a combination of a Model-Based system and a revised Model-Free system can
account for the development of distinct CRs in rats. Moreover, we show that revising a classical Model-Free system to
individually process stimuli by using factored representations can explain why classical dopaminergic patterns may be
observed for some rats and not for others depending on the CR they develop. In addition, the model can account for other
behavioural and pharmacological results obtained using the same, or similar, autoshaping procedures. Finally, the model
makes it possible to draw a set of experimental predictions that may be verified in a modified experimental protocol. We
suggest that further investigation of factored representations in computational neuroscience studies may be useful.

ผลลัพธ์ (ไทย) 1:

บทคัดย่อเรียนเสริมได้มากอิทธิพลรูปแบบของเครื่องปรับ ให้คำอธิบายประสิทธิภาพของมาพฤติกรรมและต้นสังเกตสรีรวิทยา อย่างไรก็ตาม ในการ autoshaping ล่าสุดทดลองในหนู เปลี่ยนแปลงในการรูปแบบของ Pavlovian ปรับอากาศ (CRs) การตอบสนอง และเชื่อมโยงกิจกรรมโดพามีน ได้ไต่สวนสมมติฐานคลาสสิกโดปามีน phasic กิจกรรมที่สอดคล้องกับสัญญาณทำนายรางวัลเช่นข้อผิดพลาดเกิดขึ้นจากความคลาสสิกรุ่นฟรีระบบ จำเป็นสำหรับการปรับ Pavlovian ช่วงเวลาของการใช้อาหารเป็น unconditioned ที่นี่ Pavlovianกระตุ้นเศรษฐกิจ (เรา), (เครื่องหมายติดตามของ) หนูบางมาเข้า และมีส่วนร่วมกระตุ้นปรับ (CS) ตัวเองมีคันโยกเพิ่มเติมและเพิ่มเติม avidly ในขณะที่อื่น ๆ หนู (เป้าหมายผู้ติดตามของ) การเรียนรู้ที่จะเข้าสถานจัดส่งอาหารตามงานนำเสนอ CSสำคัญ ถึงแม้ว่าเครื่องติดตามของและติดตามเป้าหมายของเรียนรู้สัมพันธ์ CS-สหรัฐเท่า ๆ กัน เฉพาะในเครื่องติดตามของโดปามีน phasic กิจกรรมแสดงรางวัลคลาสสิกทำนายผิดพลาดเหมือนระเบิด นอกจากนี้ ไม่ซื้อ ไม่โดพามีนขึ้นอยู่กับค่าของ CR ติดตามเป้าหมายได้ ที่นี่เรานำเสนอรูปแบบคอมพิวเตอร์ที่สามารถลงบัญชีรูปแบบดังกล่าวแต่ละ แสดงว่า สามารถใช้ระบบตามแบบจำลองและระบบปรับปรุงรุ่นฟรีบัญชีสำหรับการพัฒนาของ CRs หมดในหนู นอกจากนี้ เราแสดงที่คลาสสิกฟรีแบบจำลองระบบเพื่อการแก้ไขแต่ละสิ่งเร้ากระบวนการ โดยใช้การแยกตัวประกอบนำเสนอมือถือที่สามารถอธิบายทำไมรูปแบบคลาสสิก dopaminergic อาจสังเกตหนูบาง และไม่ตาม CR จะพัฒนาผู้อื่น นอกจากนี้ แบบสามารถลงบัญชีอื่น ๆได้ใช้กระบวนการ autoshaping หรือเดียวกัน คล้าย กัน ผลพฤติกรรม และ pharmacological สุดท้าย รูปแบบทำให้วาดชุดทดลองคาดคะเนที่อาจตรวจสอบในโพรโทคอลที่ทดลองปรับเปลี่ยน เราแนะนำให้ ตรวจสอบการแยกตัวประกอบเป็นตัวแทนในการคำนวณประสาทการศึกษาอาจเป็นประโยชน์

ผลลัพธ์ (ไทย) 3:

การเสริมแรงการเรียนรู้นามธรรม
มีอิทธิพลอย่างยิ่งในการปรับรุ่น ให้ประสิทธิภาพการอธิบายพฤติกรรมและสังเกตได้มา
พื้นฐานทางสรีรวิทยา อย่างไรก็ตาม ในช่วง autoshaping การทดลองในหนู การเปลี่ยนแปลงในรูปแบบของการตอบสนองปรับอากาศ
pavlovian ( CRS ) และร่วมกิจกรรมโดพามีน สงสัย
สมมติฐานคลาสสิกที่กิจกรรมโดพามีน phasic สอดคล้องกับรางวัลทำนายผิดพลาดเหมือนสัญญาณที่เกิดจากรูปแบบคลาสสิกฟรี
ระบบที่จำเป็นสำหรับปรับ pavlovian . ผ่านหลักสูตรของการปรับ pavlovian โดยใช้อาหารเป็นสิ่งเร้าไม่มีเงื่อนไข
( สหรัฐ ) , หนู ( แกะรอยสัญญาณ ) มาแบบมีส่วนร่วมของสิ่งเร้าเงื่อนไข ( CS ) ตัวเอง–คันโยก–เพิ่มเติมและเพิ่มเติมอย่างมูมมาม
,ในขณะที่ตัวอื่น ( เป้าหมายติดตาม ) เรียนรู้วิธีการสถานที่ส่งอาหารตามเสนอ CS .
ที่สำคัญ แม้ว่าทั้งลงชื่อและติดตามเป้าหมาย ติดตามเรียนรู้สมาคม cs-us เท่าเทียมกันดี เป็นเพียงสัญญาณติดตาม
ทำกิจกรรมโดพามีน phasic แสดงคลาสสิกรางวัลทำนายผิดพลาดเหมือนจะระเบิด นอกจากนี้ ทั้งการซื้อหรือ
สีหน้าของเป้าหมายติดตาม CR มีโดปามีนขึ้นอยู่กับ ที่นี่เรานำเสนอแบบจำลองคอมพิวเตอร์ที่สามารถบัญชีสำหรับ
ความแตกต่างระหว่างบุคคลเช่น เราแสดงให้เห็นว่า การรวมกันของรูปแบบระบบพื้นฐาน และระบบฟรีแก้ไขโมเดล
บัญชีเพื่อการพัฒนาที่แตกต่างกันจำนวนมากในหนู นอกจากนี้เราพบว่าปรับรูปแบบคลาสสิกฟรีระบบ

จากสิ่งเร้าโดยใช้กระบวนการประกอบภาพสามารถอธิบายว่าทำไมรูปแบบคลาสสิกเกี่ยวกับโดปามีนอาจ
สังเกตบางหนูและไม่ได้สำหรับคนอื่น ๆขึ้นอยู่กับเมื่อพวกเขาพัฒนา นอกจากนี้แบบจำลองสามารถบัญชีอื่น
พฤติกรรมและเภสัชวิทยา ผลลัพธ์ที่ได้โดยใช้แบบเดียวกันหรือคล้ายคลึงกัน autoshaping ขั้นตอน สุดท้ายรูปแบบ
ทำให้มันเป็นไปได้ในการวาดชุดของการคาดการณ์ทดลองที่อาจจะตรวจสอบในการแก้ไขโดยใช้โปรโตคอล เรา
แนะนำว่าการสอบสวนเพิ่มเติมประกอบแนวทางในการศึกษาทางคอมพิวเตอร์อาจเป็นประโยชน์