SummaryIn dynamic environments, ada

Summary

In dynamic environments, adaptive behavior requires striking a balance between harvesting currently available rewards (exploitation) and gathering information about alternative options (exploration) [1–4]. Such strategic decisions should incorporate not only recent reward history, but also opportunity costs and environmental statistics. Previous neuroimaging [5–8] and neurophysiological [9–13] studies have implicated orbitofrontal cortex, anterior cingulate cortex, and ventral striatum in distinguishing between bouts of exploration and exploitation. Nonetheless, the neuronal mechanisms that underlie strategy selection remain poorly understood. We hypothesized that posterior cingulate cortex (CGp), an area linking reward processing, attention [14], memory [15, 16], and motor control systems [17], mediates the integration of variables such as reward [18], uncertainty [19], and target location [20] that underlie this dynamic balance. Here we show that CGp neurons distinguish between exploratory and exploitative decisions made by monkeys in a dynamic foraging task. Moreover, firing rates of these neurons predict in graded fashion the strategy most likely to be selected on upcoming trials. This encoding is distinct from switching between targets and is independent of the absolute magnitudes of rewards. These observations implicate CGp in the integration of individual outcomes across decision making and the modification of strategy in dynamic environments.

ผลลัพธ์ (ไทย) 1:

สรุปในสภาพแวดล้อมแบบไดนามิก ปรับพฤติกรรมต้องมีสมดุลย์ระหว่างการเก็บเกี่ยวผลตอบแทนอยู่ในปัจจุบัน (exploitation) และรวบรวมข้อมูลเกี่ยวกับตัวเลือก (สำรวจ) [1-4] ตัดสินใจเชิงกลยุทธ์ดังกล่าวควรรวม ประวัติล่ารางวัล ไม่เพียง แต่ยังต้นทุนโอกาส และสถิติสิ่งแวดล้อม ศึกษาปรากฏ [9-13] และก่อนหน้า neuroimaging [5-8] ได้ที่เกี่ยวข้อง orbitofrontal สมอง สมอง cingulate เฝือก และ striatum ทางสัญญาณด้านล่างในความแตกต่างระหว่างของการสำรวจและแสวงหาประโยชน์ กระนั้น กลไกประสาทที่อยู่ภายใต้การเลือกกลยุทธ์ยังคงเข้าใจได้ไม่ดี เราตั้งสมมติฐานว่าหลัง cingulate คอร์เทกซ์ (CGp), พื้นที่การเชื่อมโยงการประมวลผล ความสนใจ [14], [15, 16] ความจำ และระบบควบคุมมอเตอร์ [17] รางวัล สื่อการรวมของตัวแปรเช่นรางวัล [18], ความไม่แน่นอน [19], และตำแหน่งเป้าหมาย [20] ที่อยู่ภายใต้สมดุลไดนามิก ที่นี่เราแสดงว่า เซลล์ประสาท CGp แยกแยะตัดสินใจสำรวจ และถูกแสวงประโยชน์โดยลิงในงานจับเหยื่อแบบไดนามิก นอกจากนี้ อัตราการยิงของเซลล์ประสาทเหล่านี้ทำนายในแฟชั่นจัดระดับกลยุทธ์ส่วนใหญ่มักจะเลือกการทดลองที่เกิดขึ้น การเข้ารหัสนี้ไม่สลับระหว่างเป้าหมาย และเป็นอิสระจาก magnitudes สัมบูรณ์ของรางวัล ข้อสังเกตเหล่านี้พาดพิง CGp รวมของแต่ละผลลัพธ์ในการตัดสินใจและการปรับเปลี่ยนกลยุทธ์ในสภาพแวดล้อมแบบไดนามิก

ผลลัพธ์ (ไทย) 2:

สรุป

ในสภาพแวดล้อมแบบไดนามิกพฤติกรรมการปรับตัวต้องสมดุลระหว่างการเก็บเกี่ยวผลตอบแทนที่มีอยู่ในปัจจุบัน (การแสวงหาผลประโยชน์) และรวบรวมข้อมูลเกี่ยวกับตัวเลือกทางเลือก (สำรวจ) [1-4] การตัดสินใจเชิงกลยุทธ์ดังกล่าวควรรวมไม่เพียง แต่ประวัติศาสตร์ที่ผ่านมาได้รับรางวัล แต่ยังต้นทุนค่าเสียโอกาสและสถิติด้านสิ่งแวดล้อม neuroimaging ก่อนหน้านี้ [5-8] และ neurophysiological [9-13] การศึกษาได้มีส่วนเกี่ยวข้องเยื่อหุ้มสมอง orbitofrontal นอกก่อน cingulate และท้อง striatum ในความแตกต่างระหว่างอุบาทว์ของการสำรวจและการใช้ประโยชน์ อย่างไรก็ตามกลไกของเซลล์ประสาทที่รองรับการเลือกกลยุทธ์ยังคงเข้าใจได้ไม่ดี เราตั้งสมมติฐานว่าหลัง cingulate เยื่อหุ้มสมอง (CGP) ซึ่งเป็นพื้นที่เชื่อมโยงการประมวลผลรางวัลความสนใจ [14], หน่วยความจำ [15 16] และระบบควบคุมมอเตอร์ [17], ไกล่เกลี่ยการรวมกลุ่มของตัวแปรเช่นรางวัล [18] ความไม่แน่นอน [ 19] และสถานที่เป้าหมาย [20] ที่รองรับความสมดุลแบบไดนามิกนี้ ที่นี่เราแสดงให้เห็นว่าเซลล์ประสาท CGP แยกแยะความแตกต่างระหว่างการตัดสินใจสำรวจและแสวงประโยชน์ทำโดยลิงในงานที่หาอาหารแบบไดนามิก นอกจากนี้อัตราการยิงของเซลล์ประสาทเหล่านี้คาดการณ์ในแฟชั่นช้ากลยุทธ์ที่มีแนวโน้มที่จะได้รับการคัดเลือกในการทดลองที่จะเกิดขึ้น การเข้ารหัสนี้แตกต่างจากการสลับระหว่างเป้าหมายและเป็นอิสระจากขนาดที่แน่นอนของผลตอบแทน ข้อสังเกตเหล่านี้มีส่วน CGP ในการบูรณาการของผลลัพธ์ของแต่ละบุคคลข้ามการตัดสินใจและการปรับเปลี่ยนกลยุทธ์ในสภาพแวดล้อมแบบไดนามิก