Example ApplicationRecently, a numb

Example Application
Recently, a number of human functional magnetic resonance imaging (fMRI) studies have used a method called model-based fMRI – predictions derived from a computational model of behavior are correlated with fMRI data to determine brain areas related to postulated decision-making processes. These studies have shown that blood-oxygen-level-dependent (BOLD) activations in brain regions including the striatum and orbitofrontal cortex correlate with prediction error signals from a computational model of learning called the temporal-difference reinforcement learning model which is discussed in detail in Chapters 15, 16 and 17 Chapter 15 Chapter 16 Chapter 17. Below we illustrate the method of computational modeling and model-based fMRI analysis for a study ( Ahn et al., 2009) that investigated decision making using the Iowa Gambling Task (IGT) ( Bechara et al., 1994). 2

The goal of a subject in the IGT is to maximize monetary gains while repeatedly choosing cards from one of four decks. Each selection results in a monetary gain, a draw (neither a gain nor a loss), or a loss. There are two “good” decks (say decks 1 and 2) with long-term gains and two “bad” decks (say 3 and 4) with long-term losses. However, the typical win is larger for the bad decks than the good decks, putting the magnitude of the potential immediate gain into opposition with the long-term cumulative outcome from the decks. Participants need to learn from experience which decks are advantageous for good performance over the long term.

We will use a computational model for this task called the Prospect Valence Learning (PVL) model ( Ahn et al., 2008), which is based on three assumptions. First, it is assumed that the net payoff experienced on each trial t, denoted as x(t) with x(t)=(win(t)−|lose(t)|), produces an affective experience that is represented by a utility function on trial t, u(t) expressed as:

ผลลัพธ์ (ไทย) 1:

ตัวอย่างประยุกต์
ล่าสุด หมายเลขของมนุษย์ทำงานแม่เหล็กสั่นพ้องภาพ (fMRI) ศึกษาได้ใช้วิธีเรียกว่าเซ fMRI – คาดการณ์จากแบบจำลองคอมพิวเตอร์ของพฤติกรรมมี correlated กับ fMRI ข้อมูลเพื่อกำหนดพื้นที่ของสมองที่เกี่ยวข้องกับกระบวนการตัดสินใจ postulated การศึกษานี้ได้แสดงว่า เลือดออกซิเจนระดับขึ้นอยู่กับการเปิดใช้งาน (ตัวหนา) ในภูมิภาคสมอง cortex striatum และ orbitofrontal รวมทั้งสร้างความสัมพันธ์กับสัญญาณผิดพลาดคาดเดาจากรูปแบบการคำนวณเรียกว่าการเรียนรู้เสริมขมับแตกต่างเรียนรู้รุ่นที่กล่าวถึงในรายละเอียดในบทที่ 15, 16 และ 17 บทที่ 15 บทที่ 16 บทที่ 17 ด้านล่างเราแสดงวิธีการสร้างโมเดลการคำนวณและวิเคราะห์ตามรุ่น fMRI ศึกษา (อาห์น et al., 2009) ที่สอบสวนตัดสินใจใช้รัฐไอโอวาพนันงาน (IGT) (Bechara et al., 1994) 2

เป้าหมายของเรื่องใน IGT จะเพิ่มเงินกำไรขณะที่การเลือกไพ่จากสำรับ 4 ซ้ำ ๆ เลือกแต่ละผลกำไรเงิน วาด (ไม่มีกำไรหรือขาดทุน), หรือสูญหาย มีสองชั้น "ดี" (บอกชั้น 1 และ 2) กำไรระยะยาวและสอง "ไม่ดี" สำรับ (กล่าว 3 และ 4) กับการขาดทุนระยะยาว อย่างไรก็ตาม ชนะโดยทั่วไปมีขนาดใหญ่สำหรับชั้นดีกว่าชั้นดี ใส่ขนาดของกำไรทันทีอาจเป็นฝ่ายค้านกับผลสะสมระยะยาวจากชั้น ผู้เรียนต้องเรียนรู้จากประสบการณ์ที่สำรับที่มีประโยชน์สำหรับประสิทธิภาพที่ดีกว่า term. ยาว

เราจะใช้แบบจำลองคำนวณสำหรับงานนี้เรียกว่าแบบจำลองโน้มเวเลนซ์เรียน (PVL) (อาห์น et al., 2008), ซึ่งเป็นไปตามสมมติฐานที่ 3 การ ครั้งแรก มันเป็นสมมติว่า ผลตอบแทนสุทธิที่มีประสบการณ์ในการทดลองแต่ละ t สามารถบุเป็น x(t) กับ x(t)=(win(t)−|lose(t)|) สร้างประสบการณ์ผลที่แสดง ด้วยฟังก์ชันอรรถประโยชน์ในการทดลอง t, u(t) แสดงเป็น:

ผลลัพธ์ (ไทย) 2:

ตัวอย่างการประยุกต์ใช้
เมื่อเร็ว ๆ นี้จำนวนของมนุษย์ถ่ายภาพด้วยคลื่นแม่เหล็กทำงาน (fMRI) การศึกษาได้ใช้วิธีการที่เรียกว่ารูปแบบที่ใช้ fMRI - การคาดการณ์ที่ได้มาจากรูปแบบการคำนวณของพฤติกรรมที่มีความสัมพันธ์กับข้อมูล fMRI เพื่อตรวจสอบพื้นที่ของสมองที่เกี่ยวข้องกับการตั้งสมมติฐานกระบวนการตัดสินใจ . การศึกษาเหล่านี้ได้แสดงให้เห็นว่าเลือดออกซิเจนระดับขึ้นอยู่กับ (ตัวหนา) การเปิดใช้งานในภูมิภาคของสมองรวมทั้ง striatum และนอก orbitofrontal มีความสัมพันธ์กับสัญญาณความผิดพลาดของการทำนายจากแบบจำลองคอมพิวเตอร์ของการเรียนรู้ที่เรียกว่าเสริมขมับแตกต่างรูปแบบการเรียนรู้ที่จะกล่าวถึงในรายละเอียดใน บทที่ 15, 16 และ 17 บทที่ 15 บทที่ 16 บทที่ 17 ด้านล่างเราแสดงให้เห็นถึงวิธีการสร้างแบบจำลองการคำนวณและรูปแบบที่ใช้ในการวิเคราะห์ fMRI เพื่อการศึกษา (Ahn et al., 2009) ว่าการตรวจสอบการตัดสินใจโดยใช้การพนันงานรัฐไอโอวา (IGT) (Bechara et al., 1994) 2 เป้าหมายของเรื่องนี้ใน IGT คือการเพิ่มเงินกำไรในขณะที่ซ้ำ ๆ เลือกบัตรจากหนึ่งในสี่ชั้น แต่ละผลการเลือกในการได้รับเงินเสมอ (ไม่ได้รับหรือสูญเสีย) หรือการสูญเสีย มีสอง "ดี" ชั้น (พูดชั้น 1 และ 2) กับกำไรในระยะยาวและสองชั้น "เลวร้าย" (พูด 3 และ 4) มีการสูญเสียในระยะยาวเป็น แต่ชนะโดยทั่วไปมีขนาดใหญ่สำหรับชั้นไม่ดีกว่าชั้นดีวางความสำคัญของการได้รับทันทีที่มีศักยภาพเข้ามาในความขัดแย้งที่มีผลสะสมระยะยาวจากชั้น ผู้เข้าร่วมจะต้องเรียนรู้จากประสบการณ์ที่ชั้นเป็นประโยชน์ในการดำเนินงานที่ดีในระยะยาวเราจะใช้รูปแบบการประมวลผลสำหรับงานที่เรียกว่าโอกาส Valence เรียนรู้ (PVL) รุ่นนี้ (Ahn et al., 2008) ซึ่งจะขึ้นอยู่กับสาม สมมติฐาน ครั้งแรกมันจะสันนิษฐานว่าผลตอบแทนสุทธิที่มีประสบการณ์ในแต่ละทีทดลองแสดงเป็น x (t) กับ x (t) = (ชนะ (t) - | สูญเสีย (t) |) ผลิตประสบการณ์ทางอารมณ์ที่เป็นตัวแทนจาก ฟังก์ชั่นยูทิลิตี้บนเสื้อตัวอย่าง U (t) แสดง:

ผลลัพธ์ (ไทย) 3:

ตัวอย่างโปรแกรม

เมื่อเร็ว ๆนี้จำนวนของมนุษย์แบบแม่เหล็ก ( fMRI ) โดยการศึกษาได้ใช้วิธีการที่เรียกว่าสำหรับ fMRI ( คาดคะเนได้มาจากแบบจำลองคอมพิวเตอร์ของพฤติกรรม มีความสัมพันธ์กับข้อมูล fMRI ศึกษาซึ่งสมองส่วนที่เกี่ยวข้องกับกระบวนการตัดสินใจการศึกษาเหล่านี้แสดงให้เห็นว่า ระดับออกซิเจนในเลือด ) ( ตัวหนา ) จนกระทั่งสมองรวมถึงภูมิภาคแต่ orbitofrontal Cortex และสัมพันธ์กับการพยากรณ์ผิดพลาดสัญญาณจากแบบจำลองคอมพิวเตอร์ของการเรียนรู้ที่เรียกว่า ความแตกต่างและเสริมการเรียนรู้ ซึ่งจะกล่าวถึงในรายละเอียดในบท 15 , 16 และ 17 บทที่บทที่ 15 บทที่ 16 17ด้านล่างเราจะแสดงวิธีการคำนวณและการวิเคราะห์สำหรับการสแกนสมองเพื่อการศึกษา ( อาน et al . , 2009 ) ที่ศึกษาการตัดสินใจใช้ไอโอวาการพนันงาน ( IGT ) ( bechara et al . , 1994 ) 2

เป้าหมายของวิชาไฟฟ้า เพื่อเพิ่มเงินในขณะที่ซ้ำๆ เลือกการ์ดจากหนึ่งใน 4 ชั้น การเลือกแต่ละผลลัพธ์ในการได้รับเงินวาด ( หรือกำไรหรือขาดทุน หรือขาดทุน มี 2 ชั้น ( พูดดี ชั้น 1 และ 2 ) ผลประโยชน์ระยะยาวและสอง " เลวร้าย " ( พูดชั้น 3 และ 4 ) กับขาดทุนระยะยาว อย่างไรก็ตาม ชนะโดยทั่วไปขนาดใหญ่สำหรับชั้นแย่กว่าชั้นดี ใส่ขนาดของเข้าทันที ที่มีศักยภาพในการต่อต้านกับผลระยะยาว สะสมจากดาดฟ้าเรือผู้เข้าร่วมจะต้องเรียนรู้จากประสบการณ์ ที่โต๊ะมีข้อได้เปรียบสำหรับประสิทธิภาพที่ดีกว่าในระยะยาว

เราจะใช้แบบจำลองคอมพิวเตอร์สำหรับงานนี้เรียกว่าโอกาสที่ 2 การเรียนรู้ ( pvl ) รูปแบบ ( อาน et al . , 2008 ) ซึ่งจะขึ้นอยู่กับสามข้อสมมติ ครั้งแรก มันจะสันนิษฐานว่าผลตอบแทนสุทธิที่มีประสบการณ์ในแต่ละการทดลองที กล่าวคือ เป็น x ( t ) x ( t ) = ( − | แพ้ชนะ ( T ) ( T ) | )สร้างอารมณ์ประสบการณ์ที่แทนด้วยฟังก์ชันอรรถประโยชน์ในการทดลอง t , u ( t ) แสดงเป็น