6.4. Mixed model learningThe Mixed

6.4. Mixed model learning
The Mixed Model Learning (MML) strategy integrates imita-
tive learning and reinforcement learning in a single knowledge
framework in an interleaving manner. The process of ML is illus-
trated in Fig. 5. Note that TD-FALCON comprises a cognitive field
S. Feng, A.-H. Tan / Expert Systems With Applications 56 (2016) 89–99 95 Table 3
The mixed model learning method.
1. Initialize the TD-FALCON network.
2. Sense the environment and formulate a state representation s.
3. Obtain the opponent’s state and formulate a state representation so.
4. Observe the action ao taken by the opponent.
5. Choose the action a with the maximal Q(s,a) value by presenting the
corresponding state vector S,
action vector A=(1,... 1) and the reward vector R=(1,0) to TD-FALCON.
6. Perform the action a, and receive a reward r from the environment.
7. Observe the next state s′ .
8. Estimate the revised value function Q(s, a) following a Temporal
Difference formula such as Q (s, a) = αTDerr .
9. Perform learning in TD-FALCON, by presenting the state vector S, action vector A=(a1, a2,..., an),
where aI=1 if aI corresponds to the action a, ai = 0 for i ̸= I, and reward vector
R=(Q(s, a), 1-Q(s, a)) to TD-FALCON for learning.
10. When a negative reward is received, perform imitative learning by
presenting the state vector So,
the action vector Ao = (a1,a2,...,an), where aI=1 if aI corresponds to
the action ao and ai = 0
for i ̸= I, and the reward vector Ro = (q, 1 − q) to TD-FALCON for
learning.
11. Update the current state by s=s′ .
12. Repeat from Step 2 until s is a terminal state.
Fig. 6. Unreal Tournament 2004 game environment.
For reinforcement learning, TD-FALCON follows the typically pro- cedure of setting the activity vectors as xc1 = S, xc2 = A, and xc3 = R = (Q,Q).
7. Benchmark evaluation
7.1. The unreal tournament environment
Unreal Tournament (UT) is a first person shooting game featur- ing close combat fighting between non-player characters and hu- man players in a virtual environment. Fig. 6 provides a snapshot of the game environment taken from the view of a human player. The armed soldiers running and shooting in the environment are non- player characters, called Bots. The gun shown at the lower right hand corner is controlled by the human player. In our experiments, we use a “Deathmatch” mode, in which every Bot must fight with any other player in order to survive and win. UT does not merely offer an environment for gaming. More importantly, it also pro- vides a platform for building and evaluating autonomous agents. Specifically, an Integrated Development Environment (IDE), called
Fc and three input fields: a sensory field Fc1 for representing cur- 21
rent states, a motor field Fc2 for representing actions, and a feed- 1
back field Fc3 for representing the reward values. Using the Mixed 1
Model Learning method, the three input fields obtain their state, action and reward patterns based on the behavior of the agent and its opponents.
Specifically, a set of three input patterns are used for imitative learning, namely So, Ao, and Ro, representing the opponent’s state, action, and feedback from the environment respectively. Another set of three input patterns are dedicated to reinforcement learning, namely S, A, and R, representing the agent’s current state, action, and reward received from the environment respectively.
Note that the six input patterns are not to be active at the same time as TD-FALCON alternates between the two learning methods. As summarized in Table 3, TD-FALCON first decides between the imitative learning mode and the reinforcement learning mode and then activates the learning of the corresponding input patterns.
Whereas reinforcement learning is performance regularly upon receiving the reward signals, imitative learning is done selectively in a strategic manner. Specifically, when a negative reward is re- ceived, imitative learning is carried out following reinforcement learning. The rationale is that in a two-player zero sum game, a player’s penalty will typically be the outcome of a right action taken by its opponent.
For imitative learning, TD-FALCON senses the opponent’s state so and action ao, represented as state vector So and action vector Ao respectively. The activity vectors of the three input fields are subsequently set as xc1 =So, xc2 =Ao, and xc3 =Ro =(q,1−q).

ผลลัพธ์ (ไทย) 1:

6.4. ผสมรูปแบบการเรียนรู้กลยุทธ์การเรียนรู้แบบผสม (ลิตร) รวม imita-tive การเรียนรู้และเสริมสร้างการเรียนรู้ในความรู้เดียวกรอบในลักษณะ interleaving กระบวนการของ ML เป็นลูเธอร์-trated ในรูปที่ 5 หมายเหตุว่า เหยี่ยว TD ประกอบด้วยเขตข้อมูลองค์ความรู้S. ฮ A. H. ตาล / ผู้เชี่ยวชาญระบบกับการใช้งาน 56 (2016) 89 – 99 95 ตาราง 3วิธีการเรียนแบบผสมรุ่น1. เตรียมใช้งานเครือข่าย TD-เหยี่ยว2. สัมผัสสภาพแวดล้อม และ s แทนรัฐกำหนด3. ขอรับฝ่ายรัฐ และกำหนดเป็นตัวแทนของรัฐดังนั้น4. สังเกตอ่าวการกระทำที่ดำเนินการ โดยฝ่ายตรงข้าม5. เลือกการกระทำที่ มีค่า Q(s,a) สูงสุดโดยนำเสนอการตรงสถานะเวกเตอร์ Sการดำเนินการเวกเตอร์ A = (1,... 1) และเวกเตอร์รางวัล R=(1,0) การ TD-เหยี่ยว6. ดำเนินการ และได้รับเป็นรางวัล r จากสิ่งแวดล้อม7. สังเกต s′ รัฐถัดไป8. ประเมินการปรับปรุงค่า Q(s, a) ไปขมับความแตกต่างสูตรเช่น Q (s แบบ) = αTDerr9. ทำการเรียนรู้ใน TD-เหยี่ยว โดยนำเสนอสถานะเวกเตอร์ S ดำเนินการเวกเตอร์ A = (a1, a2,...,),ที่ aI = 1 ถ้า aI ตรงให้ดำเนินการต่อ ai = 0 สำหรับผม̸ =ฉัน และรางวัลเวกเตอร์R = (Q(s, a), 1 Q(s, a)) กับ TD-เหยี่ยวสำหรับการเรียนรู้10. เมื่อได้รับรางวัลเป็นค่าลบ ทำหูเรียนรู้โดยนำเสนอสถานะเวกเตอร์นั้นเวกเตอร์การกระทำอ่าว = (a1, a2,..., มี), ที่ aI = 1 ถ้า aI ที่สอดคล้องกับอ่าวกระทำและ ai = 0สำหรับผม̸ =ฉัน และเวกเตอร์รางวัล Ro = (q, 1 − q) ไป TD-เหยี่ยวสำหรับการเรียนรู้11. ปรับปรุงสถานะปัจจุบัน โดย s = s′12. ทำซ้ำจากขั้นตอนที่ 2 จนกว่า s เป็นสถานะการเทอร์มินัลรูป 6 บรรยากาศเกม unreal 2004 การแข่งขันสำหรับเสริมการเรียนรู้ TD-เหยี่ยวตามมัก cedure pro การตั้งค่ากิจกรรมเวกเตอร์เป็น xc1 = S, xc2 = A และ xc3 = R = (Q, Q)7. เกณฑ์มาตรฐานการประเมิน7.1. การแข่งขันไม่เกิดสภาพแวดล้อมการแข่งขันจริง (UT) เป็นคนแรกยิงเกมโรงแรมสิบ-ing ระยะประชิดระหว่าง-เล่นละครและเล่นหูคนในสภาพแวดล้อมเสมือน รูป 6 แสดง snapshot ของสิ่งแวดล้อมเกมถ่ายจากมุมมองของมนุษย์ ทหารติดอาวุธที่ใช้ และการถ่ายภาพในสภาพแวดล้อมไม่ใช่ตัวละคร เรียกว่าบอท ปืนที่แสดงที่มุมขวามือล่างจะถูกควบคุม โดยมนุษย์ผู้เล่น ในการทดลองของเรา เราใช้โหมด "พิฆาต" Bot ทุกต้องต่อสู้กับผู้เล่นอื่น ๆ เพื่อเอาตัวรอด และชนะ UT ไม่เพียงมีสภาพแวดล้อมสำหรับการเล่นเกม ที่สำคัญ มันยัง pro - vides สำหรับอาคาร และประเมินตัวแทนอิสระ เฉพาะ การรวมการพัฒนาสภาพแวดล้อม (IDE), เรียกว่า Fc และป้อนข้อมูลสามเขตข้อมูล: ฟิลด์ประสาท Fc1 สำหรับแทน cur-21อเมริกาเช่า เขตมอเตอร์ Fc2 สำหรับแสดงถึงการกระทำ และอาหาร-1หลัง Fc3 สำหรับรางวัลแทนค่าฟิลด์ ใช้ 1 ผสมวิธีการเรียนรู้รูปแบบ ฟิลด์สามฟิลด์ป้อนข้อมูลขอรับรูปแบบของรัฐ การดำเนินการ และรางวัลตามพฤติกรรมของตัวแทนและฝ่ายตรงข้ามของเฉพาะ รูปแบบอินพุตสามชุดที่ใช้สำหรับการเรียนรู้หู คือดังนั้น อ่าว และ Ro แสดงสถานะฝ่าย การกระทำ และผลป้อนกลับจากสภาพแวดล้อมตามลำดับ รูปแบบอินพุตสามชุดอื่นทุ่มเทเพื่อเสริมการเรียนรู้ คือ S, A และ R แสดงสถานะปัจจุบันของตัวแทน การกระทำ และรางวัลที่ได้รับจากสิ่งแวดล้อมตามลำดับหมายเหตุว่า รูปแบบการป้อนข้อมูลหกจะไม่ทำงานได้ในเวลาเดียวกับเหยี่ยว TD ทางเลือกระหว่างสองวิธีการเรียนรู้ ตามที่สรุปไว้ในตารางที่ 3, TD-เหยี่ยวก่อน ตัดสินใจระหว่างโหมดเรียนรู้หูและโหมดการเรียนรู้การเสริมแรง และจากนั้น เรียกใช้การเรียนรู้ของรูปแบบการป้อนข้อมูลที่สอดคล้องกันในขณะที่เสริมการเรียนรู้มีประสิทธิภาพเป็นประจำเมื่อได้รับสัญญาณรางวัล เรียนรู้หูแล้วเลือกในลักษณะเชิงกลยุทธ์ เฉพาะ เมื่อรางวัลลบ re-ceived, imitative กีฬาการเรียนรู้จะดำเนินการต่อไปนี้เสริมการเรียนรู้ เหตุผลคือ ว่า ในสองผู้เล่น เกมผลรวมศูนย์ โทษของผู้เล่นมักจะผลเหมาะสมดำเนินการ โดยฝ่ายตรงข้ามของเรียนหู TD-เหยี่ยวความรู้สึกฝ่ายรัฐนั้น และการกระทำอ่าว แสดงเป็นสถานะเวกเตอร์ดังนั้นและการกระทำเวกเตอร์อ่าวตามลำดับ ต่อมามีตั้งกิจกรรมเวกเตอร์สามฟิลด์ป้อนข้อมูลเป็น xc1 =ดังนั้น xc2 =อ่าว และ xc3 = Ro = (q, 1−q)

ผลลัพธ์ (ไทย) 2:

6.4 รูปแบบการเรียนรู้ผสม
ผสมแบบการเรียนรู้ (MML) กลยุทธ์รวม imita-
การเรียนรู้และการเสริมแรงเชิงการเรียนรู้ในความรู้เดียว
กรอบในลักษณะ interleaving กระบวนการของการมิลลิลิตรจะ illus-
trated ในรูป 5. สังเกตว่า TD-FALCON ประกอบด้วยข้อมูลองค์ความรู้
เอส ฮ A.-H. ตาล / ระบบผู้เชี่ยวชาญด้วยการประยุกต์ใช้ 56 (2016) 89-99 95 ตารางที่ 3
วิธีการเรียนรู้แบบผสม.
1 เริ่มต้นเครือข่าย TD-เหยี่ยว.
2 รู้สึกสิ่งแวดล้อมและกำหนดเป็นตัวแทนรัฐเอส.
3 ขอรับรัฐของฝ่ายตรงข้ามและกำหนดเป็นตัวแทนของรัฐดังนั้น.
4 สังเกตการกระทำอ่าวถ่ายโดยฝ่ายตรงข้าม.
5 เลือกการกระทำที่มีสูงสุด Q (S, A) มูลค่าโดยการนำเสนอ
ที่สอดคล้องกันของรัฐเวกเตอร์ S,
การกระทำเวกเตอร์ = (1, ... 1) และรางวัลเวกเตอร์ r = (1,0) เพื่อ TD-FALCON
6 ดำเนินการการดำเนินการและได้รับรางวัลจาก R สิ่งแวดล้อม.
7 สังเกตรัฐ s ถัดไป '.
8 ประมาณมูลค่าปรับปรุงฟังก์ชั่น Q (S, A) ดังต่อไปนี้ชั่ว
สูตรแตกต่างเช่น Q (S, A) = αTDerr.
9 ดำเนินการการเรียนรู้ใน TD-เหยี่ยวโดยนำเสนอรัฐเวกเตอร์ S, การกระทำเวกเตอร์ = (A1, A2, ... , เป็นพิเศษ),
ที่ Ai = 1 ถ้า AI สอดคล้องกับการดำเนินการ, AI = 0 ° for i = ฉัน และรางวัลเวกเตอร์
r = (Q (s, A) 1-Q (s, A)) เพื่อ TD-FALCON สำหรับการเรียนรู้.
10 เมื่อผลตอบแทนในเชิงลบจะได้รับการดำเนินการการเรียนรู้การลอกเลียนแบบโดย
นำเสนอเวกเตอร์รัฐดังนั้น
เวกเตอร์การกระทำอ่าว = (A1, A2, ... , เป็นพิเศษ) ที่ Ai = 1 ถ้า AI สอดคล้องกับ
การดำเนินการและอ่าว AI = 0
สำหรับ ฉัน° = ฉันและรางวัลเวกเตอร์ Ro = (Q, 1 - Q) เพื่อ TD-FALCON สำหรับ
การเรียนรู้.
11 อัปเดตสถานะปัจจุบันโดย s = s '.
12 ซ้ำจากขั้นตอนที่ 2 จนกว่า S เป็นรัฐขั้ว.
รูป 6. Unreal Tournament 2004 สภาพแวดล้อมในเกม.
สำหรับการเรียนรู้เสริม TD-FALCON ตาม cedure มักจะโปรของการตั้งค่าพาหะกิจกรรมเป็น xc1 = S, xC2 = A, และ xc3 = R = (Q, Q).
7 การประเมินเกณฑ์มาตรฐาน
7.1 สภาพแวดล้อมการแข่งขันที่ไม่เป็นจริง
Unreal Tournament (UT) เป็นคนแรกที่ยิงเกม featur- ไอเอ็นจีการต่อสู้การต่อสู้ที่ใกล้ชิดระหว่างอักขระที่ไม่ใช่ผู้เล่นและผู้เล่นคน hu- ในสภาพแวดล้อมเสมือน มะเดื่อ. 6 ให้ภาพรวมของสภาพแวดล้อมในเกมที่นำมาจากมุมมองของผู้เล่นของมนุษย์ ทหารกองกำลังติดอาวุธและการถ่ายภาพการทำงานในสภาพแวดล้อมที่มีตัวละครที่ไม่ใช่ผู้เล่นที่เรียกว่าบอท ปืนแสดงที่มุมล่างขวามือจะถูกควบคุมโดยผู้เล่นของมนุษย์ ในการทดลองของเราเราใช้โหมด "พิฆาต" ซึ่งทุก Bot ต้องต่อสู้กับผู้เล่นอื่น ๆ เพื่อให้อยู่รอดและชนะ UT ไม่เพียง แต่นำเสนอสภาพแวดล้อมสำหรับการเล่นเกม ที่สำคัญกว่านั้นยังมีโปร vides แพลตฟอร์มสำหรับการสร้างและการประเมินตัวแทนอิสระ โดยเฉพาะสภาพแวดล้อมการพัฒนาแบบบูรณาการ (IDE) เรียก
Fc และสามช่องใส่: สนามประสาทสัมผัส Fc1 สำหรับการเป็นตัวแทน cur- 21
เช่า States, สนามมอเตอร์ FC2 สำหรับการเป็นตัวแทนการกระทำและ feed- 1
หลังสนาม Fc3 สำหรับคิดเป็นค่าที่ได้รับรางวัล . ใช้ผสม 1
รุ่นวิธีการเรียนรู้ทั้งสามช่องใส่ขอรับรัฐการกระทำและรางวัลของพวกเขารูปแบบขึ้นอยู่กับพฤติกรรมของตัวแทนและฝ่ายตรงข้ามของตน.
โดยเฉพาะชุดของสามรูปแบบการป้อนข้อมูลที่ใช้สำหรับการเรียนรู้การลอกเลียนแบบคือดังนั้นอ่าว และ Ro เป็นตัวแทนของรัฐ, การกระทำ, และข้อเสนอแนะของฝ่ายตรงข้ามจากสภาพแวดล้อมตามลำดับ ชุดของสามรูปแบบการป้อนข้อมูลอื่นจะทุ่มเทให้กับการเสริมแรงการเรียนรู้คือ S, A และ R คิดเป็นตัวแทนของรัฐในปัจจุบัน, การกระทำ, และผลตอบแทนที่ได้รับจากสิ่งแวดล้อมตามลำดับ.
โปรดทราบว่ารูปแบบการป้อนข้อมูลหกไม่ได้ที่จะใช้งานในเวลาเดียวกัน เวลาที่สลับ TD-FALCON ระหว่างทั้งสองวิธีการเรียนรู้ ดังสรุปในตารางที่ 3, TD-FALCON แรกตัดสินใจระหว่างโหมดการเรียนรู้การลอกเลียนแบบและโหมดการเรียนรู้การเสริมแรงแล้วเปิดใช้งานการเรียนรู้รูปแบบการป้อนข้อมูลที่สอดคล้องกัน.
ในขณะที่การเรียนรู้การเสริมแรงเป็นผลการดำเนินงานประจำเมื่อได้รับสัญญาณที่ได้รับรางวัลในการเรียนรู้การลอกเลียนแบบจะกระทำการคัดเลือกใน ลักษณะเชิงกลยุทธ์ โดยเฉพาะเมื่อมีการให้รางวัลเป็นลบอีกครั้ง ceived การเรียนรู้การลอกเลียนแบบจะดำเนินการดังต่อไปนี้การเรียนรู้การเสริมแรง เหตุผลก็คือว่าในสองผู้เล่นเกมผลรวมศูนย์โทษของผู้เล่นโดยทั่วไปแล้วจะเป็นผลของการกระทำที่เหมาะสมดำเนินการโดยฝ่ายตรงข้ามของตน.
สำหรับการเรียนรู้การลอกเลียนแบบ, TD-FALCON รู้สึกรัฐของฝ่ายตรงข้ามเพื่อให้และการกระทำอ่าวแสดงเป็นรัฐเวกเตอร์ ดังนั้นการกระทำเวกเตอร์และอ่าวตามลำดับ เวกเตอร์กิจกรรมของทั้งสามช่องใส่มีการตั้งค่าต่อมา xc1 = ดังนั้น xC2 = อ่าวและ xc3 = = Ro (Q, 1-Q)

ผลลัพธ์ (ไทย) 3:

6.4 . การเรียนรู้แบบผสมผสมรูปแบบการเรียนรู้ ( บริษัท ) รวม imita - กลยุทธ์การเรียนรู้และการเรียนรู้แบบเสริมกำลังใน tive ความรู้เดี่ยวกรอบใน interleaving ลักษณะ กระบวนการของมลลลัส - คือtrated ในรูปที่ 5 ทราบว่า td-falcon ประกอบด้วยฟิลด์ทางปัญญาเอส ฟง . - H . ตัน / ระบบผู้เชี่ยวชาญกับการประยุกต์ใช้ 56 ( 2016 ) 89 และ 99 95 โต๊ะ 3ผสมรูปแบบการเรียนรู้วิธีการ1 . เริ่ม td-falcon เครือข่าย2 . รู้สึกว่า สิ่งแวดล้อมและกำหนดสถานะการเป็นตัวแทน .3 . ได้รับสถานะของคู่แข่ง และสร้างสภาพการเช่นนั้น4 . สังเกตการกระทำ อ่าว ถ่ายโดยฝ่ายตรงข้าม5 . เลือกการดำเนินการกับค่า Q ( s ) โดยการนำเสนอคุณค่าที่สอดคล้องกันของรัฐเวกเตอร์ของการกระทำเวกเตอร์ = 1 , . . . 1 ) และรางวัลเวกเตอร์ r = ( 1,0 ) td-falcon .6 . ดำเนินการ และได้รับรางวัล R จากสิ่งแวดล้อม7 . สังเกตรัฐต่อไปของพวกเขา .8 . การแก้ไขค่าฟังก์ชัน Q ( s ) ตามกาลสูตรแตก เช่น Q ( s ) = α tderr .9 . ดำเนินการในการเรียนรู้ td-falcon โดยเสนอรัฐเวกเตอร์ของเวกเตอร์การกระทำ = ( A1 , A2 , . . . , )ที่ไอ = 1 ถ้าไอที่สอดคล้องกับการกระทำเป็น Ai = 0 สำหรับผม̸ = ผม , และรางวัลเวกเตอร์R = ( Q ( s ) , 1-q ( s ) ) td-falcon เพื่อการเรียนรู้10 . เมื่อรางวัลลบได้รับการเลียนแบบโดยการเรียนรู้เสนอรัฐเวกเตอร์ดังนั้นเวกเตอร์การกระทำอ่าว = ( A1 , A2 , . . . , ) ที่ไอ = 1 ถ้าไอที่ตรงกับอ่าวไอ = 0 และปฏิบัติการสำหรับผม̸ = ผม , และรางวัลเวกเตอร์ RO = ( Q , 1 − Q ) td-falcon สำหรับการเรียนรู้11 . อัพเดทสถานะปัจจุบันโดย S = s ’ .12 . ทำซ้ำจากขั้นตอนที่ 2 จนถึงเป็นสถานีของรัฐรูปที่ 6 Unreal Tournament 2004 เกมสิ่งแวดล้อมเสริมการเรียนรู้ td-falcon ดังต่อไปนี้โดยทั่วไป โปร - cedure การกิจกรรมเวกเตอร์เป็น xc1 = S , xc2 = และ xc3 = = ( Q Q )7 . การประเมินมาตรฐาน7.1 . สภาพแวดล้อมอันเรียล ทัวร์นาเมนท์Unreal Tournament ( UT ) เป็นคนแรกที่ยิงเกม featur - ing ปิดศึกการต่อสู้ระหว่างอักขระที่ไม่ใช่ผู้เล่นและ Hu - คนเล่นในสภาพแวดล้อมเสมือน รูปที่ 6 แสดงภาพรวมของสภาพแวดล้อมในเกมที่ถ่ายจากมุมมองของผู้เล่นที่เป็นมนุษย์ อาวุธทหารวิ่งและยิงในสภาพแวดล้อมที่ไม่ใช่ตัวอักษรเล่น เรียกว่า บอท ปืนแสดงอยู่ที่มุมขวาล่างจะถูกควบคุมโดยผู้เล่นที่เป็นมนุษย์ ในการทดลองของเรา เราใช้ " deathmatch โหมด " ซึ่งในบอททุกคนต้องต่อสู้กับผู้เล่นคนอื่นเพื่อความอยู่รอดและชนะ แต่ไม่เพียงแค่ให้สภาพแวดล้อมสำหรับการเล่นเกม ที่สำคัญ มันยัง โปร - vides เป็นแพลตฟอร์มสำหรับการสร้างและประเมินตนเองแทน โดยเฉพาะเป็นแบบบูรณาการการพัฒนาสิ่งแวดล้อม ( IDE ) เรียกว่าชลบุรี เอฟซี และสามเขตข้อมูล : ประสาทสัมผัสด้าน fc1 แทนสุนัข - 21เช่ารัฐ มอเตอร์ ฟิลด์ fc2 แทนการกระทำ , และอาหาร - 1หลังสนาม fc3 แทนรางวัลค่า ใช้ผสม 1รูปแบบการเรียนทั้งสามเขตข้อมูลได้รับสถานะของตนเอง การกระทำและรูปแบบค่าตอบแทนขึ้นอยู่กับพฤติกรรมของเจ้าหน้าที่และฝ่ายตรงข้ามของมันโดยเฉพาะ ชุดสามป้อนข้อมูลรูปแบบใช้สำหรับการเรียนรู้ การเลียนแบบ คือ ดังนั้น อ่าว และ โร เป็นตัวแทนรัฐ ของฝ่ายตรงข้าม การกระทำ และผลตอบรับจากสภาพแวดล้อม ตามลำดับ อีกตั้งสามป้อนข้อมูลรูปแบบทุ่มเทเพื่อเสริมการเรียนรู้ คือ S , A และ R แทน สภาพปัจจุบัน เจ้าหน้าที่ปฏิบัติการ และรางวัลที่ได้รับจากสิ่งแวดล้อม ตามลำดับโปรดทราบว่าหกใส่ลวดลาย จะไม่สามารถใช้งานในเวลาเดียวกับที่ td-falcon สลับระหว่างสองการเรียนรู้วิธีการ ตามที่สรุปไว้ในตารางที่ 3 td-falcon ก่อนตัดสินใจระหว่างการเสริมการเรียนรู้โหมดและโหมดการเรียนรู้และกระตุ้นการเรียนรู้ในรูปแบบการป้อนข้อมูลที่สอดคล้องกันในขณะที่การเรียนรู้แบบเสริมกำลังการปฏิบัติเป็นประจำคือ เมื่อรับรางวัลเสร็จ เลือก การเรียนรู้ การส่งสัญญาณในลักษณะเชิงกลยุทธ์ โดยเฉพาะเมื่อรางวัลเชิงลบจะ re - ceived การเรียนรู้ การเลียนแบบการเสริมต่อการเรียนรู้ เหตุผลก็คือในผู้เล่นสองเกมศูนย์ โทษของผู้เล่นมักจะได้รับผลของการกระทำที่ถูกถ่ายโดยฝ่ายตรงข้ามของมันสำหรับการเรียนรู้การ td-falcon ประสาทสัมผัส , รัฐของฝ่ายตรงข้าม และการกระทำ อ่าว แสดงเป็นเวกเตอร์และเวกเตอร์การกระทำของอ่าวตามลำดับ กิจกรรมเวกเตอร์ของทั้งสามเขตข้อมูลต่อมาตั้งเป็น xc1 = ดังนั้น xc2 = อ่าว และ xc3 = = ( − 1 โร Q Q )