Fig. 9. The score difference betwee

Fig. 9. The score difference between the learning Bots and Hunter Bots.
Table 7
The score difference between our Bots and the enemy Bot during learning.
of codes in DSL remains in a reasonable region although there is prior knowledge encoded beforehand.
8. Conclusion
This paper has presented a computational model unifying two popular learning paradigms, namely imitative learning and rein- forcement learning, based on a class of self-organizing neural net- works called Fusion Architecture for Learning and COgnition (FAL- CON). Addressing the knowledge integration issue, the compu- tational model is capable of unifying states and actions spaces and transferring knowledge seamlessly across different learning paradigms. This enables the learning agent to perform continuous knowledge exploitation, while it enhances the reinforcement learn- ing with complementary knowledge. Specifically, two hybrid learn- ing strategies, known as Dual-Stage Learning (DSL) and the Mixed Model Learning (MML), are proposed to realize the integration of the two different learning paradigms within one designed frame- work. DSL and MML have been used to create non-player charac- ters (NPCs) in a first person shooting game named Unreal Tour- nament. A series of experiments shows that both DSL and MML are effective in enhancing the learning ability of NPCs in terms of faster learning speed and accelerating convergence. Most notably, the NPCs built by DSL and MML produce better combat perfor- mance comparing with NPCs using the pure reinforcement learn- ing and the pure imitative learning methods. The proposed hybrid learning strategies thus provide an efficient method to building in- telligent NPC agents in games and pave the way towards building autonomous expert and intelligent systems for other applications.
Although integration of different learning paradigms appears to be straightforward in our work, note that our integration strate- gies rely very much on the self-organizing neural network model employed, namely FALCON. As such our work does not provide a general solution for integration of different learning paradigms us- ing any learning algorithm or model.
In terms of algorithm design and experimentation, our main performance metric so far is just the combat performance of the NPC. Moreover, for solving the exploitation–exploration dilemma, we only consider simple direct rewards, such as those given when damaging opponents and collecting weapon. Other more sophisti- cated aspects of NPCs in first-person shooting scenarios, such as goals, memories, and humanity factors, so far have not been ex- plored.
Moving forward, for the purpose of creating intelligent, believ- able and attractive NPC agents, we still have to enhance the ca- pabilities of the agents by integrating other high level cognitive factors and human factors. For example, we shall investigate the use of a goal maintenance module, which may help to manage the exploitation–exploration dilemma and predict the outcome of ac- tions. On the other hand, we shall extend our model to be capable of human-like behavior by incorporating personalities and motiva- tions into agents.
Last but not least, it is important to augment the cognitive func- tions of the agents with affective capabilities, so that the NPCs
Learning Bots
FALCON-IL Bot FALCON-OIL Bot FALCON-RL Bot QL Bot FALCON-DSL Bot FALCON-MML Bot
Score difference after 5 runs
0.10 ± 3.68 0.22 ± 4.18 1.14 ± 3.52 2.50 ± 5.34 7.28 ± 1.96 7.25 ± 3.64
Score difference after 10 runs
0.49 ± 4.24 0.45 ± 5.12 7.04 ± 3.11 2.90 ± 3.34 7.72 ± 4.23
7.10 ± 4.36
Score difference after 20 runs
1.19 ± 3.86 1.01 ± 2.30 8.30 ± 4.16 6.60 ± 5.41 8.72 ± 4.66 7.68 ± 4.62
FALCON-MML Bot, and FALCON-RL Bot. Compared with the Bots evaluated in the first set of experiments, these Bots make use of online real-time learning, doing away with the need to do offline imitative learning before hand. Specifically, imitative learning is done completely in an online fashion for FALCON-OIL Bot, and interleaved with reinforcement learning for FALCON-MML Bot. Fig. 9 summarizes the performance of the three Bots in terms of score difference playing against Hunter. As before, the game score differences are calculated by averaging across ten sets of 20 continuous runs.
From Fig. 9, it can be seen that demonstrates the FALCON-OIL Bot can learn the behavior patterns very quickly, and have a sim- ilar fighting competency as that of Hunter Bot. Comparing with Fig. 8, we see that the FALCON-OIL Bot’s performance is as good as the FALCON-IL Bot. This result also shows that the online im- itative learning is capable of learning behavior patterns fast and accurately.
More importantly, Fig. 9 also shows that FALCON-MML Bot pro- duces an significantly higher level of fighting competency than its opponent. As FALCON-MML Bot provides fast learning speed and quick convergence in real time, this result also shows that MML is a powerful strategy to integrate online imitative l

ผลลัพธ์ (ไทย) 2:

มะเดื่อ. 9. ความแตกต่างระหว่างคะแนนบอทการเรียนรู้และบอทเธ่อ.
ตารางที่ 7
ความแตกต่างระหว่างคะแนน Bots และ Bot ศัตรูของเราในช่วงการเรียนรู้.
ของรหัสใน DSL ยังอยู่ในระดับที่เหมาะสมถึงแม้จะมีความรู้ก่อนการเข้ารหัสก่อน.
8 สรุป
งานวิจัยนี้ได้นำเสนอรูปแบบการคำนวณรวมสองกระบวนทัศน์การเรียนรู้ที่เป็นที่นิยมคือการเรียนรู้การลอกเลียนแบบและการเรียนรู้ forcement rein- ขึ้นอยู่กับระดับของตัวเองจัดงานเครือข่ายประสาทที่เรียกว่าฟิวชั่นสถาปัตยกรรมเพื่อการเรียนรู้และความรู้ (CON FAL- บริการ) การแก้ไขปัญหาบูรณาการความรู้ในรูปแบบ tational compu- มีความสามารถในสหรัฐอเมริกาและช่องว่างการกระทำและความรู้การถ่ายโอนรวมกันได้อย่างลงตัวทั่วกระบวนทัศน์การเรียนรู้ที่แตกต่างกัน ซึ่งจะช่วยให้ตัวแทนการเรียนรู้ที่จะดำเนินการแสวงหาผลประโยชน์จากความรู้อย่างต่อเนื่องในขณะที่มันช่วยเพิ่มการเสริมแรง learn- ไอเอ็นจีที่มีความรู้ที่สมบูรณ์ โดยเฉพาะสองไฮบริดกลยุทธ์ไอเอ็นจี learn- หรือที่เรียกว่า Dual-เวทีการเรียนรู้ (DSL) และผสมแบบการเรียนรู้ (MML) จะเสนอให้ตระหนักถึงการรวมกันของทั้งสองกระบวนทัศน์การเรียนรู้ที่แตกต่างกันภายในกรอบการทำงานที่ได้รับการออกแบบ DSL และ MML ได้ถูกนำมาใช้ในการสร้างผู้เล่นที่ไม่ใช่ตัวอักษร (NPCs) ในเกมยิงคนแรกชื่อ Unreal Tour- nament ชุดการทดลองแสดงให้เห็นว่าทั้ง DSL และ MML มีประสิทธิภาพในการเพิ่มความสามารถในการเรียนรู้ของ NPCs ในแง่ของความเร็วในการเรียนรู้ได้เร็วขึ้นและเร่งการบรรจบกัน ส่วนใหญ่ยวด NPCs ถูกสร้างขึ้นโดย DSL และ MML ผลิตการต่อสู้ที่ดีกว่าการปฏิบัติงานเปรียบเทียบกับแรนซัม NPCs ใช้เสริมแรงบริสุทธิ์ learn- ไอเอ็นจีและบริสุทธิ์วิธีการเรียนรู้การลอกเลียนแบบ ที่นำเสนอกลยุทธ์การเรียนรู้ไฮบริดจึงให้วิธีที่มีประสิทธิภาพในการสร้างตัวแทน telligent NPC in-ในเกมและปูทางสู่การสร้างผู้เชี่ยวชาญอิสระและระบบอัจฉริยะสำหรับการใช้งานอื่น ๆ .
แม้ว่าการรวมกลุ่มของกระบวนทัศน์การเรียนรู้ที่แตกต่างกันที่ดูเหมือนจะตรงไปตรงมาในการทำงานของเราทราบว่า บูรณาการของเรายุทธศาสตร์ Gies พึ่งพามากในตนเองการจัดรูปแบบเครือข่ายประสาทลูกจ้างคือ FALCON เป็นเช่นนี้การทำงานของเราไม่ได้ให้แก้ปัญหาทั่วไปสำหรับการรวมกลุ่มของกระบวนทัศน์การเรียนรู้ที่แตกต่างกัน US-ing ขั้นตอนวิธีการเรียนรู้ใด ๆ หรือรุ่น.
ในแง่ของการออกแบบขั้นตอนวิธีการและการทดลองตัวชี้วัดประสิทธิภาพการทำงานหลักของเราเพื่อให้ห่างไกลเป็นเพียงผลการดำเนินงานการต่อสู้ของ NPC นอกจากนี้ในการแก้ปัญหาภาวะที่กลืนไม่เข้าคายไม่ออกการแสวงหาผลประโยชน์การสำรวจเราจะพิจารณาผลตอบแทนโดยตรงที่เรียบง่ายเช่นผู้ที่ได้รับเมื่อทำลายฝ่ายตรงข้ามและการเก็บรวบรวมอาวุธ ด้านอื่น ๆ มากขึ้น sophisti- cated ของ NPCs ในสถานการณ์การถ่ายภาพคนแรกเช่นเป้าหมายความทรงจำและปัจจัยมนุษยชาติจนถึงขณะนี้ยังไม่ได้รับการ plored อดีต.
ก้าวไปข้างหน้าเพื่อสร้างอัจฉริยะ believ- สามารถและน่าสนใจ NPC ตัวแทนเรายังคงมีเพื่อเพิ่มความสามารถของของตัวแทนโดยการบูรณาการระดับสูงปัจจัยทางปัญญาอื่น ๆ และปัจจัยมนุษย์ ตัวอย่างเช่นเราจะตรวจสอบการใช้โมดูลการบำรุงรักษาเป้าหมายซึ่งอาจช่วยในการจัดการการใช้ประโยชน์ขึ้นเขียงสำรวจและทำนายผลของการทํา tions ในทางกลับกันเราจะขยายรูปแบบของเราที่จะมีความสามารถในพฤติกรรมของมนุษย์เหมือนโดยผสมผสานบุคลิกและ tions motiva- เข้าตัวแทน.
สุดท้าย แต่ไม่น้อยก็เป็นสิ่งสำคัญเพื่อเพิ่มฟังก์ชั่น tions ความรู้ความเข้าใจของตัวแทนที่มีความสามารถอารมณ์ เพื่อให้ NPCs
การเรียนรู้ Bots
FALCON อิลลินอยส์ Bot FALCON น้ำมัน Bot FALCON-RL Bot QL Bot เหยี่ยว DSL Bot เหยี่ยว MML Bot
คะแนนความแตกต่างหลังจาก 5 ลาน
0.10 ± 3.68 0.22 ± 4.18 1.14 ± 3.52 2.50 ± 5.34 7.28 ± 1.96 7.25 ± 3.64
คะแนนความแตกต่างหลังจาก 10 วิ่ง
0.49 ± 4.24 0.45 ± 5.12 7.04 ± 3.11 2.90 ± 3.34 7.72 ± 4.23
7.10 ± 4.36
ความแตกต่างคะแนนหลังจาก 20 วิ่ง
1.19 ± 3.86 1.01 ± 2.30 8.30 ± 4.16 6.60 ± 5.41 8.72 ± 4.66 7.68 ± 4.62
เหยี่ยว MML Bot และ FALCON-RL Bot เมื่อเทียบกับการประเมินใน Bots ชุดแรกของการทดลองบอทเหล่านี้ทำให้การใช้งานของการเรียนรู้แบบ real-time ออนไลน์ทำไปด้วยความจำเป็นที่จะต้องเรียนรู้ที่จะทำเลียนแบบออฟไลน์ก่อนที่มือ โดยเฉพาะการเรียนรู้การลอกเลียนแบบจะทำอย่างสมบูรณ์ในแฟชั่นออนไลน์ FALCON น้ำมัน Bot และบรรณนิทัศน์กับการเสริมแรงการเรียนรู้สำหรับเหยี่ยว MML Bot มะเดื่อ. 9 สรุปผลการดำเนินงานของทั้งสาม Bots ในแง่ของความแตกต่างคะแนนการเล่นกับฮันเตอร์ ก่อนที่ความแตกต่างของเกมคะแนนคำนวณโดยเฉลี่ยทั่วสิบชุด 20 วิ่งอย่างต่อเนื่อง.
จากรูป 9 ก็จะเห็นได้ว่าแสดงให้เห็นถึง Bot FALCON น้ำมันสามารถเรียนรู้รูปแบบพฤติกรรมได้อย่างรวดเร็วและมีความสามารถในการต่อสู้ซิม ILAR เป็นที่ของฮันเตอร์ Bot เปรียบเทียบกับรูป 8 เราจะเห็นว่าผลการดำเนินงาน FALCON-OIL ของ ธ ปทเป็นดีเหยี่ยว IL-Bot ผลที่ได้นี้ยังแสดงให้เห็นว่าการเรียนรู้ออนไลน์ itative ญมีความสามารถในการเรียนรู้รูปแบบพฤติกรรมได้อย่างรวดเร็วและถูกต้อง.
สำคัญกว่ารูป 9 นอกจากนี้ยังแสดงให้เห็นว่าเหยี่ยว MML Bot โปร duces ในระดับที่สูงขึ้นอย่างมีนัยสำคัญของการต่อสู้ความสามารถกว่าฝ่ายตรงข้ามของมัน ในฐานะที่เป็นเหยี่ยว MML Bot ให้ความเร็วในการเรียนรู้ได้อย่างรวดเร็วและการบรรจบกันอย่างรวดเร็วในเวลาจริงผลนี้ยังแสดงให้เห็นว่า MML เป็นกลยุทธ์ที่มีประสิทธิภาพที่จะบูรณาการลอกเลียนแบบ L ออนไลน์

ผลลัพธ์ (ไทย) 3:

รูปที่ 9 คะแนนความแตกต่างระหว่างการเรียนรู้บอทและบอท ฮันเตอร์ตารางที่ 7คะแนนความแตกต่างระหว่างบอทและศัตรูที่มาในการเรียนรู้ของเรารหัสใน DSL ยังคงอยู่ในพื้นที่ที่เหมาะสม แม้ว่ามีความรู้ไว้ก่อน8 . สรุปกระดาษนี้ได้เสนอการคำนวณรูปแบบการรวมสองความนิยมเรียนรู้กระบวนทัศน์ คือ การเรียนรู้ เลียนแบบบังเหียน - forcement การเรียนรู้ตามระดับของตนเองจัดระเบียบประสาทสุทธิ - ผลงานที่เรียกว่าสถาปัตยกรรม Fusion สำหรับการเรียนรู้และการรับรู้ ( ค - คอน ) การบูรณาการความรู้กับปัญหา คอมพิว - รุ่น tational คือความสามารถในการระบุและช่องว่างการกระทำและการถ่ายโอนความรู้อย่างต่อเนื่องผ่านกระบวนทัศน์การเรียนรู้ที่แตกต่างกัน . นี้จะช่วยให้เจ้าหน้าที่เรียนรู้ที่จะดําเนินการแสวงหาความรู้อย่างต่อเนื่อง ในขณะที่มันช่วยเพิ่มเสริมเรียนรู้ - อิงกับความรู้แบบ โดยเฉพาะสองไฮบริดเรียนรู้กลยุทธ์ ing , ที่รู้จักกันเป็นเวทีการเรียนรู้แบบ Dual ( DSL ) และแบบผสม ( บริษัท ) จะเสนอให้ตระหนักถึงการบูรณาการกระบวนทัศน์ในการเรียนรู้แตกต่างกันสองออกแบบกรอบรูป - งาน DSL และบริษัทได้ถูกใช้เพื่อสร้าง charac ผู้เล่น - ไม่ใช่ ters ( NPCs ) เป็นคนแรกที่ยิงเกมทัวร์นาเม้นต์มีชื่อจริง - . ชุดการทดลอง พบว่าทั้ง DSL และบริษัทมีประสิทธิภาพในการเสริมสร้างการเรียนรู้ของ NPCs ในแง่ของการเรียนรู้ได้เร็วขึ้นความเร็วและเร่งบรรจบกัน . ส่วนใหญ่ยวด , NPCs สร้างโดย DSL และบริษัทผลิต perfor ต่อสู้ - ดีกว่าแมนส์ เปรียบเทียบกับ NPCs โดยใช้การเสริมแรงบริสุทธิ์เรียนรู้ - ไอเอ็นจีและบริสุทธิ์เลียนแบบการเรียนรู้วิธีการ กลวิธีการเรียนรู้แบบผสมจึงให้วิธีที่มีประสิทธิภาพเพื่อสร้าง - telligent NPC ตัวแทนในเกมและปูทางสู่การสร้างผู้เชี่ยวชาญอิสระและระบบอัจฉริยะสำหรับการใช้งานอื่น ๆแม้ว่าการบูรณาการกระบวนทัศน์การเรียนรู้ที่แตกต่างกันจะตรงไปตรงมาในการทำงานของเรา ทราบว่าของเราบูรณาการ ? - ไกอาศัยมากในบนโครงข่ายประสาทเทียมแบบจำลองที่ใช้ คือ เหยี่ยว เช่น งานของเราไม่ได้ให้โซลูชั่นทั่วไปเพื่อบูรณาการการเรียนรู้ต่างกระบวนทัศน์เรา - ing การเรียนรู้ใด ๆรูปแบบอัลกอริทึมหรือในแง่ของการออกแบบขั้นตอนวิธีและการทดลอง สมรรถนะหลัก ( เพื่อให้ห่างไกลเป็นเพียงการต่อสู้สมรรถนะของ NPC ได้ นอกจากนี้ การแสวงประโยชน์และสำรวจปัญหา เราจะพิจารณารางวัลโดยตรงง่าย เช่นผู้ที่ได้รับเมื่อทำลายฝ่ายตรงข้ามและเก็บอาวุธ sophisti - อื่น ๆตั้งอยู่ด้านของ NPCs คนแรกยิงสถานการณ์ เช่น เป้าหมาย ความทรงจำ และปัจจัยมนุษย์ , เพื่อให้ห่างไกลได้ อดีต plored .ก้าวไปข้างหน้าเพื่อสร้างอัจฉริยะ - สามารถเชื่อและตัวแทน NPC มีเสน่ห์ เรายังต้องเพิ่ม CA - pabilities ของตัวแทนโดยการบูรณาการปัจจัยอื่น ๆการคิดระดับสูง และปัจจัยมนุษย์ ตัวอย่างเช่น เราต้องศึกษาการใช้เป้าหมายการบำรุงรักษาโมดูล ซึ่งอาจช่วยในการจัดการการใช้ประโยชน์ และการสำรวจภาวะที่กลืนไม่เข้าคายไม่ออกและทำนายผลของ AC - ยินดีด้วย . บนมืออื่น ๆที่เราต้องออกแบบของเรามีความสามารถของมนุษย์ เช่น บุคลิกภาพ และพฤติกรรมโดยรวม motiva - ใช้งานเป็นเจ้าหน้าที่สุดท้าย แต่ไม่น้อย มันเป็นสิ่งสำคัญเพื่อเพิ่มการรับรู้ func - ใช้งานของตัวแทนที่มีความสามารถด้านจิตพิสัย เพื่อให้ NPCsการเรียนรู้ บอทfalcon-il บอทบอท บอท บอท falcon-oil falcon-rl เข้าร่วม falcon-dsl falcon-mml ธปท. ธปท.5 คะแนนหลังวิ่ง0.10 ± 3.68 0.22 ± 4.18 1.14 ± 3.52 2.50 ± 5.34 7.28 ± 1.96 7.25 ± 3.6410 คะแนนหลังวิ่ง± 4.24 0.49 0.45 ± 5.12 7.04 ± 3.11 2.90 ± 3.34 R ± 4.237.10 ± 4.3620 คะแนนหลังวิ่ง1.19 ± 3.86 1.01 ± 2.30 8.30 ± 4.16 6.60 ± 5.41 8.72 ± 4.66 7.68 ± 4.62falcon-mml falcon-rl บอท และบอท เมื่อเทียบกับบอทประเมินในชุดแรกของการทดลองเหล่านี้ให้ใช้บอทแบบเรียลไทม์ออนไลน์ ทำงานไปด้วย ต้องทำครับ การเรียนรู้ การเลียนแบบก่อน โดยเฉพาะการเรียนรู้การเสร็จสมบูรณ์ในแฟชั่นออนไลน์ falcon-oil บอทและอัดกับเสริมการเรียนรู้สำหรับ falcon-mml บอท รูปที่ 9 สรุปประสิทธิภาพของ 3 บอทในแง่ของผลต่างของคะแนนการเล่นกับนักล่า ก่อนที่เกมจะคำนวณโดยเฉลี่ยคะแนนความแตกต่าง ทั้งสิบชุด 20 ต่อเนื่องอยู่จากรูปที่ 9 จะเห็นได้ว่า แสดงให้เห็นถึง falcon-oil บอทสามารถเรียนรู้พฤติกรรมอย่างรวดเร็วและมีซิม - ilar ต่อสู้สมรรถนะที่ล่าบอท เปรียบเทียบกับรูปที่ 8 เราเห็นว่าประสิทธิภาพ falcon-oil ธปท. จะเป็น falcon-il บอท ผลนี้ยังแสดงให้เห็นว่าออนไลน์ในการเรียนรู้ itative คือความสามารถในการเรียนรู้รูปแบบพฤติกรรมที่รวดเร็วและถูกต้องที่สำคัญ รูปที่ 9 พบว่า falcon-mml บอท โปร - duces ระดับสูงกว่าการต่อสู้สมรรถนะมากกว่าคู่แข่งของ เป็น falcon-mml บอทมีการเรียนรู้ได้อย่างรวดเร็วความเร็วและการลู่เข้าอย่างรวดเร็วในเวลาจริงผลนอกจากนี้ยังแสดงให้เห็นว่าบริษัทมีกลยุทธ์ที่มีประสิทธิภาพที่จะรวม imitat ออนไลน์