2. Related workIn the past years, N

2. Related work
In the past years, NPCs in computer games have developed significantly in terms of behavior modeling. This section reviews some of the related work.
For commercial games, the most commonly used method is via rule based approaches. Ji and Ma (2014) proposed a behavior tree to manage the controlling of behaviors. By designing complex intelligent role behaviors in logical ways, this method could easily integrate expert experience into the intelligent system. However, as it inherited the use of action and condition rules based on finite state machine, the agent is not able to adapt to different environment.
Akbar, Praponco, Hariadi, Mardi (2015) applied Gaussian distri- bution with fuzzy logic to create natural variation actions of each NPC and select the optimal action. As the fuzzy method still has to follow logic rules, this method doesn’t help NPCs to evolve and capture new knowledge.
In view of the limitations of the rule-based approaches, learning based techniques have attracted much attention for behavior mod- eling. David, van den Herik, Koppel, and Netanyahu (2014) used genetic algorithm for evaluation and search mechanism for de- cision makings. Stanley, Bryant, and Miikkulainen (2005) applied evolution algorithm to enable the NPCs evolve behaviors through interacting with players, thus keeping the game interesting. Al- though evolutionary algorithms can improve the performance con- tinuously, the final solution cannot be guaranteed as the global optimal solution. Moreover, tuning parameters during learning is time consuming and not suitable for real-time video games.
On the other hand, many have applied imitative learning to cre- ate NPCs by mimicking the behavior patterns of human beings in order to achieve the human-like behaviors (Bauckhage, Thurau, & Sagerer, 2003; Feng & Tan, 2010; Zanetti & Rhalibi, 2004). These imitation based learning enables fast learning and is capable of acquiring complex behavior patterns. However, imitative learning requires specific observations to be available. Furthermore, in real time processing, imitative learning cannot associate the behavior with the underlying motivations or goals.
Besides imitative learning, many have applied reinforcement learning (RL) successfully to autonomous NPCs for learning strate- gies and behaviors in a dynamic environment. Especially in com- bat scenarios games, RL is good at helping NPCs to learn through experience with the supplement of necessary initial knowledge. Glavin and Madden (2015) applied reinforcement learning to en- able NPCs to get experience from gaming experience, and improve their fighting skills over time based on the damage given to oppo- nents. Ponce and Padilla (2014) applied MaxQ-Q based reinforce- ment learning within a hierarchical structure to enhance user’s ex- perience. Wang and Tan (2015) utilized reinforcement learning in a first person shooting game to learn behavior strategy and effec- tiveness of different weapons. However, using pure reinforcement learning, an initial stage of exploration is required and depending on the problem domain, this process may take a long time.
In view of the above issue, a popular way to initialize the learning agent is with human knowledge (Dixon et al., 2000; Unemi, 2000). They improve the performance of reinforcement learning by introducing relatively simple human knowledge such as intrinsic behaviors to reduce learning time. However, the prior knowledge is embedded and not represented in the same form as the learned knowledge. As such, the knowledge cannot be further modified in real-time learning. Bayesian based method is another principle way to incorporate prior knowledge into reinforcement learning (Doshi-Velez, Pfau, Wood, & Roy, 2015; Ghavamzadeh, Mannor, Pineau, & Tamar, 2015; Jonschkowski & Brock, 2014). Here the prior knowledge mostly refers to probability distributions. Taken from prior observations, the knowledge helps to start up the learning as well as to continuously guide decision makings. However, they need to be designed beforehand based on the specific problem domains, not to mention the experience based knowledge may include objective bias. Kengo, Takahiro, and Hiroyuki (2005) enhanced the reinforcement learning agent by applying goal state prior knowledge to the agent in order to mod- ulate the decision making by giving priorities to the goal oriented actions. In the chosen game scenarios, prior knowledge is designed by the domain expert. Again, once it is applied, the knowledge fixed and cannot be further adapted. Framling (2007) introduced a reinforcement learning model with pre-existing knowledge. A bi-memory system including the concepts of short term and long term memories is proposed to modulate the exploration in state
space in order to make a faster learning. However, this model is not a universal architecture. Consequently, specific heuristic rules are still required for proposing the pre-existing knowledge.
In summary, althoug

ผลลัพธ์ (ไทย) 2:

2. งานที่เกี่ยวข้อง
ในปีที่ผ่านมา NPCs ในเกมคอมพิวเตอร์ได้มีการพัฒนาอย่างมีนัยสำคัญในแง่ของการสร้างแบบจำลองพฤติกรรม ส่วนนี้ความคิดเห็นบางส่วนของการทำงานที่เกี่ยวข้อง.
สำหรับเกมการค้าวิธีการใช้กันมากที่สุดคือผ่านทางวิธีการตามกฎ จีและแม่ (2014) ได้เสนอต้นไม้พฤติกรรมในการจัดการการควบคุมพฤติกรรม ด้วยการออกแบบที่ชาญฉลาดพฤติกรรมบทบาทที่ซับซ้อนในรูปแบบตรรกะวิธีนี้ได้อย่างง่ายดายสามารถบูรณาการประสบการณ์ผู้เชี่ยวชาญเข้าสู่ระบบอัจฉริยะ อย่างไรก็ตามในขณะที่มันได้รับการถ่ายทอดการใช้งานของการดำเนินการและเงื่อนไขตามกฎบนเครื่องสถานะ จำกัด ตัวแทนจะไม่สามารถปรับตัวเข้ากับสภาพแวดล้อมที่แตกต่างกัน.
อัคบาร์ Praponco, Hariadi, Mardi (2015) นำไปใช้มากมายหลากหลาย distri- เสียนกับตรรกศาสตร์ในการสร้างธรรมชาติ การกระทำของแต่ละรูปแบบ NPC และเลือกการดำเนินการที่เหมาะสม เป็นวิธีการเลือนยังคงมีการปฏิบัติตามกฎตรรกะวิธีนี้ไม่ได้ช่วย NPCs ที่จะพัฒนาขึ้นและจับความรู้ใหม่.
ในมุมมองของข้อ จำกัด ของวิธีการตามกฎการเรียนรู้เทคนิคการใช้มีดึงดูดความสนใจมากสำหรับพฤติกรรมโมดูล Eling เดวิด van den Herik, กอปเพลและเนทันยาฮู (2014) ที่ใช้ในขั้นตอนวิธีพันธุกรรมสำหรับการประเมินผลและกลไกการค้นหาสำหรับเงินเดือน Cision de- สแตนเลย์, ไบรอันท์และ Miikkulainen (2005) ใช้อัลกอริทึมวิวัฒนาการเพื่อเปิดใช้งาน NPCs วิวัฒนาการพฤติกรรมผ่านการมีปฏิสัมพันธ์กับผู้เล่นจึงทำให้เกมที่น่าสนใจ Al- แม้ว่าขั้นตอนวิธีวิวัฒนาการสามารถปรับปรุงประสิทธิภาพการทำงานอย่างต่อเนื่องทางออกสุดท้ายไม่สามารถรับประกันได้ว่าเป็นทางออกที่ดีที่สุดทั่วโลก นอกจากนี้ค่าปรับในระหว่างการเรียนรู้เป็นเวลานานและไม่เหมาะสำหรับเวลาจริงวีดีโอเกมส์.
บนมืออื่น ๆ จำนวนมากได้นำไปใช้ในการเรียนรู้การลอกเลียนแบบในการสร้างไฟล์ NPCs โดยการจำลองรูปแบบพฤติกรรมของมนุษย์ในการสั่งซื้อเพื่อให้บรรลุเหมือนมนุษย์ พฤติกรรม (Bauckhage, Thurau และ Sagerer 2003; & ฮ Tan 2010; & Zanetti Rhalibi, 2004) เหล่านี้เรียนรู้การเลียนแบบตามช่วยให้การเรียนรู้ได้อย่างรวดเร็วและมีความสามารถในการแสวงหารูปแบบพฤติกรรมที่ซับซ้อน แต่การเรียนรู้การลอกเลียนแบบต้องใช้การสังเกตเฉพาะจะสามารถใช้ได้ นอกจากนี้ในการประมวลผลเวลาจริงการเรียนรู้การลอกเลียนแบบไม่สามารถเชื่อมโยงพฤติกรรมที่มีแรงจูงใจพื้นฐานหรือเป้าหมาย.
นอกจากนี้การเรียนรู้การลอกเลียนแบบจำนวนมากได้นำมาใช้เสริมแรงการเรียนรู้ (RL) ประสบความสำเร็จใน NPCs อิสระสำหรับการเรียนรู้ Gies ยุทธศาสตร์และพฤติกรรมในสภาพแวดล้อมแบบไดนามิก โดยเฉพาะอย่างยิ่งในเกมสั่งสถานการณ์ค้างคาว RL เป็นสิ่งที่ดีที่จะช่วยให้ NPCs ที่จะเรียนรู้ผ่านประสบการณ์กับการเสริมความรู้ที่จำเป็นในการเริ่มต้น Glavin และ Madden (2015) นำมาใช้เสริมแรงเรียนรู้ที่จะช่วยรับประกัน NPCs สามารถที่จะได้รับประสบการณ์จากประสบการณ์การเล่นเกมและการปรับปรุงทักษะการต่อสู้ของพวกเขาในช่วงเวลาที่อยู่บนพื้นฐานของความเสียหายให้กับ nents ตรงข้าม เซและอาภัพ (2014) สมัคร MaxQ-Q การเรียนรู้ตาม reinforce- ment ภายในโครงสร้างลำดับชั้นเพื่อเพิ่ม perience อดีตของผู้ใช้ และอำเภอวังตาล (2015) การเสริมแรงใช้ในการเรียนรู้คนแรกเกมยิงที่จะเรียนรู้กลยุทธ์และพฤติกรรม tiveness ประสิทธิผลของอาวุธที่แตกต่างกัน อย่างไรก็ตามการใช้การเรียนรู้การเสริมแรงบริสุทธิ์ในระยะเริ่มต้นของการสำรวจจะต้องขึ้นอยู่กับปัญหาโดเมนขั้นตอนนี้อาจใช้เวลานาน.
ในมุมมองของปัญหาดังกล่าวข้างต้นเป็นวิธีที่นิยมในการเริ่มต้นตัวแทนการเรียนรู้อยู่กับความรู้ของมนุษย์ (ดิกสัน et al, 2000;. Unemi, 2000) พวกเขาปรับปรุงประสิทธิภาพของการเรียนรู้การเสริมแรงโดยการแนะนำความรู้ของมนุษย์ที่ค่อนข้างง่ายเช่นพฤติกรรมที่แท้จริงเพื่อลดเวลาในการเรียนรู้ อย่างไรก็ตามความรู้ก่อนจะถูกฝังอยู่และไม่ได้เป็นตัวแทนในรูปแบบเดียวกับความรู้ที่ได้เรียนรู้ เป็นเช่นนี้ความรู้ที่ไม่สามารถแก้ไขได้ต่อไปในการเรียนรู้แบบ real-time วิธีการตามแบบเบย์เป็นอีกวิธีที่หลักการที่จะรวมความรู้ก่อนเข้าสู่การเสริมแรงการเรียนรู้ (Doshi-Velez, Pfau, ไม้และรอย 2015; Ghavamzadeh, Mannor, Pineau และ Tamar 2015; Jonschkowski และบร็อค 2014) ต่อไปนี้เป็นความรู้ก่อนส่วนใหญ่หมายถึงการแจกแจงความน่าจะ นำมาจากการสังเกตก่อนที่ความรู้จะช่วยให้การเรียนรู้เริ่มต้นขึ้นเช่นเดียวกับการให้คำแนะนำอย่างต่อเนื่องเงินเดือนตัดสินใจ อย่างไรก็ตามพวกเขาจำเป็นต้องได้รับการออกแบบมาก่อนบนพื้นฐานของโดเมนปัญหาไม่ต้องพูดถึงความรู้ตามประสบการณ์อาจรวมถึงอคติวัตถุประสงค์ Kengo, Takahiro และฮิโรยูกิ (2005) เพิ่มการเสริมแรงตัวแทนการเรียนรู้โดยใช้รัฐเป้าหมายความรู้ก่อนที่จะมีตัวแทนเพื่อโมดูล ulate การตัดสินใจโดยการให้ความสำคัญกับการกระทำที่มุ่งเน้นเป้าหมาย ในสถานการณ์เกมเลือกความรู้ก่อนการออกแบบโดยผู้เชี่ยวชาญโดเมน อีกครั้งเมื่อมันถูกนำไปใช้ความรู้ที่คงที่และไม่สามารถนำไปปรับใช้ต่อไป Framling (2007) แนะนำเสริมการเรียนรู้รูปแบบที่มีความรู้ที่มีอยู่ก่อน ระบบสองหน่วยความจำรวมทั้งแนวคิดในระยะสั้นและความทรงจำระยะยาวจะเสนอให้ปรับการสำรวจในรัฐ
พื้นที่เพื่อที่จะทำให้การเรียนรู้ได้เร็วขึ้น แต่รุ่นนี้ไม่ได้เป็นสถาปัตยกรรมสากล ดังนั้นกฎการแก้ปัญหาที่เฉพาะเจาะจงจะต้องยังคงเสนอความรู้ที่มีอยู่ก่อน.
ในการสรุป Althoug

ผลลัพธ์ (ไทย) 3:

2 . งานที่เกี่ยวข้องในช่วงหลายปีที่ผ่านมา NPCs ในเกมคอมพิวเตอร์ได้พัฒนาขึ้นอย่างมากในแง่ของแบบจำลองพฤติกรรม ส่วนรีวิวนี้บางส่วนของงานที่เกี่ยวข้องสำหรับเกมเชิงพาณิชย์ , มักใช้วิธีผ่านกฎตามแนว จีและ MA ( 2014 ) เสนอพฤติกรรมของต้นไม้เพื่อจัดการการควบคุมพฤติกรรม ด้วยการออกแบบที่ฉลาดบทบาทพฤติกรรมในทางตรรกะ วิธีการนี้สามารถรวมประสบการณ์ผู้เชี่ยวชาญในระบบอัจฉริยะ อย่างไรก็ตาม เนื่องจากการใช้กฎการกระทำและเงื่อนไขตามเครื่องจักรสถานะจำกัด เจ้าหน้าที่ไม่สามารถปรับตัวให้เข้ากับสภาพแวดล้อมที่แตกต่างกันอัคบาร์ , praponco hariadi , รอบนอก ( 2015 ) ใช้ Gaussian distri - bution ด้วยฟัซซีลอจิก เพื่อสร้างรูปแบบธรรมชาติ การกระทำของแต่ละ NPC และเลือกการกระทำที่เหมาะสม เป็นวิธีการฟัซซี่ยังต้องปฏิบัติตามกฎตรรกะ วิธีนี้ไม่ได้ช่วย NPCs มีวิวัฒนาการและยึดความรู้ใหม่ในมุมมองของข้อจำกัดของกฎแห่งการเรียนรู้เทคนิควิธีการดึงดูดความสนใจมากสำหรับ mod - พฤติกรรม เ ลิ่ง . เดวิด แวนเดน herik คอพเพล , และ , นาทานนาฮู ( 2014 ) ใช้ขั้นตอนวิธีเชิงพันธุกรรมสำหรับการประเมินผลและกลไกค้นหา de - ไซชั่นเงินเดือน . สแตนลีย์ ไบรอัน และ miikkulainen ( 2005 ) ขั้นตอนวิธีวิวัฒนาการที่ใช้เพื่อให้พฤติกรรมผ่านการโต้ตอบกับ NPCs พัฒนาผู้เล่น จึงทำให้เกมน่าสนใจ อัล - แม้ว่าขั้นตอนวิธีวิวัฒนาการสามารถปรับปรุงคอน - ประสิทธิภาพ tinuously , ไม่สามารถรับประกันได้ว่าจะเป็นทางออกสุดท้ายทางออกที่ดีที่สุดของโลก นอกจากนี้ การปรับแต่งค่าในการเรียนจะใช้เวลานานและไม่เหมาะกับเกมวิดีโอแบบเรียลไทม์บนมืออื่น ๆที่หลายคนใช้เลียนแบบการเรียนรู้ด้วย - กิน NPCs โดยเลียนแบบพฤติกรรมของมนุษย์เพื่อให้มนุษย์พฤติกรรม ( เช่น bauckhage thurau , และ sagerer , 2003 ; ฟง & tan , 2010 ; Zanetti & rhalibi , 2004 ) เหล่านี้เลียนแบบการเรียนรู้ช่วยให้สามารถเรียนรู้งานได้เร็วและมีความสามารถในการรับรูปแบบพฤติกรรมที่ซับซ้อน อย่างไรก็ตาม การเรียนรู้ เลียนแบบ ต้องสังเกตที่เฉพาะเจาะจงเป็นใช้ได้ นอกจากนี้ ในการประมวลผลเวลาจริง , การเลียนแบบการเรียนรู้ไม่สามารถเชื่อมโยงกับพฤติกรรมต้นแบบแรงจูงใจหรือเป้าหมายนอกจากการเรียนรู้ เลียนแบบ มีการเสริมแรงการเรียนรู้ประยุกต์ ( RL ) เรียบร้อยแล้ว NPCs อิสระในการเรียนรู้ ? - ไก และพฤติกรรมในสภาพแวดล้อมแบบไดนามิก โดยเฉพาะอย่างยิ่งใน com - ค้างคาวสถานการณ์เกม , RL เก่งช่วย NPCs เรียนรู้ผ่านประสบการณ์กับเสริมความรู้เบื้องต้นที่จำเป็น แกลวินและ Madden ( 2015 ) ใช้เสริมการเรียนรู้และสามารถ NPCs ได้รับประสบการณ์จากการเล่นเกม และปรับปรุงทักษะการต่อสู้ของตนตลอดเวลา ขึ้นอยู่กับความเสียหายให้กับ OPPO - nents . พอน และดิลลา ( 2014 ) ใช้ maxq-q ใช้เสริมสร้างการเรียนรู้ภายในโครงสร้างลำดับชั้นเพื่อเพิ่มผู้ใช้ อดีต perience . วังและ tan ( 2015 ) ใช้เสริมการเรียนรู้ในคนแรกยิงเกมที่จะเรียนรู้กลยุทธ์การ tiveness ของอาวุธที่แตกต่างกันและ effec mixing bord - อย่างไรก็ตาม การใช้การเสริมแรงการเรียนรู้บริสุทธิ์ ขั้นตอนการเริ่มต้นของการสํารวจจะต้องขึ้นอยู่กับปัญหาโดเมน กระบวนการนี้อาจใช้เวลานานในมุมมองของปัญหาข้างต้น เป็นวิธีที่นิยมเพื่อเริ่มการทำงานของตัวแทนการเรียนรู้กับความรู้ของมนุษย์ ( ดิกสัน et al . , 2000 ; unemi , 2000 ) พวกเขาปรับปรุงประสิทธิภาพของการเสริมการเรียนรู้โดยการนำความรู้ของมนุษย์ค่อนข้างง่าย เช่น ภายในพฤติกรรมเพื่อลดเวลาเรียน . อย่างไรก็ตาม ความรู้เดิมฝังอยู่ และไม่แสดงในรูปแบบเช่นเดียวกับการเรียนรู้ เช่น ความรู้ไม่สามารถเพิ่มเติมแก้ไขในแบบเรียลไทม์ วิธีเบส์โดยเป็นอีกหนึ่งวิธีที่จะรวมหลักการความรู้ก่อนเข้าเสริมการเรียนรู้ ( โดชิ Velez Pfau , ไม้ , และ , รอย , 2015 ; ghavamzadeh พิโนแมนเนอร์ , , , และ ทามา 2015 ; jonschkowski & บร็อค ปี 2014 ) ที่นี่ความรู้เดิมส่วนใหญ่หมายถึงการแจกแจงความน่าจะเป็น ถ่ายจากการสังเกตก่อน ให้ความรู้ ช่วยให้เริ่มการเรียนรู้ ตลอดจนการสร้างคู่มือการตัดสินใจ อย่างไรก็ตาม พวกเขาต้องมีการออกแบบไว้ล่วงหน้าตามโดเมนปัญหาเฉพาะ ไม่ต้องพูดถึงประสบการณ์ความรู้อาจรวมถึงอคติลำเอียง เคนโกะ ทาคาฮิโระ ฮิโรยูกิ , ( 2005 ) และเพิ่มการเรียนรู้แบบเสริมกำลังเจ้าหน้าที่ โดยการใช้เป้าหมายของรัฐก่อนความรู้ให้กับเจ้าหน้าที่ในการ mod - ulate การตัดสินใจ โดยให้ความสำคัญกับเป้าหมายที่มุ่งเน้นการกระทำ ในสถานการณ์ที่เลือกเกมความรู้เดิมถูกออกแบบโดยผู้เชี่ยวชาญ . อีกครั้งเมื่อมีการประยุกต์ ความรู้ที่คงที่และไม่สามารถดัดแปลงเพิ่มเติม framling ( 2007 ) แนะนำเสริมการเรียนรู้กับความรู้ที่มีอยู่ก่อน หน่วยความจำระบบ BI รวมทั้งแนวคิดของระยะสั้น และความจำระยะยาวเสนอให้ปรับการสำรวจในรัฐพื้นที่เพื่อสร้างการเรียนรู้ได้เร็วขึ้น . อย่างไรก็ตาม รุ่นนี้ไม่ได้เป็นสถาปัตยกรรมแบบสากล โดยเฉพาะกฎนี้จะต้องยังคง เพื่อเสนอความรู้ที่มีอยู่ก่อนในการสรุป , ปุ่ม