7.3.1. FALCON Bot by imitative lear

7.3.1. FALCON Bot by imitative learning
FALCON Bot created using imitative learning (IL) is called FALCON-IL Bot. The FALCON-IL Bot is trained using 8000 training samples data recorded from the Hunter Bot. We then examine if FALCON-IL Bot could learn the behavior patterns and play against the sample Hunter Bot.
FALCON-IL Bot adopts the parameter setting as follows: choice parameters αc1 = αc2 = αc3 = 0.1; learning rate parameters βc1 = βc2 = βc3 = 1 for fast learning; and contribution parameters γ c1 = 1 and γ c2 = γ c3 = 0. As in supervised learning, TD-FALCON selects a category node based on the input activities in the input state field. The vigilance parameters are set to ρc1 = ρc2 = 1 and ρc3 = 0 for a strict match criterion in the state and action fields and a zero- match requirement in the reward field.
7.3.2. FALCON Bot by online imitative learning
FALCON Bot created using online imitative learning (OIL) is called FALCON-OIL Bot. In the experiments conducted in Unreal Tournament, FALCON-OIL Bot will be trained in real time by sens- ing the samples data from its opponent, the Hunter Bot. FALCON- OIL Bot adopts the same setting of choice parameters, learn- ing rate parameters, contribution parameters, vigilance parameters, and learning rate α and discount factor γ for the Temporal Differ- ence rule as that of FALCON-IL Bot. (For details of FALCON-IL Bot and FALCON-OIL Bot, please refer to our previous work Feng and Tan, 2010.)
7.3.3. FALCON Bot by reinforcement learning
FALCON Bot using reinforcement learning only is called FALCON-RL Bot. To examine whether reinforcement learning is ef- fective to enhance the behavior learning, a series of experiments are conducted in Unreal Tournament to examine how the FALCON- IL Bot performs when it plays against the Hunter Bot.
Under the pure reinforcement learning mode, we adopt the pa- rameter setting as follows: choice parameters αc1 = αc2 = αc3 = 0.1; learning rate parameters β c1 = β c2 = 0.5 and β c3 = 0.3 to achieve a moderate learning speed; and contribution parameters γ c1 = γ c1 = 0.3 and γ c3 = 0.4. During reinforcement learning, a slower learning rate could produce a smaller set of better quality category nodes in FALCON network and lead to better predictive performance, although a lower learning rate may slow down the learning process. The vigilance parameter ρc1 is set to 0.8 for a better match criterion, ρc2 is set to 0 and ρc3 is set to 0.3 for a marginal level of match criterion on the reward space so as to en- courage the generation of category nodes. In learning value func- tion with Temporal Difference rule, the learning rate α is fixed at 0.7 and the discount factor γ is set to 0.9.
7.3.4. FALCON Bot by dual stage learning
FALCON Bot learned using the DSL strategy is called FALCON- DSL Bot. In the imitative learning stage, FALCON-DSL Bot adopts the same parameter setting as that of the FALCON-IL Bot. For the reinforcement learning stage, FALCON-DSL Bot adopts the same setting of choice parameters, learning rate parameters, and contri- bution parameters as that of FALCON-RL Bot.
The vigilance parameters ρc1 is set to 0.9 which is slightly higher than that of FALCON-RL Bot for a better match criterion, ρc2 is set to 0 and ρc3 to 0.3 for a marginal level of match criterion. For the Temporal Difference rule, FALCON-DSL Bot also adopts the same learning rate α and discount factor γ as that of FALCON-RL Bot.
For knowledge transferred from imitative learning, each of the embedded cognitive codes Cj is initialized with a reward value qj for j = 1, . . . , N. At the beginning of learning, we assume the em- bedded codes have a standard reward value of 0.75, to assume them reasonably good rules.
Fig. 8. The score difference between the learning Bots and Hunter Bot.
7.3.5. FALCON Bot by mixed model learning
FALCON Bot learned with the MML strategy is called FALCON- MML Bot. When imitative learning is activated, the same parame- ter setting as that of the FALCON-IL Bot is applied.
When the reinforcement learning mode is activated, FALCON- MML Bot adopts the same setting of choice parameters, learning rate parameters, and contribution parameters as that of FALCON- RL Bot.
For the vigilance parameters, ρc1 is set to 0.9 which is slightly higher than that of FALCON-RL Bot for a better match criterion, ρc2 is set to 0 and ρc3 to 0.3 for a marginal level of match criterion. For the Temporal Difference rule, FALCON-DSL Bot also adopts the same learning rate α and discount factor γ as those of FALCON-RL Bot.
7.3.6. Bot by standard Q-learning
For the purpose of comparison, a Bot created by standard Q-
learning (called QL Bot) is also realized in Unreal Tournament. QL Bot works by learning the value function for each chosen action in a given state. We conduct a series of experiments to examine how QL Bot performs when it plays against the Hunter Bot. For learning value function using Temporal Difference rule, the learning rate α was fixed at 0.7 and the discount fac

ผลลัพธ์ (ไทย) 1:

7.3.1. เหยี่ยว Bot โดยการเรียนรู้ที่หูธปท.เหยี่ยวที่สร้างโดยใช้การเรียนรู้หู (IL) เรียกว่าฟอลคอนอิลบอ ธปท.เหยี่ยวอิลได้รับการฝึกฝนใช้ 8000 บันทึกข้อมูลตัวอย่างการฝึกอบรมจากธปท.ฮันเตอร์ เราจากนั้นตรวจสอบถ้าเหยี่ยวอิล Bot สามารถเรียนรู้รูปแบบลักษณะการทำงาน และเล่นกับ Bot ฮันเตอร์ตัวอย่างเหยี่ยว-อิลบอใช้พารามิเตอร์การตั้งค่าเป็นดังนี้: ตัวเลือกพารามิเตอร์ αc1 = αc2 = αc3 = 0.1 เรียนอัตราพารามิเตอร์ βc1 = βc2 = βc3 = 1 เพื่อการเรียนรู้อย่างรวดเร็ว และสนับสนุนพารามิเตอร์γ c1 = c2 1 และγ =γ c3 = 0 ในการเรียนรู้ดูแล เหยี่ยว TD เลือกโหนดประเภทตามกิจกรรมสำหรับการป้อนค่าในฟิลด์สถานะอินพุท ตั้งค่าพารามิเตอร์การระมัดระวัง ρc1 = ρc2 = 1 และ ρc3 = 0 เงื่อนไขการแข่งขันที่เข้มงวดในฟิลด์สถานะและการดำเนินการและความต้องการตรงกับศูนย์ในฟิลด์รางวัล7.3.2. เหยี่ยว Bot โดยการเรียนรู้หูออนไลน์ธปท.เหยี่ยวที่สร้างโดยใช้การเรียนรู้หูออนไลน์ (น้ำมัน) เรียกว่า Bot เหยี่ยวน้ำมัน ในการทดลองในการแข่งขันจริง Bot เหยี่ยวน้ำมันจะได้รับการอบรมในเวลาจริง โดย sens-ing ข้อมูลตัวอย่างจากคู่ต่อสู้ Bot ฮันเตอร์ เหยี่ยว - น้ำมันบอ adopts การตั้งค่าเดียวกันของพารามิเตอร์เลือก ส่วนพารามิเตอร์ กำลังเรียนรู้พารามิเตอร์ราคา พารามิเตอร์ความระมัดระวัง และการเรียนรู้อัตราα และส่วนลดปัจจัยγสำหรับกฎขมับ Differ-ence เป็นของเหยี่ยวอิลบอ (สำหรับรายละเอียดของฟอลคอนอิล Bot และเหยี่ยวน้ำมัน Bot กรุณาดูผลงานก่อนหน้านี้ฮและตาล 2010)7.3.3. เหยี่ยว Bot โดยเสริมการเรียนรู้เหยี่ยว Bot ที่ใช้เสริมการเรียนรู้เท่านั้นจะเรียกว่า Bot เหยี่ยว RL การแข่งขันไม่เกิดการตรวจสอบวิธีเหยี่ยว IL Bot ทำเมื่อเล่นกับ Bot ฮันเตอร์ดำเนินการชุดของการทดลองเพื่อตรวจสอบว่าการเรียนรู้เสริม พาณิชเพื่อเพิ่มลักษณะการทำงานการเรียนรู้ภายใต้โหมดการเรียนรู้เสริมบริสุทธิ์ เรานำ pa-rameter ตั้งค่าเป็นดังนี้: ตัวเลือกพารามิเตอร์ αc1 = αc2 = αc3 = 0.1 เรียนอัตราพารามิเตอร์β c1 =β c2 = c3 0.5 และβ = 0.3 เพื่อให้เรียนรู้เร็ว ปานกลาง และสนับสนุนพารามิเตอร์γ c1 =γ c1 = 0.3 และγ c3 = 0.4 ในระหว่างการเรียนเสริม อัตราการเรียนรู้ช้าสามารถผลิตชุดของโหนดประเภทคุณภาพดีในเครือข่ายเหยี่ยวขนาดเล็ก และนำไปสู่ดีทำนายประสิทธิภาพการทำงาน แม้อาจชะลออัตราการเรียนรู้เป็นกระบวนการเรียนรู้ Ρc1 พารามิเตอร์การระมัดระวังไว้ที่ 0.8 สำหรับเงื่อนไขการแข่งขันดีขึ้น ตั้ง ρc2 เป็น 0 และ ρc3 ถูกตั้งค่าเป็น 0.3 สำหรับส่วนเพิ่มระดับของเกณฑ์การแข่งขันของรางวัลพื้นที่ให้กับความกล้าหาญ en การสร้างโหนดประเภท ในการเรียนค่า func-ทางการค้ากฎต่างกาลเวลา การเรียนรู้αอัตราคงที่ที่ 0.7 และγตัวคูณส่วนลดตั้งค่าเป็น 0.97.3.4. เหยี่ยว Bot โดยเรียนรู้ขั้นตอนที่สองธปท.เหยี่ยวที่ได้เรียนรู้การใช้กลยุทธ์ DSL คือเหยี่ยว DSL Bot ในขั้นตอนการเรียนรู้ที่หู Bot เหยี่ยว DSL adopts ค่าพารามิเตอร์เหมือนกันเป็นของ Bot เหยี่ยวอิล สำหรับเสริมการเรียนรู้ขั้นตอน Bot เหยี่ยว DSL adopts การตั้งค่าเดียวกันเลือกพารามิเตอร์ เรียนรู้พารามิเตอร์ราคา และพารามิเตอร์ contri bution เป็นของ Bot เหยี่ยว-RLΡc1 พารามิเตอร์การระมัดระวังไว้ที่ 0.9 ซึ่งเป็นสูงกว่าเล็กน้อยว่า ของเหยี่ยว RL Bot สำหรับเกณฑ์การแข่งขันดีกว่า ρc2 ตั้งค่าเป็น 0 และ ρc3 ไป 0.3 สำหรับระดับกำไรเบื้องต้นของเกณฑ์การแข่งขัน สำหรับกฎต่างที่ขมับ Bot เหยี่ยว DSL ยัง adopts เหมือนเรียนราคาαและลดปัจจัยγเป็นของ Bot RL เหยี่ยวสำหรับความรู้ที่ถูกโอนย้ายจากหูการเรียนรู้ แต่ละรหัสองค์ความรู้ฝังตัว Cj สกุล qj มีค่ารางวัลสำหรับ j = 1,..., n ที่จุดเริ่มต้นของการเรียนรู้ เราสมมติรหัส em-เตียงมีค่าเป็นรางวัลมาตรฐาน 0.75 การสมมติให้กฎที่ดีพอสมควรรูป 8 ความแตกต่างของคะแนนระหว่างการเรียนรู้บอทและบอฮันเตอร์7.3.5. เหยี่ยว Bot โดยผสมแบบการเรียนรู้ธปท.เหยี่ยวที่ได้เรียนรู้กลยุทธ์ลิตรเรียกว่าเหยี่ยวลิตร Bot เมื่อเรียนรู้หู มีใช้ที่เดียว parame-ter ตั้งเป็นของ Bot เหยี่ยวอิลเมื่อเรียกใช้โหมดการเรียนเสริม เหยี่ยวลิตร Bot adopts การตั้งค่าเดียวกันเลือกพารามิเตอร์ เรียนรู้พารามิเตอร์ราคา และพารามิเตอร์ส่วนเป็นของเหยี่ยว RL Botสำหรับพารามิเตอร์ระมัดระวัง ρc1 ไว้ที่ 0.9 ซึ่งเป็นสูงกว่าเล็กน้อยว่า ของเหยี่ยว RL Bot สำหรับเกณฑ์การแข่งขันดีกว่า ρc2 ตั้งค่าเป็น 0 และ ρc3 ไป 0.3 สำหรับระดับกำไรเบื้องต้นของเกณฑ์การแข่งขัน สำหรับกฎต่างที่ขมับ Bot เหยี่ยว DSL ยัง adopts เหมือนเรียนราคาαและลดปัจจัยγกับเหยี่ยว RL บอ7.3.6 การ bot โดยสูตรมาตรฐาน Qวัตถุประสงค์เพื่อเปรียบเทียบ Bot ที่สร้างขึ้น โดยมาตรฐาน Q-ยังมีการตระหนักถึงการเรียนรู้ (เรียกว่า QL Bot) ในการแข่งขันจริง QL Bot ทำงาน โดยการเรียนรู้ฟังก์ชันค่าสำหรับแต่ละการกระทำในในสถานะที่กำหนด เราดำเนินการชุดของการทดลองเพื่อตรวจสอบวิธี QL Bot ทำเมื่อเล่นกับ Bot ฮันเตอร์ สำหรับการเรียนรู้กฎต่างกาลเวลา การเรียนรู้โดยใช้ฟังก์ชันค่าαอัตราคงที่ 0.7 และกลับลด

ผลลัพธ์ (ไทย) 2:

7.3.1 FALCON Bot โดยการลอกเลียนแบบการเรียนรู้
FALCON Bot สร้างขึ้นโดยใช้การเรียนรู้การลอกเลียนแบบ (IL) เรียกว่า FALCON IL-Bot เหยี่ยว IL-Bot คือการฝึกอบรมโดยใช้ 8000 เป็นตัวอย่างของข้อมูลการฝึกอบรมการบันทึกจากฮันเตอร์ Bot จากนั้นเราจะตรวจสอบถ้า FALCON IL-Bot สามารถเรียนรู้รูปแบบพฤติกรรมและเล่นกับ Bot ตัวอย่างเธ่อ.
FALCON IL-Bot adopts การตั้งค่าพารามิเตอร์ดังนี้พารามิเตอร์ทางเลือกαc1 = = αc2αc3 = 0.1; การเรียนรู้พารามิเตอร์อัตราβc1 = = βc2βc3 = 1 สำหรับการเรียนรู้ได้อย่างรวดเร็ว และพารามิเตอร์ผลงานγ = 1 C1 และ C2 = γγ C3 = 0 ในขณะที่การเรียนรู้ภายใต้การดูแล, TD-FALCON เลือกโหนดหมวดหมู่ขึ้นอยู่กับกิจกรรมการป้อนข้อมูลในฟิลด์รัฐการป้อนข้อมูล พารามิเตอร์ระมัดระวังมีการกำหนดให้ρc1 = ρc2 = 1 และρc3 = 0 สำหรับเกณฑ์การแข่งขันที่เข้มงวดในรัฐและการกระทำเขตข้อมูลและความต้องการการแข่งขัน zero- ในสาขารางวัล.
7.3.2 FALCON Bot โดยการลอกเลียนแบบการเรียนรู้ออนไลน์
FALCON Bot สร้างขึ้นโดยใช้การเรียนรู้การลอกเลียนแบบออนไลน์ (น้ำมัน) เรียกว่า FALCON น้ำมัน Bot ในการทดลองดำเนินการใน Unreal Tournament เหยี่ยวน้ำมันธนาคารจะได้รับการอบรมในเวลาจริงโดยไอเอ็นจี sens- ข้อมูลตัวอย่างจากฝ่ายตรงข้ามของฮันเตอร์ Bot FALCON- น้ำมัน Bot adopts การตั้งค่าพารามิเตอร์เดียวกันของทางเลือก learn- ไอเอ็นจีพารามิเตอร์อัตราพารามิเตอร์ผลงานพารามิเตอร์ระมัดระวังและการเรียนรู้αอัตราและส่วนลดปัจจัยγสำหรับกฎ ence ขมับแตกต่างกับที่ของ FALCON IL-Bot (สำหรับรายละเอียดของ FALCON IL-Bot และ FALCON น้ำมัน Bot โปรดดูที่การทำงานก่อนหน้าของเราและฮตาล 2010)
7.3.3 FALCON Bot โดยการเสริมแรงการเรียนรู้
FALCON Bot ใช้การเสริมแรงการเรียนรู้เพียง แต่จะเรียกว่า FALCON-RL Bot เพื่อตรวจสอบว่าการเรียนรู้การเสริมแรงเป็นประสิทธิผล fective เพื่อเสริมสร้างการเรียนรู้พฤติกรรมที่เป็นชุดของการทดลองจะดำเนินการใน Unreal Tournament เพื่อตรวจสอบวิธีการ FALCON- IL Bot ดำเนินการเมื่อมันเล่นกับ ธ ปทเธ่อ.
ภายใต้การเสริมแรงบริสุทธิ์โหมดการเรียนรู้ที่เรานำมาใช้ การตั้งค่า rameter Pa- ดังนี้พารามิเตอร์ทางเลือกαc1 = = αc2αc3 = 0.1; การเรียนรู้พารามิเตอร์อัตราββ = C1 C2 = 0.5 และβ C3 = 0.3 เพื่อให้เกิดการเรียนรู้ความเร็วปานกลาง และพารามิเตอร์ผลงานγγ = C1 C1 = 0.3 และγ C3 = 0.4 ในช่วงการเรียนรู้เสริมอัตราการเรียนรู้ช้าสามารถผลิตชุดเล็กของโหนดหมวดหมู่ที่มีคุณภาพที่ดีขึ้นในเครือข่าย FALCON และนำไปสู่การคาดการณ์ผลการดำเนินงานที่ดีขึ้นแม้จะเป็นอัตราที่ต่ำกว่าการเรียนรู้ที่อาจชะลอตัวลงกระบวนการเรียนรู้ ρc1พารามิเตอร์ระมัดระวังถูกตั้งไว้ที่ 0.8 สำหรับเกณฑ์การแข่งขันที่ดีกว่าρc2ตั้งค่าเป็น 0 และρc3ถูกตั้งไว้ที่ 0.3 สำหรับระดับที่ร่อแร่เกณฑ์ของการแข่งขันในพื้นที่รางวัลเพื่อที่จะช่วยรับประกันความกล้าหาญรุ่นของหมวดหมู่โหนด ในการเรียนรู้ค่าฟังก์ชั่นการมีกฎแตกต่างชั่วขณะαอัตราการเรียนรู้เป็นแบบคงที่ 0.7 และปัจจัยγส่วนลดถูกตั้งไว้ที่ 0.9.
7.3.4 FALCON Bot โดยขั้นตอนการเรียนรู้คู่
FALCON Bot เรียนรู้โดยใช้กลยุทธ์ DSL ที่เรียกว่า FALCON- DSL Bot ในขั้นตอนการเรียนรู้การลอกเลียนแบบเหยี่ยว-DSL Bot adopts การตั้งค่าพารามิเตอร์เดียวกับที่ของเหยี่ยว IL-Bot สำหรับขั้นตอนการเรียนรู้การเสริมแรงเหยี่ยว-DSL Bot adopts การตั้งค่าพารามิเตอร์เดียวกันของทางเลือกการเรียนรู้พารามิเตอร์อัตราและพารามิเตอร์มีมากมายหลากหลายเป็นที่ของ FALCON-Bot RL.
พารามิเตอร์ระมัดระวังρc1ถูกตั้งไว้ที่ 0.9 ซึ่งสูงกว่าเล็กน้อย เหยี่ยว RL Bot สำหรับเกณฑ์การแข่งขันที่ดีกว่าρc2ตั้งค่าเป็น 0 และρc3 0.3 สำหรับระดับที่ขอบของการแข่งขันเกณฑ์ สำหรับกฎแตกต่างชั่วคราวเหยี่ยว-DSL Bot ยัง adopts เดียวกันαอัตราการเรียนรู้และปัจจัยส่วนลดγเป็นที่ของ FALCON-RL Bot.
สำหรับการถ่ายโอนความรู้จากการเรียนรู้การลอกเลียนแบบของแต่ละคนที่ฝังรหัสความรู้ความเข้าใจ Cj จะเริ่มต้นด้วย QJ มูลค่ารางวัล สำหรับ J = 1 . . เอ็นที่จุดเริ่มต้นของการเรียนรู้เราถือว่า em- เตียงรหัสมีมูลค่ารางวัลมาตรฐาน 0.75 จะถือว่าพวกเขาสมควรกฎดี.
รูป 8. ความแตกต่างระหว่างคะแนนบอทเรียนรู้และฮันเตอร์ Bot.
7.3.5 FALCON Bot โดยรูปแบบการเรียนรู้ที่หลากหลาย
FALCON Bot เรียนรู้กับกลยุทธ์ MML จะเรียกว่า FALCON- MML Bot เมื่อเรียนรู้การลอกเลียนแบบจะเปิดใช้งานการตั้งค่าพารามิเตอร์เธอเช่นเดียวกับที่เหยี่ยว IL-Bot ถูกนำไปใช้.
เมื่อโหมดการเรียนรู้การเสริมแรงที่มีการเปิดใช้งาน FALCON- MML Bot adopts การตั้งค่าพารามิเตอร์เดียวกันของทางเลือกการเรียนรู้พารามิเตอร์อัตราและพารามิเตอร์การมีส่วนร่วม เป็นที่ของ FALCON- RL Bot.
สำหรับพารามิเตอร์ระมัดระวัง, ρc1ถูกตั้งไว้ที่ 0.9 ซึ่งสูงกว่าที่ ธ ปท FALCON-RL สำหรับเกณฑ์การแข่งขันที่ดีกว่าเล็กน้อยρc2ตั้งค่าเป็น 0 และρc3 0.3 สำหรับระดับที่ขอบของการแข่งขัน เกณฑ์ สำหรับกฎแตกต่างชั่วคราวเหยี่ยว-DSL Bot ยังทำผิดกฎหมายαอัตราการเรียนรู้เหมือนกันและส่วนลดγปัจจัยที่เป็นที่ของ FALCON-Bot RL.
7.3.6 Bot มาตรฐาน Q-การเรียนรู้
สำหรับวัตถุประสงค์ของการเปรียบเทียบ, ธ ปทที่สร้างขึ้นโดย Q- มาตรฐาน
การเรียนรู้ (เรียกว่า QL Bot) นอกจากนี้ยังเป็นที่ตระหนักใน Unreal Tournament QL Bot ทำงานโดยการเรียนรู้ฟังก์ชั่นค่าสำหรับการดำเนินการแต่ละรับเลือกให้อยู่ในสภาพที่ได้รับ เราดำเนินการชุดของการทดลองเพื่อตรวจสอบว่า QL Bot ดำเนินการเมื่อมันเล่นกับฮันเตอร์ Bot สำหรับการเรียนรู้ฟังก์ชั่นคุ้มค่าการใช้กฎความแตกต่างชั่วคราวที่αอัตราการเรียนรู้คงที่ 0.7 และ fac ส่วนลด