Expected Usefulness…………………………………………

Expected Usefulness…………………………………………. 7

1.6 Synopsis of Thesis……………………………………………. 7

II BACKGROUND THEORY……………………………………… 9

2.1 Markov Processes…………………………………………….. 9

2.1.1 Discrete-Time Markov Chain……………………….. 10

2.1.2 Markov Decision Process…………………………… 11

2.2 Reinforcement Learning…………………………………… 12

2.2.1 Monte Carlo Method…………………………………14

2.2.2 Monte Carlo Estimation of Action Values…………...15

2.2.3 Monte Carlo Control…………………………………16

2.3 On-Policy Monte Carlo Method……………………………...17

III SECURE ROUTING IN MANETS : A REINFORCEMENT

LEARNING PROBLEM…………………………………………20

3.1 Introduction…………………………………………………. 20

3.2 Reputation Method………………………………………….. 22

3.3 Reputation as a Reinforcement Learning Problem…………...25

3.4 Problem Formulation…………………………………………27

3.5 Experimental Results…………………………………………28

3.5.1 Accumulated Reward per Episode…………………...30

3.5.2 Number of Packets Arrived at the Destination……….31

3.5.3 Relative Throughput………………………………….32

3.5.4 Effect of Varying the Maximum Allowed Packets…..33

3.6 Conclusions………………………………………………… 34

IV PERFORMANCE STUDY OF RL─BASED SECURE

ROUTING IN MANETS UNDER M/M/1/K MODEL…………...36

4.1 Introduction…………………………………………………..36

ผลลัพธ์ (ไทย) 1:

ประโยชน์ที่คาดว่า... 7

1.6 ข้อสรุปของวิทยานิพนธ์... 7

II ทฤษฎี... 9

กระบวน Markov 2.1 ... 9

2.1.1 แยกกันเวลา Markov โซ่... 10

2.1.2 Markov ตัดสินกระบวนการ... 11

2เรียนรู้เสริม 2 ... 12

2.2.1 มอนเตคาร์โลวิธี...14

2.2.2 การประเมินค่าการกระทำมงต์การ์โล...15

2.2.3 มอนเตคาร์โลควบคุม...16

2.3 บนนโยบายมอนเตคาร์โลวิธี...17

ทางสายใน MANETS III: การเสริม

เรียนปัญหา...20

3บทนำ 1 ... 20

วิธี 3.2 ชื่อเสียง... 22

ชื่อเสียง 3.3 เป็นการเสริมสร้างการเรียนรู้ปัญหา...25

3.4 ปัญหากำหนด...27

ผลทดลอง 3.5 ...28

3.5.1 สะสมรางวัลต่อตอน...30

3.5จำนวน 2 แพ็คเก็ตมาถึงปลายทาง... 31

3.5.3 สัมพัทธ์สูง... 32

3.5.4 ผลของแตกต่างกันไปสูงสุดที่อนุญาตให้แพ็คเก็ต... 33

3.6 บทสรุป... 34

IV ศึกษาประสิทธิภาพของ RL─BASED ปลอดภัย

สายใน MANETS ภายใต้แบบจำลอง M/M/1/เค ...36

4.1 แนะนำ... 36

ผลลัพธ์ (ไทย) 2:

ประโยชน์ที่คาดว่าจะ ................................................. 7 1.6 เรื่องย่อของ .................................................... วิทยานิพนธ์ 7 ครั้งที่สองมาทฤษฎี ............................................. 9 2.1 กระบวนการมาร์คอฟ ..................................................... 9 2.1.1 ไม่ต่อเนื่องเวลามาร์คอฟ ห่วงโซ่ ............................. 10 2.1.2 กระบวนการตัดสินใจมาร์คอฟ ................................. 11 2.2 การเสริมแรงการเรียนรู้ .......................................... 12 2.2 .1 Monte Carlo วิธี ....................................... 14 2.2.2 Monte Carlo การประมาณค่าการดำเนินการ ............... 15 2.2.3 Monte Carlo ควบคุม ........................ ............... 16 2.3 บนนโยบาย Monte Carlo วิธี .................................... 17 สามเส้นทางมีความปลอดภัยใน MANETs: การเสริมแรงที่มีปัญหาการเรียนรู้ .................................... 20 ............ 3.1 บทนำ .......................................................... 20 3.2 วิธีชื่อเสียง .................................................. 22 3.3 ชื่อเสียงเป็นเสริมการเรียนรู้ปัญหา ............... 25 3.4 ปัญหาการกำหนด ........................... ..................... 27 3.5 ผลการทดลอง ................................................ 28 3.5.1 รางวัลสะสมต่อตอนที่ ........................ 30 3.5.2 จำนวน ของแพ็คเก็ตมาถึงที่ปลายทาง .......... 31 3.5.3 การกลั่นญาติ ........................................ 32 3.5.4 ผลกระทบจากการเปลี่ยนสูงสุดเซอร์วิสแพ็คเก็ต ..... 33 3.6 สรุป ......... ................................................ 34 IV ผลการดำเนินงานการศึกษา RL ─ปลอดภัยตามเส้นทางใน MANETs ภายใต้ M/M/1/K MODEL ............... 36 4.1 บทนำ ......... 36 ..................................................

ผลลัพธ์ (ไทย) 3:

ประโยชน์ที่คาดว่า ................................................. 7

.................................................... 1.6 บทสรุปของวิทยานิพนธ์ 7

พื้น 2 ทฤษฎี ............................................. 9

..................................................... 2.1 กระบวนการมาร์คอฟ 9

ตัวไม่ต่อเนื่องเวลา ............................. ลูกโซ่มาร์คอฟ 10

2.1.2 มาร์คอฟกระบวนการตัดสินใจ ................................. 11

22 เสริมการเรียนรู้ .......................................... 12

2.2.1 วิธีมอนติคาร์โล ....................................... 14

2.2.2 มอนติคาร์โลกระทำค่า เอ๊ย ประมาณ 15

2.2.3 Monte Carlo ควบคุม ....................................... 16

2.3 นโยบายวิธีมอนติคาร์โล .................................... 17

3 เส้นทาง ในการ manets : เสริมการเรียนรู้โดยใช้ปัญหาเป็น ................................................

20

31 .......................................................... เบื้องต้น 20

3.2 วิธีการ .................................................. ชื่อเสียง 22

3.3 ชื่อเสียงเป็นการเสริมแรงการเรียนรู้ปัญหาเอ๊ย 25

3.4 ปัญหาการ ................................................ 27

3.5 ผลการทดลอง ................................................ 28

: สะสมต่อตอน ........................ 30

3 .2 จำนวนแพ็กเก็ตมาถึงปลายทาง . 31

3.5.3 ญาติผ่าน ........................................ 32

3.5.4 ผลของการเปลี่ยนแปลงสูงสุดที่อนุญาตแพ็คเก็ต . . . . . 33

3.6 สรุป ......................................................... 34

ที่ 4 การศึกษาสมรรถนะของ RL ─ปลอดภัย

ตามเส้นทางใน manets ภายใต้ M / M / 1 ตัว / K เอ๊ย 36

. แนะนำ ........................................................... 36