In this paper we propose a robust f

In this paper we propose a robust formulation for discrete time dynamic programming (DP). The
objective of the robust formulation is to systematically mitigate the sensitivity of the DP optimal policy to ambiguity in the underlying transition probabilities. The ambiguity is modeled by associating a set of conditional measures with each state-action pair. Consequently, in the robust formulation each policy has a set of measures associated with it. We prove that when this set of measures has a certain Rectangularity" property all the main results for ¯nite and in¯nite horizon DP extend to natural robust counterparts. We identify families of sets of conditional measures for which the computational complexity of solving the robust DP is only modestly larger than solving the DP, typically logarithmic in the size of the state space. These families of sets are constructed from the con¯dence regions associated with density estimation, and therefore, can be chosen to guarantee any desired level of con¯dence in the robust optimal policy. Moreover, the sets can be easily parameterized from historical data. We contrast the
performance of robust and non-robust DP on small numerical examples.

ผลลัพธ์ (ไทย) 1:

ในเอกสารนี้ เราเสนอกำหนดที่แข็งแกร่งสำหรับการเขียนโปรแกรมแบบเวลาไม่ต่อเนื่อง (DP) ที่วัตถุประสงค์ของการกำหนดประสิทธิภาพจะลดระดับความสำคัญของนโยบายสูงสุด DP ไปย่อในกิจกรรมเปลี่ยนต้นแบบอย่างเป็นระบบ ย่อที่ถูกจำลอง โดยประกอบชุดของมาตรการตามเงื่อนไขแต่ละคู่ดำเนินการรัฐ ดังนั้น ในการกำหนดประสิทธิภาพ นโยบายแต่ละมีชุดของมาตรการที่เกี่ยวข้อง เราพิสูจน์ที่ชุดของมาตรการนี้มี Rectangularity บาง"คุณสมบัติหลักผลลัพธ์สำหรับ ¯nite และ in¯nite ฟ้า DP ขยายไปคู่ธรรมชาติแข็งแกร่ง เราระบุครอบครัวชุดมาตรการเงื่อนไขที่ซับซ้อนคำนวณแก้ DP แข็งแกร่งจะทั้งใหญ่กว่า DP ลอการิทึมโดยทั่วไปขนาดของพื้นที่รัฐแก้ ครอบครัวของชุดเหล่านี้สร้างขึ้นจากภูมิภาค con¯dence ที่เกี่ยวข้องกับการประเมินความหนาแน่น และดังนั้น สามารถเลือกการรับประกันใด ๆ ระดับของ con¯dence ในนโยบายเหมาะสมแข็งแรง นอกจากนี้ ชุดสามารถจะได้ค่าพารามิเตอร์จากข้อมูลประวัติศาสตร์ เราความคมชัดประสิทธิภาพของ DP ไม่แข็งแรง และแข็งแกร่งในตัวอย่างเป็นตัวเลขขนาดเล็ก

ผลลัพธ์ (ไทย) 2:

ในบทความนี้เรานำเสนอสูตรที่แข็งแกร่งต่อเนื่องในช่วงเวลาเขียนโปรแกรมแบบไดนามิก (DP)
วัตถุประสงค์ของการกำหนดที่แข็งแกร่งคือการมีระบบลดความไวของนโยบายที่ดีที่สุด DP ความกำกวมในการเปลี่ยนแปลงความน่าจะเป็นพื้นฐาน ความคลุมเครือเป็นแบบจำลองโดยการเชื่อมโยงชุดของมาตรการเงื่อนไขกับแต่ละคู่รัฐกระทำ ดังนั้นในการกำหนดนโยบายที่มีประสิทธิภาพแต่ละคนมีชุดของมาตรการที่เกี่ยวข้องกับมัน เราพิสูจน์ให้เห็นว่าเมื่อชุดของมาตรการนี้มีบางอย่าง Rectangularity "ในสถานที่ทั้งหมดผลหลักสำหรับ Nite และขอบฟ้าin¯nite DP ขยายกับคู่ที่แข็งแกร่งธรรมชาติ. เราระบุครอบครัวของชุดของมาตรการที่มีเงื่อนไขที่ซับซ้อนในการคำนวณของการแก้ DP ที่แข็งแกร่งเป็นเพียงสุภาพขนาดใหญ่กว่าการแก้ DP โดยทั่วไปลอการิทึมในขนาดของพื้นที่ของรัฐ. ครอบครัวเหล่านี้ชุดถูกสร้างขึ้นจากภูมิภาคcon¯denceที่เกี่ยวข้องกับการประมาณค่าความหนาแน่นและดังนั้นจึงสามารถเลือกที่จะรับประกันในระดับใดที่ต้องการของ con¯denceในการกำหนดนโยบายที่ดีที่สุดที่มีประสิทธิภาพ. นอกจากนี้ยังมีชุดที่สามารถแปรได้อย่างง่ายดายจากข้อมูลทางประวัติศาสตร์. เราคมชัด
ประสิทธิภาพการทำงานของ DP ที่แข็งแกร่งและไม่แข็งแกร่งในตัวอย่างตัวเลขที่มีขนาดเล็ก

ผลลัพธ์ (ไทย) 3:

ในกระดาษนี้เราเสนอสูตรที่แข็งแกร่งสำหรับแบ่งแยกเวลาพลวัต ( DP )
วัตถุประสงค์ของการกำหนดที่แข็งแกร่งระบบลดความไวของ DP ที่ดีที่สุดนโยบายความกำกวมในการเปลี่ยนสถานะเป็นต้น . ความคลุมเครือเป็นแบบประกอบชุดของมาตรการเงื่อนไขกับแต่ละรัฐกระทำคู่ จากนั้นในการกำหนดประสิทธิภาพแต่ละนโยบายมีชุดของมาตรการที่เกี่ยวข้องกับมัน เราพิสูจน์ได้ว่า เมื่อชุดของมาตรการนี้มีบางอย่าง N ซึ่งเป็นรูปสี่เหลี่ยมมุมฉาก " คุณสมบัติหลักทั้งหมด และในการ¯ ไนท์ ไนท์¯ขอบฟ้า DP ขยายคู่ที่แข็งแกร่งของธรรมชาติเราระบุชุดของครอบครัวของมาตรการตามเงื่อนไขที่การคำนวณที่ซับซ้อนของการ DP ที่แข็งแกร่งเพียงอย่างถ่อมตัวมากกว่าการแก้ปัญหา DP โดยปกติลอการิทึมในขนาดของรัฐในพื้นที่ เหล่านี้จะถูกสร้างขึ้นจากชุดของครอบครัวคอน¯ dence ภูมิภาคที่เกี่ยวข้องกับการประมาณความหนาแน่น และดังนั้นสามารถเลือกที่จะรับประกันระดับที่ต้องการคอน¯ dence ในนโยบายที่เหมาะสมมากขึ้น นอกจากนี้ ชุดสามารถได้อย่างง่ายดายพารามิเตอร์จากข้อมูลทางประวัติศาสตร์ ตรงกันข้ามเรา
ประสิทธิภาพคงทนและไม่คงทน ตัวอย่างเล็ก ๆบน - เลข