In this paper we propose a robust f

In this paper we propose a robust formulation for discrete time dynamic programming (DP). The objective of the robust formulation is to systematically mitigate the sensitivity of the DP optimal policy to ambiguity in the underlying transition probabilities. The ambiguity is modeled by associating a set of conditional measures with each state-action pair. Consequently, in the robust formulation each policy has a set of measures associated with it. We prove that when this set of measures has a certain “Rectangularity” property all the main results for finite and infinite horizon DP extend to natural robust counterparts. We identify families of sets of conditional measures for which the computational complexity of solving the robust DP is only modestly larger than solving the DP, typically logarithmic in the size of the state space. These families of sets are constructed from the confidence regions associated with density estimation, and therefore, can be chosen to guarantee any desired level of confidence in the robust optimal policy. Moreover, the sets can be easily parameterized from historical data. We contrast the performance of robust and non-robust DP on small numerical examples.

ผลลัพธ์ (ไทย) 2:

ในบทความนี้เรานำเสนอสูตรที่แข็งแกร่งต่อเนื่องในช่วงเวลาเขียนโปรแกรมแบบไดนามิก (DP) วัตถุประสงค์ของการกำหนดที่แข็งแกร่งคือการมีระบบลดความไวของนโยบายที่ดีที่สุด DP ความกำกวมในการเปลี่ยนแปลงความน่าจะเป็นพื้นฐาน ความคลุมเครือเป็นแบบจำลองโดยการเชื่อมโยงชุดของมาตรการเงื่อนไขกับแต่ละคู่รัฐกระทำ ดังนั้นในการกำหนดนโยบายที่มีประสิทธิภาพแต่ละคนมีชุดของมาตรการที่เกี่ยวข้องกับมัน เราพิสูจน์ให้เห็นว่าเมื่อชุดของมาตรการนี​​้มีบางอย่าง "Rectangularity" ในสถานที่ทั้งหมดผลหลักสำหรับขอบฟ้า จำกัด และอนันต์ DP ขยายไปถึงคู่ของธรรมชาติที่มีประสิทธิภาพ เราระบุครอบครัวของชุดของมาตรการที่มีเงื่อนไขที่ซับซ้อนในการคำนวณของการแก้ DP ที่แข็งแกร่งเป็นเพียงสุภาพขนาดใหญ่กว่าการแก้ DP โดยทั่วไปลอการิทึมในขนาดของพื้นที่ของรัฐ ครอบครัวเหล่านี้ชุดถูกสร้างขึ้นจากภูมิภาคมั่นใจปรับอากาศสายที่เกี่ยวข้องกับการประมาณค่าความหนาแน่นและดังนั้นจึงสามารถเลือกที่จะรับประกันในระดับใดที่ต้องการของนักโทษมั่นใจไฟในการกำหนดนโยบายที่ดีที่สุดที่มีประสิทธิภาพ นอกจากนี้ยังมีชุดที่สามารถแปรได้อย่างง่ายดายจากข้อมูลทางประวัติศาสตร์ เราแตกต่างของผลการดำเนินงานที่แข็งแกร่งและ DP ที่ไม่แข็งแกร่งในตัวอย่างตัวเลขที่มีขนาดเล็ก

ผลลัพธ์ (ไทย) 3:

ในกระดาษนี้เราเสนอสูตรที่แข็งแกร่งสำหรับแบ่งแยกเวลาพลวัต ( DP ) วัตถุประสงค์ของการกำหนดที่แข็งแกร่งระบบลดความไวของ DP ที่ดีที่สุดนโยบายความกำกวมในการเปลี่ยนสถานะเป็นต้น . ความคลุมเครือเป็นแบบประกอบชุดของมาตรการเงื่อนไขกับแต่ละรัฐกระทำคู่ จากนั้นในการกำหนดประสิทธิภาพแต่ละนโยบายมีชุดของมาตรการที่เกี่ยวข้องกับมัน เราพิสูจน์ว่า เมื่อชุดของมาตรการมีบางอย่าง " ซึ่งเป็นรูปสี่เหลี่ยมมุมฉาก " คุณสมบัติหลักทั้งหมดผลจำกัดและอนันต์ขอบฟ้า DP ขยายธรรมชาติที่แข็งแกร่งที่สุด .เราระบุชุดของครอบครัวของมาตรการตามเงื่อนไขที่การคำนวณที่ซับซ้อนของการ DP ที่แข็งแกร่งเพียงอย่างถ่อมตัวมากกว่าการแก้ปัญหา DP โดยปกติลอการิทึมในขนาดของรัฐในพื้นที่ เหล่านี้จะถูกสร้างขึ้นจากชุดของครอบครัวคอนจึง dence ภูมิภาคที่เกี่ยวข้องกับการประมาณความหนาแน่น และดังนั้นสามารถเลือกที่จะรับประกันระดับที่ต้องการหลอกจึง dence ในนโยบายที่เหมาะสมมากขึ้น นอกจากนี้ ชุดสามารถได้อย่างง่ายดายพารามิเตอร์จากข้อมูลทางประวัติศาสตร์ ตรงกันข้ามเราประสิทธิภาพคงทนและไม่คงทน ตัวอย่างเล็ก ๆ -
เชิงตัวเลข