4.6 Trust Region Methods - ideaSupp

4.6 Trust Region Methods - idea
Suppose the unconstrained non-linear optimization problem
f(x) → min
s.t. x ∈ R
n
with f ∈ C2
(R
n
) be given. For a known iterate x
k
the trust region method determines subsequent
iterates using
x
k+1 = x
k + d
k
where d
k
is determined by minimizing a local quadratic (approximating) model of f at x
k given by
qk(x) := f(x
k
) + ∇f(x
k
)
⊤d +
1
2
d
⊤Hkd
constrained to a domain Ω, where we expect the resulting direction vector d
k
could yield a "good"
reduction of f at x
k+1 = x
k + d
k
. The constraint set Ω is usually given by
Ωk = {d ∈ R
n
| kdk ≤ △k}
and is known as the trust-region1
, where we hope (trust) that the global solution of the problem
(QPT)k qk(d) := f(x
k
) + ∇f(x
k
)
⊤d +
1
2
d
⊤∇2
f(x
k
)d → min
s.t.
d ∈ Ω = {d ∈ R
n
| kdk ≤ △k}
yields a direction vector d
k
that brings a "good" reduction of f at x
k+1 = x
k + d
k
. Thus, the problem
(QPT)k is widely known as the trust region problem associated with (NLP) at the point x
k and △k > 0
is the radius of the trust-region.
A general trust-region algorithm
(k0) choose start vector x
0 parameters △, △0 ∈ (0, △), 0 < η1 ≤ η2 < 1
0 < γ1 < 1 < γ2,tolerance ε > 0, andk = 0.
WHILE



∇f

x
k




> ε
(k1) Approximately solve (QPT)k to determine d
k
.
(k2) Compute
• rk =
f(x
k) − f(x
k+d
k)
qk(0) − qk(d
k)
• Set x
k+1 =

x
k + d
k
, if rk ≥ η1,
x
k
, otherwise.
(k3) Adjust the trust-region radius △k+1
• If rk < η1,then △k+1 :∈ (0,γ1△k) (Shrink trust-region).
• If η1 ≤ rk < η2,then △k+1 ∈ [γ1△k, △k] (Shrink or accept the old trust-region).
• If rk ≥ η2 and kd
kk = △k,then △k+1 ∈ [△k, min{γ2△k, △k}] (Enlarge trust-region).
(k4) Set k = k + 1 and update the quadratic model (QPT)k; i.e., update qk(·)and the trust-region.
END

ผลลัพธ์ (ไทย) 1:

4.6 เชื่อถือวิธีการภูมิภาค - ความคิดสมมติว่า ปัญหา unconstrained การปรับให้เหมาะสมไม่ใช่เชิงเส้นf(x) →นาทีเอส x ∈ Rnกับ f ∈ C2(Rn) ได้รับการ รู้จักย้ำ xkวิธีการภูมิภาคเชื่อถือกำหนดตามมาคำนวณซ้ำโดยใช้xk + 1 = xk + dkที่ dkกำหนด โดยย่อท้องถิ่นกำลังสอง (approximating) แบบของ f ที่ xโดย kqk(x): = f (xk) + ∇f (xk)⊤d +12d⊤Hkdจำกัดจะเป็นΩโดเมน ที่เราคาดว่า d เวกเตอร์ทิศทางได้kได้ผลตอบแทน "ดี"ลดของ f ที่ xk + 1 = xk + dk. Ωกำหนดข้อจำกัดจะถูกกำหนดโดยΩk = {R d ∈n| kdk ≤ △k }และเป็นที่รู้จักกันเป็น region1 แทนที่เราหวัง (แทน) ที่โซลูชั่นส่วนกลางของปัญหาQk(d) k (QPT): = f (xk) + ∇f (xk)⊤d +12d⊤∇2f (xk) d →นาทีเอสΩ d ∈ = {d ∈ Rn| kdk ≤ △k }ทำให้ทิศทางของเวกเตอร์ dkที่จะลด "ดี" ของ f ที่ xk + 1 = xk + dk. ดังนั้น ปัญหาเค (QPT) ที่เป็นรู้จักกันอย่างกว้างขวางเป็นปัญหาภูมิภาคแทนที่เกี่ยวข้องกับ (NLP) ที่จุด xk และ △k > 0คือรัศมีของภูมิภาคแทนอัลกอริทึมภูมิภาคทั่วไปความน่าเชื่อถือ(k0) เลือกเวกเตอร์เริ่มต้น x△พารามิเตอร์ 0, △0 ∈ (0 △), 0 < η1 ≤ η2 < 10 < γ1 < 1 < γ2 ยอมรับε > 0, andk = 0ในขณะที่∇fxk
> ε(k1) ประมาณแก้ k (QPT) เพื่อตรวจสอบ dk.(k2) คำนวณ• rk =f (xk) − f (xk + dk)qk − qk(0) (dk)•ชุด xk + 1 =xk + dkถ้า rk ≥ η1xkมิฉะนั้น(k3) ปรับ △k รัศมีแทนภูมิภาค + 1•ถ้า rk < η1, △k แล้ว + 1: ∈ (0, γ1△k) (ย่อแทนภูมิภาค)•ถ้า η1 ≤ rk < η2, △k แล้ว + 1 ∈ [γ1△k, △k] (หด หรือยอมรับเก่าแทนภูมิภาค)•ถ้า rk ≥ η2 และ kdเคเค = △k แล้ว △k + 1 ∈ [△k, min {γ2△k, △k }] (ขยายความน่าเชื่อถือภูมิภาค)(k4) กำหนด k = k + 1 และปรับปรุงรูปแบบกำลังสอง (QPT) k เช่น อัพเด qk(·) และความน่าเชื่อถือภูมิภาคสิ้นสุด

ผลลัพธ์ (ไทย) 2:

4.6 ความน่าเชื่อถือภาควิธี - ความคิดที่
สมมติว่าปัญหาการเพิ่มประสิทธิภาพที่ไม่ใช่เชิงเส้น unconstrained
f (x) →นาที
เซนต์ x ∈ R
n
∈กับฉ C2
(R
n
) จะได้รับ สำหรับเป็นที่รู้จักย้ำ x
k
วิธีภูมิภาคไว้วางใจกำหนดภายหลัง
iterates ใช้
x
k + 1 = x
+ d k
k
โดย d
k
จะถูกกำหนดโดยการลดกำลังสองท้องถิ่น (ประมาณ) รูปแบบของที่ฉ x
k กำหนดโดย
QK (x): = f (x
k
) + ∇f (x
k
)
⊤d +
1
2
d
⊤Hkd
บีบบังคับให้Ωโดเมนที่เราคาดว่าทิศทางเวกเตอร์ที่เกิด d
k
ได้ผล "ดี"
การลดลงของเอฟที่ x
k + 1 = x
+ d k
k
ข้อ จำกัด ที่ตั้งΩจะได้รับโดยปกติ
Ωk = {d ∈ R
n
| KDK ≤△ K}
และเป็นที่รู้จักกันไว้วางใจภูมิภาค 1
ที่เราหวังว่า (ความไว้วางใจ) ว่าวิธีการแก้ปัญหาระดับโลกของปัญหา
(QPT) k QK (ง ) = f (x
k
) + ∇f (x
k
)
⊤d +
1
2
d
⊤∇2
f (x
k
) ง→นาที
เซนต์
d ∈Ω = {d ∈ R
n
| KDK ≤△ K}
ผลตอบแทนถัวเฉลี่ย ทิศทางเวกเตอร์ d
k
ที่จะนำ "ดี" การลดลงของเอฟที่ x
k + 1 = x
+ d k
k
ดังนั้นปัญหาที่เกิดขึ้น
(QPT) k เป็นที่รู้จักกันอย่างกว้างขวางว่าเป็นปัญหาที่เกิดขึ้นในภูมิภาคความไว้วางใจที่เกี่ยวข้องกับ (NLP) ที่จุด x
k และ△ k> 0
เป็นรัศมีของภูมิภาคไว้วางใจ.
ขั้นตอนวิธีการไว้วางใจภูมิภาคทั่วไป
(K0) เลือก เริ่มต้นเวกเตอร์ x
0 พารามิเตอร์△, △ 0 ∈ (0, △) 0 <η1≤η2 <1
0 <γ1 <1 <γ2อดทนε> 0 andk = 0
ในขณะที่∇f x k ? > ε (k1 ) ประมาณแก้ (QPT) เพื่อตรวจสอบ k d k . (k2) Compute • RK = f (x k) - f (x k + d k) QK (0) - QK (งk) •ตั้ง x k + 1 = ? x k + d k ถ้า RK ≥η1, x k มิฉะนั้น. (k3) ปรับรัศมีความไว้วางใจภูมิภาค△ k + 1 •หาก RK <η1แล้ว△ k + 1: ∈ (0, γ1△ k) (หดความไว้วางใจภูมิภาค). •หากη1≤ RK <η2แล้ว△ + 1 k ∈ [γ1△ k, k △] (หดหรือรับความไว้วางใจภูมิภาคเก่า). •หาก RK ≥η2และ KD คิคิ = △ k แล้ว△ + 1 k ∈ [△ k, min {k γ2△, △ K}] (ขยายความไว้วางใจภูมิภาค). (k4) ตั้ง k = k + 1 และปรับปรุงรูปแบบสมการกำลังสอง (QPT) k; คือการปรับปรุง QK (·) และภาคความไว้วางใจ. END

ผลลัพธ์ (ไทย) 3:

4.6 ไว้ใจภูมิภาควิธีคิดแบบการเพิ่มประสิทธิภาพปัญหาต่างกันไป สมมติ

f ( x ) → keyboard - key - name มิน

n
x ∈สจ. R F ∈ C2
( r
n
) ได้รับ สำหรับจักย้ำ x
k
ความไว้วางใจเขตวิธีการกำหนดตามมา

x
K กล่าวย้ำ ใช้ 1 = x
K D
k
D
k
ที่ถูกกำหนดโดยการลดพื้นที่กำลังสอง ( ประมาณ ) รูปแบบของ f ที่ x
K โดยให้
qk ( x ) = f ( x ∇

K ) f ( x
k
)
⊤ D
1
2
D

⊤ HKDบังคับให้โดเมนΩที่เราคาดหวังผลทิศทางเวกเตอร์ D
k
สามารถให้ผลผลิตเป็น " ดี "
ลด f ที่ x 1 = x

K K K D

ปัญหาการตั้งค่าΩมักจะให้โดย
Ω K = { D ∈ R
n
| kdk ≤△ K }
และเป็นที่รู้จักกันเป็น trust-region1
, ซึ่งเราหวังว่า ( เชื่อ ) ว่าโซลูชั่นระดับโลกของปัญหา
( qpt ) K qk ( D ) = f ( x
k
∇ f ( x )
k
)
⊤ D
1
2
D
⊤∇ f ( x
2
k
) D → keyboard - key - name มิน

สจ.D ∈Ω = { D ∈ R
n
| kdk ≤△ K }
ผลผลิตทิศทางเวกเตอร์ D
k
ที่ทำให้ " ดี " ลด f ที่ x 1 = x

K K K D

ดังนั้น ปัญหา
( K qpt ) เป็นที่รู้จักกันอย่างกว้างขวางว่าเป็นปัญหาที่เกี่ยวข้องกับความน่าเชื่อถือภูมิภาค ( NLP ) ที่จุด X
K และ△ k > 0
คือรัศมีของความไว้วางใจความเชื่อถือทั่วไปเขตภูมิภาค

( k0 ) ขั้นตอนวิธีการเลือกเริ่มต้นเวกเตอร์ x
0 พารามิเตอร์△△ 0 ∈ , ( 0 , △ ) , 0 < η≤η 2 < 1
10 < γ 1 < 1 < γ 2 , ความอดทนε > 0 ทิ้ง = 0
ในขณะที่



∇ f

x
k




> ε
( K1 ) ประมาณแก้ ( qpt ) K เพื่อตรวจสอบ D
k
.
( K2 ) คำนวณ
- RK =
F ( x
K ) − f ( x
K D
K )
qk ( 0 ) − qk ( d
K )
x
K - ชุด 1 =

x
K D
k
ถ้า RK ≥η 1
x
k

ไม่งั้น . ( K3 ) ปรับความน่าเชื่อถือเขตรัศมี△ K 1
- ถ้า RK < η 1 แล้ว△ K 1 : ∈ ( 0 , γ 1 △ K ) ( เชื่อเขตหด ) .
- ถ้าη 1 ≤ RK < η 2 แล้ว△ K 1 ∈ [ γ 1 △ K ,△ K ] ( หดหรือยอมรับเขตไว้ใจเก่า )
- ถ้า RK ≥η 2 KD
KK = △ K แล้ว△ K 1 ∈ [ △ K , มิน { γ 2 △ K , △ K } ] ( ขยายเชื่อภาค )
( ทาง ) ชุด K = K 1 และ ปรับปรุงรูปแบบกำลังสอง ( qpt ) K ; I , ปรับปรุง qk ( ด้วย ) และความไว้วางใจในภูมิภาค จบ