Approximation ArchitecturesAn impor

Approximation Architectures
An important issue in function approximation is the selection of architecture,
that is, the choice of a parametric class of functions J˜(·, r) or Q˜(·, ·, r) that suits
the problem at hand. One possibility is to use a neural network architecture
of some type. We should emphasize here that in this article we use the term
“neural network” in a very broad sense, essentially as a synonym to “approximating
architecture.” In particular, we do not restrict ourselves to the classical
multilayer perceptron structure with sigmoidal nonlinearities. Any type of universal
approximator of nonlinear mappings could be used in our context. The
nature of the approximating structure is left open in our discussion, and it could
involve, for example, radial basis functions, wavelets, polynomials, splines, etc.
Cost approximation can often be significantly enhanced through the use of
feature extraction, a process that maps the state i into some vector f(i), called
the feature vector associated with the state i. Feature vectors summarize, in
a heuristic sense, what are considered to be important characteristics of the
state, and they are very useful in incorporating the designer’s prior knowledge
or intuition about the problem and about the structure of the optimal controller.
For example in a queueing system involving several queues, a feature vector may
involve for each queue a three-value indicator, that specifies whether the queue
is “nearly empty”, “moderately busy”, or “nearly full”. In many cases, analysis
can complement intuition to suggest the right features for the problem at hand.
Feature vectors are particularly useful when they can capture the “dominant
nonlinearities” in the optimal cost function J
∗
. By this we mean that J
∗
(i) can
be approximated well by a “relatively smooth” function Jˆ(f(i)); this happens
for example, if through a change of variables from states to features, the function
J
∗ becomes a (nearly) linear or low-order polynomial function of the features.
When a feature vector can be chosen to have this property, one may consider
approximation architectures where both features and (relatively simple) neural
networks are used together. In particular, the state is mapped to a feature
vector, which is then used as input to a neural network that produces the score
of the state. More generally, it is possible that both the state and the feature
vector are provided as inputs to the neural network.
A simple method to obtain more sophisticated approximations, is to partition
the state space into several subsets and construct a separate cost function
approximation in each subset. For example, by using a linear or quadratic polynomial
approximation in each subset of the partition, one can construct piecewise
linear or piecewise quadratic approximations over the entire state space.
An important issue here is the choice of the method for partitioning the state
space. Regular partitions (e.g., grid partitions) may be used, but they often lead
to a large number of subsets and very time-consuming computations. Generally
speaking, each subset of the partition should contain “similar” states so that the
variation of the optimal cost over the states of the subset is relatively smooth
and can be approximated with smooth functions. An interesting possibility is
to use features as the basis for partition. In particular, one may use a more
or less regular discretization of the space of features, which induces a possibly
irregular partition of the original state space. In this way, each subset of the
irregular partition contains states with “similar features.”

ผลลัพธ์ (ไทย) 1:

สถาปัตยกรรมประมาณประเด็นสำคัญในการประมาณฟังก์ชันเป็นสถาปัตยกรรม การเลือกนั่นคือ หลากหลายประเภทพาราเมตริกของฟังก์ชัน J˜ (ลอก r) หรือ Q˜ (ลอก ลอก r) ที่ปัญหาที่ ความเป็นไปได้ที่หนึ่งจะใช้สถาปัตยกรรมโครงข่ายประสาทบางชนิด เราควรย้ำว่า ในบทความนี้ เราใช้คำว่า"โครงข่ายประสาท" ในความรู้สึกกว้างมาก เป็นคำเหมือนกับ "ระหว่างหลักสถาปัตยกรรม" โดยเฉพาะอย่างยิ่ง เราไม่จำกัดตนเองที่คลาสสิกโครงสร้างหลายชั้นเพอร์เซปตรอนกับ sigmoidal nonlinearities ของสากลapproximator การแม็ปไม่เชิงเส้นสามารถใช้ในบริบทของเรา ที่ลักษณะของโครงสร้าง approximating ที่เหลือเปิดอยู่ในการสนทนาของเรา และมันสามารถเกี่ยวข้องกับ เช่น ฟังก์ชันฐานรัศมี wavelets, polynomials, splines ฯลฯประมาณต้นทุนสามารถมักจะได้มากเพิ่มผ่านใช้ของแยกลักษณะการทำงาน กระบวนการซึ่งแผนที่รัฐฉันเป็นบางเวกเตอร์ f(i) เรียกว่าเวกเตอร์ของคุณลักษณะที่เกี่ยวข้องกับรัฐ i. คุณลักษณะเวกเตอร์ ในสรุปความรู้สึกแล้ว สิ่งที่ถือเป็นลักษณะสำคัญของการสถานะ และพวกเขามีประโยชน์มากในความรู้เดิมของผู้ออกแบบเพจหรือสัญชาตญาณ เกี่ยวกับปัญหา และโครงสร้างของตัวควบคุมที่เหมาะสมเช่น ในระบบจัดคิวที่เกี่ยวข้องกับหลายคิว เวกเตอร์ลักษณะอาจเกี่ยวข้องกับสำหรับคิวแต่ละตัวบ่งชี้มูลค่า 3 ที่ระบุว่า คิวเป็น "เกือบว่างเปล่า" "ค่อนข้างว่าง" หรือ "เกือบเต็ม" ในหลายกรณี วิเคราะห์สามารถเติมเต็มสัญชาตญาณเพื่อแนะนำคุณลักษณะที่เหมาะสมสำหรับปัญหาที่คุณลักษณะเวกเตอร์จะมีประโยชน์เมื่อพวกเขาสามารถจับภาพ "โดดเด่นnonlinearities"ในฟังก์ชันต้นทุนเหมาะสมเจ∗. โดยที่นี้ เราหมายถึง ที่ J∗(i) สามารถจะเลียนแบบดี โดยฟังก์ชัน "ค่อนข้างเรียบ" Jˆ(f(i)) นี้เกิดขึ้นตัวอย่างเช่น ถ้าผ่านการเปลี่ยนแปลงของตัวแปรจากอเมริกาคุณสมบัติ ฟังก์ชันเจ∗เป็น เชิงเส้น (เกือบ) หรือต่ำสั่งพหุนามฟังก์ชันของเมื่อเวกเตอร์คุณลักษณะสามารถเลือกมีคุณสมบัตินี้ หนึ่งอาจพิจารณาประมาณสถาปัตยกรรมซึ่งคุณลักษณะทั้งสอง (ค่อนข้างง่าย) และประสาทเครือข่ายที่ใช้ร่วมกัน โดยเฉพาะอย่างยิ่ง รัฐถูกแมปกับคุณลักษณะเวกเตอร์ ซึ่งเป็นแล้วใช้เป็นข้อมูลเครือข่ายประสาทที่ให้คะแนนของรัฐ เพิ่มเติมโดยทั่วไป มันเป็นไปได้ที่สภาพและลักษณะการทำงานมีเวกเตอร์เป็นอินพุตไปยังเครือข่ายประสาทวิธีได้รับเพียงการประมาณความซับซ้อนมากขึ้น เป็นพาร์ติชันสภาพพื้นที่เป็นชุดย่อยต่าง ๆ และสร้างทุนฟังก์ชันประมาณในแต่ละชุดย่อย เช่น โดยใช้พหุนามกำลังสอง หรือเส้นประมาณในแต่ละเซตย่อยของพาร์ติชัน หนึ่งสามารถสร้าง piecewiseเส้น หรือ piecewise กำลังสองเพียงการประมาณเหนือพื้นที่ทั้งรัฐประเด็นที่สำคัญที่นี่เป็นทางเลือกของวิธีการพาร์ทิชันที่สถานะพื้นที่ อาจใช้พาร์ทิชันปกติ (เช่น ตารางพาร์ทิชัน) แต่พวกเขามักจะนำไปเป็นจำนวนมากย่อยและประมวลผลใช้เวลานานมาก โดยทั่วไปพูด แต่ละเซตย่อยของพาร์ทิชันควรประกอบด้วยอเมริกา "คล้าย" เพื่อให้การการเปลี่ยนแปลงของต้นทุนที่เหมาะสมเหนือรัฐของกลุ่มย่อยจะค่อนข้างราบรื่นและสามารถเลียนแบบได้ ด้วยฟังก์ชันเรียบ มีความเป็นไปได้ที่น่าสนใจการใช้ลักษณะการทำงานเป็นพื้นฐานสำหรับพาร์ติชัน โดยเฉพาะ หนึ่งอาจใช้มากขึ้นหรือน้อยกว่า discretization ปกติพื้นที่คุณลักษณะ ที่แท้จริงอาจพาร์ติชันไม่สม่ำเสมอพื้นที่รัฐเดิม ด้วยวิธีนี้ แต่ละเซตย่อยของการอเมริกากับ "ลักษณะคล้าย" ประกอบด้วยพาร์ติชันไม่สม่ำเสมอ

ผลลัพธ์ (ไทย) 2:

ประมาณสถาปัตยกรรมปัญหาสำคัญในการประมาณฟังก์ชั่นคือการเลือกสถาปัตยกรรมที่เป็นทางเลือกของชั้นพารามิเตอร์ของฟังก์ชันJ~ (· R) หรือ Q~ (··, R) ที่เหมาะสมกับปัญหาที่มือ หนึ่งเป็นไปได้คือการใช้สถาปัตยกรรมเครือข่ายประสาทบางชนิด เราควรเน้นที่นี่ในบทความนี้เราใช้คำว่า"เครือข่ายประสาท" ในความหมายที่กว้างมากเป็นหลักเป็นคำพ้องที่จะ "ใกล้เคียงกับสถาปัตยกรรม." โดยเฉพาะอย่างยิ่งเราไม่ได้ จำกัด ตัวเองกับคลาสสิกโครงสร้างหลายPerceptron กับ nonlinearities sigmoidal ประเภทใด ๆ ของสากลapproximator ของแมปไม่เชิงเส้นสามารถนำมาใช้ในบริบทของเรา ธรรมชาติของโครงสร้างใกล้เคียงกับที่ถูกเปิดทิ้งไว้ในการสนทนาของเราและมันอาจจะเกี่ยวข้องกับการยกตัวอย่างเช่นฟังก์ชั่นพื้นฐานรัศมีแสง, พหุนาม, เส้นโค้ง ฯลฯ ประมาณค่าใช้จ่ายมักจะสามารถเพิ่มขึ้นอย่างมีนัยสำคัญผ่านการใช้การดึงกระบวนการที่แผนที่รัฐฉันเป็นบางส่วนเวกเตอร์ f (i) ที่เรียกว่าเวกเตอร์คุณลักษณะที่เกี่ยวข้องกับรัฐฉัน เวกเตอร์คุณลักษณะสรุปในความรู้สึกที่แก้ปัญหาสิ่งที่จะถือว่าเป็นลักษณะที่สำคัญของรัฐและพวกเขาจะมีประโยชน์มากในการผสมผสานความรู้เดิมของนักออกแบบหรือสัญชาตญาณเกี่ยวกับปัญหาและเกี่ยวกับโครงสร้างของตัวควบคุมที่ดีที่สุด. ยกตัวอย่างเช่นในการเข้าคิว ระบบที่เกี่ยวข้องกับการรอคิวหลายเวกเตอร์คุณลักษณะที่อาจเกี่ยวข้องกับแต่ละคิวตัวบ่งชี้ที่สามมูลค่าที่ระบุว่าคิวคือ"เกือบว่างเปล่า", "ไม่ว่างในระดับปานกลาง" หรือ "เกือบเต็ม" ในหลายกรณีการวิเคราะห์สามารถเติมเต็มสัญชาตญาณในการแนะนำคุณสมบัติที่เหมาะสมสำหรับปัญหาที่อยู่ในมือ. เวกเตอร์คุณสมบัติที่มีประโยชน์โดยเฉพาะอย่างยิ่งเมื่อพวกเขาสามารถจับภาพ "ที่โดดเด่นnonlinearities" ในฟังก์ชั่นค่าใช้จ่ายที่ดีที่สุด J * จากนี้เราหมายถึงว่า J * (i) สามารถเป็นห้วงอย่างดีจาก "ค่อนข้างเรียบ" ฟังก์ชั่น J (f (i)); นี้เกิดขึ้นตัวอย่างเช่นถ้าผ่านการเปลี่ยนแปลงของตัวแปรจากรัฐในการคุณสมบัติฟังก์ชันJ * กลายเป็น (เกือบ) เชิงเส้นหรือต่ำเพื่อฟังก์ชั่นพหุนามของคุณสมบัติ. เมื่อเวกเตอร์คุณลักษณะสามารถเลือกที่จะมีคุณสมบัตินี้หนึ่งอาจ พิจารณาสถาปัตยกรรมที่มีคุณสมบัติใกล้เคียงและ(ค่อนข้างง่าย) ประสาทเครือข่ายที่มีการใช้ร่วมกัน โดยเฉพาะอย่างยิ่งในรัฐที่มีการแมปไปยังคุณลักษณะเวกเตอร์ที่ใช้แล้วเป็น input เพื่อเครือข่ายประสาทที่ก่อให้คะแนนของรัฐ โดยทั่วไปก็เป็นไปได้ว่าทั้งของรัฐและคุณลักษณะเวกเตอร์ที่มีให้เป็นปัจจัยการผลิตไปยังเครือข่ายประสาท. วิธีการที่ง่ายที่จะได้รับการประมาณความซับซ้อนมากขึ้นคือการแบ่งพาร์ติชันสภาพพื้นที่เป็นหลายส่วนย่อยและสร้างฟังก์ชั่นค่าใช้จ่ายแยกต่างหากประมาณในแต่ละเซตย่อย ตัวอย่างเช่นโดยการใช้พหุนามสมการเชิงเส้นหรือประมาณในแต่ละเซตของพาร์ทิชันหนึ่งสามารถสร้างค่เชิงเส้นหรือประมาณค่กำลังสองที่ผ่านพื้นที่รัฐทั้งหมด. ปัญหาที่สำคัญที่นี่เป็นทางเลือกของวิธีการในการแบ่งพาร์ทิชันรัฐพื้นที่ พาร์ทิชันปกติ (เช่นตารางพาร์ทิชัน) อาจจะใช้ แต่พวกเขามักจะนำไปเป็นจำนวนมากของการย่อยและการคำนวณที่ใช้เวลานานมาก โดยทั่วไปการพูดย่อยของพาร์ทิชันแต่ละคนควรมี "คล้ายกัน" รัฐเพื่อให้การเปลี่ยนแปลงของค่าใช้จ่ายที่เหมาะสมมากกว่ารัฐย่อยที่ค่อนข้างเรียบและสามารถประมาณกับการทำงานได้อย่างราบรื่น ไปได้ที่น่าสนใจคือการใช้คุณสมบัติเป็นพื้นฐานสำหรับพาร์ทิชัน โดยเฉพาะอย่างยิ่งคนหนึ่งอาจใช้มากขึ้นหรือน้อยกว่าปกติไม่ต่อเนื่องของพื้นที่ของคุณสมบัติซึ่งอาจก่อให้เกิดพาร์ทิชันที่ผิดปกติของสภาพพื้นที่เดิม ด้วยวิธีนี้ย่อยของแต่ละพาร์ทิชันที่มีความผิดปกติของรัฐที่มี "คุณสมบัติคล้ายกัน."

ผลลัพธ์ (ไทย) 3:

สถาปัตยกรรมประมาณ
สำคัญในการประมาณค่าฟังก์ชันการเลือกสถาปัตยกรรม
นั่นคือทางเลือกของระดับตัวแปรของฟังก์ชัน˜ ( ด้วย J , R ) หรือ Q ˜ ( Suite Suite , R ,
) ที่เหมาะสมกับปัญหาในมือ หนึ่งที่เป็นไปได้คือใช้
สถาปัตยกรรมโครงข่ายประสาทเทียมชนิดบาง เราควรจะเน้นที่นี่ในบทความนี้เราใช้คำว่า
" โครงข่ายประสาทเทียม " ในความรู้สึกที่กว้างมากเป็นหลักเป็นคำที่เกี่ยวข้องกับ " ประมาณ
สถาปัตยกรรม " โดยเฉพาะ เราไม่ได้ จำกัด ตัวเองเพื่อคลาสสิกโครงสร้าง Multilayer กับ sigmoidal ธรรมดา
nonlinearities . ประเภทของ approximator สากล
ของแมปเส้นใด ๆ ที่อาจจะใช้ในบริบทของเรา
ลักษณะของประเภทโครงสร้างคือ เปิดทิ้งไว้ในการสนทนาของเรา และอาจ
เกี่ยวข้องกับตัวอย่างรัศมีพื้นฐานฟังก์ชันคลื่นเส้นโค้งพหุนาม , , และอื่น ๆ ค่าใช้จ่ายประมาณ
มักจะสามารถอย่างมีนัยสำคัญเพิ่มผ่านการใช้
การสกัดคุณลักษณะ กระบวนการที่แผนที่สภาพผมในบางเวกเตอร์ F ( i ) ที่เรียกว่า
คุณลักษณะเวกเตอร์ที่เกี่ยวข้องกับสภาพฉันคุณลักษณะเวกเตอร์สรุปใน
ความรู้สึกแบบอะไร ถือว่าเป็นลักษณะที่สำคัญของ
สภาพและพวกเขาจะมีประโยชน์มากในการผสมผสานของผู้ออกแบบก่อนที่ความรู้
หรือสัญชาตญาณเกี่ยวกับปัญหาเกี่ยวกับโครงสร้างของตัวควบคุมที่เหมาะสม .
ตัวอย่างเช่นในระบบแถวคอยที่เกี่ยวข้องกับคิวหลายคุณลักษณะเวกเตอร์อาจเกี่ยวข้องกับตัวบ่งชี้
แต่ละคิวสามค่า ที่ระบุว่าคิว
" เกือบว่างเปล่า " " ไม่ว่าง " ปานกลาง " เกือบเต็ม " ในหลายกรณีการวิเคราะห์
สามารถกว่าสัญชาตญาณที่จะแนะนำคุณสมบัติที่เหมาะสมสำหรับปัญหาที่มือ
เวกเตอร์คุณลักษณะเป็นประโยชน์อย่างยิ่งเมื่อพวกเขาสามารถจับ " nonlinearities เด่น
" ในค่าใช้จ่ายในการทำงานที่เหมาะสม∗ J

นี่เราหมายถึงว่า∗ J

( )
ได้โดยประมาณ โดย " เรียบค่อนข้างฟังก์ชัน " J ˆ ( F ( i ) ; นี้เกิดขึ้น
ตัวอย่างเช่นถ้าผ่านการเปลี่ยนแปลงของตัวแปรจากอเมริกาคุณสมบัติ ฟังก์ชัน
J
∗กลายเป็น ( เกือบ ) เชิงเส้นพหุนามฟังก์ชันในคุณลักษณะต่ำการสั่งซื้อ .
เมื่อคุณลักษณะเวกเตอร์สามารถเลือกที่จะมีคุณสมบัตินี้ หนึ่งอาจพิจารณา
สถาปัตยกรรมประมาณที่ทั้งคุณลักษณะและ ( ค่อนข้างง่าย )
ใช้โครงข่ายประสาทเทียม ด้วยกัน โดยเฉพาะรัฐเป็นแมปไปยังคุณลักษณะ
เวกเตอร์ซึ่งจะใช้เป็นข้อมูลในโครงข่ายประสาทเทียมที่ผลิตคะแนน
ของรัฐ โดยทั่วไปแล้ว เป็นไปได้ว่า ทั้งรัฐ และ คุณลักษณะ
เวกเตอร์ให้เป็นข้อมูลเข้ากับเครือข่ายประสาท .
วิธีง่ายๆที่จะได้รับความซับซ้อนมากขึ้นการประมาณ การแบ่งพื้นที่ออกเป็นส่วนย่อย
รัฐหลายและสร้างการประมาณฟังก์ชัน
ต้นทุนแยกในแต่ละส่วนย่อย .ตัวอย่างเช่นโดยการใช้เส้นหรือพหุนามกำลังสอง
ประมาณในแต่ละส่วนย่อยของพาร์ทิชันหนึ่งสามารถสร้างเป็นช่วง
เส้นหรือเป็นช่วงการกำลังสองเหนือพื้นที่ทั่วประเทศ ที่สำคัญปัญหา
นี่คือทางเลือกของวิธีการแยกรัฐ
พื้นที่ พาร์ทิชันปกติ ( เช่นพาร์ทิชันตาราง ) อาจจะใช้ แต่พวกเขามักจะนำ
เป็นจํานวนมากใช้เวลานาน และจากการคำนวณ . โดยทั่วไป
พูด แต่ละส่วนย่อยของพาร์ทิชันที่ควรประกอบด้วยรัฐ " คล้าย " เพื่อให้รูปแบบของต้นทุนที่เหมาะสมกว่า
สภาพย่อยค่อนข้างเรียบ
และสามารถโดยประมาณด้วยฟังก์ชั่นเรียบ เป็นไปได้ที่น่าสนใจคือ
ใช้คุณลักษณะที่เป็นพื้นฐานสำหรับพาร์ทิชัน . โดยเฉพาะ หนึ่งอาจใช้เพิ่มเติม
หรือน้อยกว่าค่าปกติของพื้นที่ของคุณสมบัติซึ่งทำให้เป็นไปได้
ผิดปกติแบ่งพื้นที่สถานะเดิม วิธีนี้ แต่ละ ส่วนหนึ่งของพาร์ทิชันผิดปกติมีรัฐด้วย

" คุณลักษณะที่คล้ายคลึงกัน .