A simple method could use any standard parameter tuning
method for an appropriate training set of instances in
a given domain, and then to use an appropriate supervised
learning method in order to learn the relationship between
the features and the best parameters. Moreover, learning
and optimizing may be combined, and this is the second
main idea behind LaO.
The idea of using some surrogate model in optimization is
not new. In our case, however, there are several instances
to optimize, and only one model is available, that maps the
feature-space into the parameter-space. Nevertheless, there
is no question about how to use such a model of p in optimization:
one can always ask the model for hints about a
given parameter-set. Of course, if the model were perfectly
t to the training data, it would be useless, since it would return
the same hint as trained. Therefore under-tting when
learning the mapping from feature-space to parameter-space
is benecial during the optimization phase in order to get
new hints.
It seems reasonable that the stopping criterion of LaO is
determined by the stopping criterion of the optimizer algorithm.
After exiting one can also do a re-training of the
learner with the best parameters found. One shall of course
also avoid in this case the other regular threat on learning
algorithms, that is over-tting.
The proposed LaO algorithm is an open framework: one
could use any appropriate learner for the mapping and any
kind of optimizer for parameter tuning. LaO can of course
be generalized to parameter tuning outside of AI planning.
In most cases, where the parameters of an algorithm are
to be tuned, there are instances of application, and in each
of these cases, there is a possibility to improve the tuning
by also learning the relation between some features and the
optimal parameters.
4.2 An Implementation of LaO
A simple multilayer Feed-Forward Articial Neural Network
(ANN) trained with standard backpropagation was chosen
here for the learning of the features-to-parameters mapping,
though any other supervised-learning algorithm could have
been used. The implicit hypothesis is that the relation p is
not very complex, which means that a simple ANN may be
used. In this work, one mapping is trained for each domain.
Training a single domain-independent ANN is left for future
work.
The other decision for the LaO implementation is the choice
of the optimizer used for parameter tuning. As described in
the introduction, one could use for this sake REVAC, SPO,
RACING or ParamILS. Because however, the parameter optimization
will be done successively for several instances,
the simple yet robust (1+1)-Covariance Matrix Adaptation
Evolution Strategy [10], in short (1+1)-CMA-ES, was chosen,
and used with its robust own default parameters, as
advocated in [4]. CMA-ES is a maximum-likelihood based
method estimating the so called natural gradient and improving
eciency this way over the conventional gradientbased
methods.
One original component, though, was added to some direct
approach to parameter tuning: gene-transfer between instances.
There will be one (1+1)-CMA-ES running for each
instance, because using larger population sizes for a single
instance would be far too costly. However, the (1+1)-CMAES
algorithms running on all training instances form a population
of individuals. The idea of gene-transfer is to use
something similar to crossover between the individuals of
this population. Gene-transfer was chosen instead of crossover,
because there is a high chance that a parameter-set
good for one instance is good for the other as it is. Thus
it may be used as a hint in the optimization of that other
instance. Therefore random gene-transfer was used in the
present implementation of LaO, by calling the so-called Gen-
etransferer. When the Genetransferer is requested for a hint
for one instance, it returns the so-far best parameter of
a dierent instance chosen with uniform random distribution
(preventing, of course, that the default parameters are
tried twice). Another benet of the Genetransferer is that
it may smoothen out the ambiguities between instances, by
increasing the probability for instances with the same features
to test the same parameters, and thus the possibility
to nd out that the same parameters are appropriate for
the same features. Figure 1 shows the LAO framework with
the described implementations, and Algorithm 1 shows the
pseudo-code. In this pseudo-code for easier comprehensibility,
we did not include the test of the default parameters, the
case of multiple best parameters and the modication introduced
below for increasing the integrity of CMA-ES are also
not shown
A simple method could use any standard parameter tuningmethod for an appropriate training set of instances ina given domain, and then to use an appropriate supervisedlearning method in order to learn the relationship betweenthe features and the best parameters. Moreover, learningand optimizing may be combined, and this is the secondmain idea behind LaO.The idea of using some surrogate model in optimization isnot new. In our case, however, there are several instancesto optimize, and only one model is available, that maps thefeature-space into the parameter-space. Nevertheless, thereis no question about how to use such a model of p in optimization:one can always ask the model for hints about agiven parameter-set. Of course, if the model were perfectly t to the training data, it would be useless, since it would returnthe same hint as trained. Therefore under- tting whenlearning the mapping from feature-space to parameter-spaceis bene cial during the optimization phase in order to getnew hints.It seems reasonable that the stopping criterion of LaO isdetermined by the stopping criterion of the optimizer algorithm.After exiting one can also do a re-training of thelearner with the best parameters found. One shall of coursealso avoid in this case the other regular threat on learningalgorithms, that is over- tting.The proposed LaO algorithm is an open framework: onecould use any appropriate learner for the mapping and anyชนิดของการเพิ่มประสิทธิภาพในการปรับแต่งพารามิเตอร์ ลาวสามารถแน่นอนสามารถตั้งการค่าทั่วไปการปรับแต่งพารามิเตอร์นอก AI วางแผนในกรณีส่วนใหญ่ การที่มีพารามิเตอร์ของอัลกอริทึมการปรับได้ มีอินสแตนซ์ ของแอพลิเคชัน และ ในแต่ละกรณีดังกล่าว มีความเป็นไปได้ในการปรับปรุงการปรับโดยยัง เรียนรู้ความสัมพันธ์ระหว่างคุณลักษณะบางอย่างและพารามิเตอร์ที่เหมาะสม4.2 การนำไปใช้ของลาวอย่างหลายชั้นอาไปดึงข้อมูลซึ่งกันและกันประสาทเครือข่าย(แอน) การฝึกอบรมมาตรฐาน backpropagation ถูกเลือกที่นี่สำหรับการเรียนรู้ของการแมปคุณสมบัติพารามิเตอร์แม้ว่า อัลกอริธึมแบบมีผู้สอนการเรียนรู้อื่น ๆ ได้การใช้ สมมติฐานนัยคือ p ความสัมพันธ์ไม่ซับซ้อนมาก ซึ่งหมายความ ว่า แอนง่ายอาจใช้ ในงานนี้ คือการฝึกอบรมหนึ่งการแม็ปสำหรับแต่ละโดเมนฝึกอบรมแอนเป็นอิสระโดเมนเดียวที่เหลืออยู่สำหรับอนาคตทำงานตัดสินสำหรับการดำเนินงานของลาวเป็นทางเลือกเพิ่มประสิทธิภาพการใช้สำหรับการปรับแต่งพารามิเตอร์ ตามที่อธิบายไว้ในแนะนำ ที่หนึ่งไม่สามารถใช้สำหรับนี้สาเก REVAC, SPOแข่งหรือ ParamILS เพราะอย่างไรก็ตาม การปรับค่าพารามิเตอร์จะทำติด ๆ กันสำหรับอินสแตนซ์หลายง่าย ๆ ยังแข็งแกร่ง (1 + 1) -ปรับเมตริกซ์ความแปรปรวนร่วมกลยุทธ์เชิงวิวัฒนาการ [10], ในระยะสั้น (1 + 1) - CMA - ES เลือกและใช้เป็นพารามิเตอร์เริ่มต้นของตัวเองที่แข็งแกร่งadvocated ใน [4] CMA ES เป็นคำสูงสุดความเป็นไปได้ตามวิธีการประเมินสิ่งที่เรียกว่าระดับสีธรรมชาติ และปรับปรุงe ciency วิธีนี้ผ่าน gradientbased ปกติวิธีส่วนประกอบต้นฉบับหนึ่ง แม้ว่า ถูกเพิ่มโดยตรงบางวิธีการปรับแต่งพารามิเตอร์: ยีนโอนย้ายระหว่างอินสแตนซ์จะมีหนึ่ง (1 + 1) - CMA - ES ทำงานสำหรับแต่ละอินสแตนซ์ เนื่องจากใช้ประชากรขนาดใหญ่ขนาดเดียวตัวอย่างจะมีราคาแพงเกินไป อย่างไรก็ตาม (1 + 1) -CMAESอัลกอริทึมในการทำงานบนอินสแตนซ์ของการฝึกอบรมทั้งหมดเป็นประชากรของบุคคลนั้น ความคิดของการถ่ายโอนยีนคือการ ใช้บางสิ่งบางอย่างที่คล้ายกับแบบไขว้ระหว่างบุคคลของจำนวนประชากรนี้ เลือกโอนย้ายยีนแทนไขว้เนื่องจากมี มากโอกาสที่ชุดพารามิเตอร์ดีสำหรับอินสแตนซ์ที่หนึ่งเหมาะสำหรับอื่น ๆ ก็ ดังนั้นอาจใช้เป็นคำแนะนำในการเพิ่มประสิทธิภาพของที่อื่นอินสแตนซ์ ดังนั้น ยีนโอนสุ่มถูกใช้ในการงานแสดงของลาว โดยการเรียกเรียกว่า Gen-etransferer เมื่อ Genetransferer ที่มีการร้องขอคำแนะนำสำหรับอินสแตนซ์ที่หนึ่ง จะส่งกลับค่าพารามิเตอร์เพื่อไกลสุดของอินสแตนซ์ของ erent ดีที่เลือกกับกระจายตัวอย่างสม่ำเสมอ(ป้องกัน แน่นอน พารามิเตอร์เริ่มต้นพยายามสอง) อีกที bene ของ Genetransferer ว่ามันอาจ smoothen ออก ambiguities ระหว่างอินสแตนซ์ โดยเพิ่มความเป็นไปได้สำหรับอินสแตนซ์กับคุณลักษณะเดียวกันการทดสอบพารามิเตอร์เดียวกัน จึงเป็นไปได้nd เห็นว่าพารามิเตอร์เดียวกันมีความเหมาะสมคุณสมบัติเดียวกัน รูปที่ 1 แสดงกรอบลาวด้วยthe described implementations, and Algorithm 1 shows thepseudo-code. In this pseudo-code for easier comprehensibility,we did not include the test of the default parameters, thecase of multiple best parameters and the modi cation introducedbelow for increasing the integrity of CMA-ES are alsonot shown
การแปล กรุณารอสักครู่..