Weka’s metalearner CVParameterSelec

Weka’s metalearner CVParameterSelection searches for the best parameter settings
by optimizing cross-validated accuracy on the training data. By default, each
setting is evaluated using tenfold cross-validation. The parameters to optimize are
specified using the CVParameters field in the Generic Object Editor window. For
each parameter, three pieces of information must be supplied: (1) a string that
names it using its letter code (which can be found in the Javadoc for the corresponding
classifier—see Section 14.2, page 525); (2) a numeric range of values
to evaluate; and (3) the number of steps to try in this range (note that the parameter
is assumed to be numeric). Click on the More button in the Generic Object
Editor window for more information and an example.
For the diabetes data used in the previous section, use CVParameterSelection
in conjunction with IBk to select the best value for the neighborhood size, ranging
from 1 to 10 in 10 steps. The letter code for the neighborhood size is K. The
cross-validated accuracy of the parameter-tuned version of IBk is directly comparable
with its accuracy using default settings because tuning is performed by
applying inner cross-validation runs to find the best parameter value for each
training set occurring in the outer cross-validation—and the latter yields the final
performance estimate.
Exercise 17.4.12. What accuracy is obtained in each case? What value is
selected for the parameter-tuned version based on cross-validation on the full
data set? (Note: This value is output in the Classifier Output text area because,
as mentioned earlier, the model that is output is the one built from the full
dataset.)
Now consider parameter tuning for J48. If there is more than one parameter string
in the CVParameters field, CVParameterSelection performs a grid search on the
parameters simultaneously. The letter code for the pruning confidence parameter is
C, and you should evaluate values from 0.1 to 0.5 in five steps. The letter code for
the minimum leaf size parameter is M, and you should evaluate values from 1 to 10
in 10 steps.
Exercise 17.4.13. Run CVParameterSelection to find the best parameter value
setting. Compare the output you get to that obtained from J48 with default
parameters. Has accuracy changed? What about tree size? What parameter
values were selected by CVParameterSelection for the model built from the
full training set?

ผลลัพธ์ (ไทย) 1:

Metalearner ของ weka CVParameterSelection ค้นหาการตั้งค่าพารามิเตอร์ที่ดีที่สุด
โดยระหว่างตรวจสอบความถูกต้องในข้อมูลการฝึกอบรมเพิ่มประสิทธิภาพการ โดยค่าเริ่มต้น แต่ละ
ตั้งค่าจะถูกประเมินโดยใช้ข้าม tenfold ตรวจสอบ พารามิเตอร์การปรับ
ระบุใช้ฟิลด์ CVParameters ในหน้าต่างตัวแก้ไขทั่วไป สำหรับ
แต่ละพารามิเตอร์ สามชิ้นของข้อมูลที่ต้องป้อนค่า: (1) สายที่
ชื่อโดยใช้รหัสของตัวอักษร (ซึ่งสามารถพบได้ใน Javadoc สำหรับตรง
classifier — ดูส่วน 14.2 หน้า 525); (2) ช่วงตัวเลขของค่า
ประเมิน และ (3) หมายเลขขั้นตอนลองในช่วงนี้ (สังเกตว่า พารามิเตอร์
ถือเป็นตัวเลข) คลิกที่ปุ่มเพิ่มเติมในวัตถุทั่วไป
หน้าต่างตัวแก้ไขสำหรับข้อมูลเพิ่มเติมและตัวอย่างการ
ข้อมูลโรคเบาหวานที่ใช้ในส่วนก่อนหน้านี้ ใช้ CVParameterSelection
ร่วมกับ IBk เพื่อเลือกค่าดีที่สุดสำหรับขนาดพื้นที่ใกล้เคียง ตั้งแต่
จาก 1 ถึง 10 ใน 10 ขั้นตอนการ รหัสตัวอักษรสำหรับขนาดพื้นที่ใกล้เคียงเป็นคุณ ใน
ข้ามตรวจสอบความถูกต้องของเวอร์ชันปรับพารามิเตอร์ของ IBk มีเปรียบตรง
ด้วยความถูกต้องการใช้การตั้งค่าเริ่มต้นเนื่องจากปรับดำเนินการโดย
ใช้ทำงานข้ามตรวจสอบภายในเพื่อหาค่าพารามิเตอร์ที่ดีที่สุดสำหรับแต่ละ
ชุดฝึกอบรมที่เกิดขึ้นในการข้ามตรวจสอบภายนอก — และหลังทำให้สุดท้าย
ประเมินประสิทธิภาพการ
17.4.12 ออกกำลังกาย ความว่าได้รับในแต่ละกรณีหรือไม่ ค่าอะไร
สำหรับรุ่นปรับพารามิเตอร์ตามข้ามการตรวจสอบบนเต็ม
ชุดข้อมูล (หมายเหตุ: ค่านี้จะแสดงผลในพื้นที่ข้อความผลลัพธ์ Classifier เพราะ,
กล่าวถึงก่อนหน้านี้ รูปแบบที่จะแสดงผลเป็นหนึ่งที่สร้างขึ้นจากเต็ม
ชุดข้อมูล)
ตอนนี้ พิจารณาปรับแต่งพารามิเตอร์สำหรับ J48 ถ้ามีมากกว่าหนึ่งพารามิเตอร์สตริ
ในฟิลด์ CVParameters, CVParameterSelection ทำการค้นหาตารางในการ
พารามิเตอร์พร้อมกัน รหัสตัวอักษรสำหรับพารามิเตอร์มั่นตัด
C และคุณควรประเมินค่าจาก 0.1 0.5 ใน 5 ขั้นตอน รหัสตัวอักษรสำหรับ
พารามิเตอร์ขนาดใบต่ำสุดคือ M และคุณควรประเมินค่าจาก 1 ถึง 10
ใน 10 ขั้นตอน
17.4.13 ออกกำลังกาย เรียกใช้ CVParameterSelection เพื่อหาค่าพารามิเตอร์ที่ดีที่สุด
ตั้งค่า เปรียบเทียบผลลัพธ์ที่คุณได้รับที่ได้รับจาก J48 ด้วยค่าเริ่มต้น
พารามิเตอร์ มีความเปลี่ยนแปลงหรือไม่ ขนาดต้นไม้อะไรบ้าง พารามิเตอร์ใด
ค่าถูกเลือก โดย CVParameterSelection สำหรับแบบจำลองที่สร้างขึ้นจากการ
ชุดฝึกเต็มรูปแบบ

ผลลัพธ์ (ไทย) 3:

เวก้าเป็น metalearner cvparameterselection ค้นหาการตั้งค่าพารามิเตอร์ที่ดีที่สุดโดยการตรวจสอบความถูกต้อง
ข้ามข้อมูลที่สอน โดยค่าเริ่มต้น การตั้งค่าจะถูกประเมินโดยใช้ tenfold แต่ละ
ข้ามการตรวจสอบ พารามิเตอร์การปรับเป็นสนามที่ใช้ cvparameters
ระบุในทั่วไปตัวแก้ไขวัตถุหน้าต่าง สำหรับ
แต่ละตัวแปรสามชิ้นส่วนของข้อมูลที่ต้องมา :( 1 ) สายที่ใช้รหัสตัวอักษร
ชื่อของมัน ( ซึ่งสามารถพบได้ในเอกสารจาวา ( Javadoc ) Language สำหรับสอดคล้องกัน
ลักษณนามดูมาตรา 14.2 , หน้า 525 ) ; ( 2 ) ช่วงตัวเลขของค่า
เพื่อประเมิน และ ( 3 ) จำนวนของขั้นตอนที่จะพยายามในช่วงนี้ ( หมายเหตุว่า พารามิเตอร์
จะถือว่ามีตัวเลข ) คลิกที่ปุ่มเพิ่มในทั่วไปวัตถุ
หน้าต่างแก้ไขสำหรับข้อมูลเพิ่มเติมและตัวอย่าง .
สำหรับเบาหวาน ข้อมูลที่ใช้ในส่วนก่อนหน้า ใช้ cvparameterselection
ร่วมกับ ibk เพื่อเลือกค่าที่ดีที่สุดสำหรับเพื่อนบ้านขนาดตั้งแต่
จาก 1 ถึง 10 ใน 10 ขั้นตอน รหัสหนังสือสำหรับเพื่อนบ้านขนาด K .
ข้ามการตรวจสอบความถูกต้องของค่าพารามิเตอร์ที่ปรับรุ่นของ ibk เปรียบโดยตรง
กับความถูกต้องโดยใช้การตั้งค่าเริ่มต้น เพราะจูนเป็น
โดยการตรวจสอบภายในข้ามวิ่งที่ดีที่สุดในการหาค่าพารามิเตอร์สำหรับแต่ละ
ชุดฝึก ที่เกิดขึ้นในการตรวจสอบข้ามนอกและหลังผลผลิตการประเมินประสิทธิภาพสุดท้าย
.
ออกกำลังกาย 17.4.12 . สิ่งที่ถูกต้องจะได้รับในแต่ละกรณี ค่าอะไร
เลือกพารามิเตอร์ปรับรุ่นตามข้ามการตรวจสอบกับเต็ม
ชุดข้อมูล ? ( หมายเหตุ :ค่านี้จะถูกส่งออกในตัวผลผลิตพื้นที่ข้อความเพราะ
ตามที่กล่าวถึงก่อนหน้านี้ แบบที่เป็น output เป็นหนึ่งสร้างขึ้นจากข้อมูลเต็ม
)
ตอนนี้พิจารณาการปรับค่าพารามิเตอร์สำหรับ j48 . หากมีมากกว่าหนึ่งพารามิเตอร์สตริง
ในฟิลด์ cvparameters , cvparameterselection แสดงตารางค้นหาบน
พารามิเตอร์พร้อมกัน รหัสหนังสือสำหรับการตัดแต่งกิ่ง ความมั่นใจ เป็นค่า
Cและคุณควรประเมินจากค่า 0.1 0.5 ในห้าขั้นตอน รหัสตัวอักษร
ขั้นต่ำขนาดใบเป็นค่า m และคุณควรประเมินค่าจาก 1 ถึง 10

10 ขั้นตอนการออกกำลังกาย 17.4.13 . วิ่ง cvparameterselection เพื่อค้นหาที่ดีที่สุดการตั้งค่าพารามิเตอร์ค่า
. เปรียบเทียบผลผลิต คุณจะได้รับที่ได้รับจาก j48 กับพารามิเตอร์ค่า

มีความแม่นยำที่เปลี่ยนไป แล้วเรื่องขนาดของต้นไม้สิ่งที่พารามิเตอร์
ค่าจำนวน cvparameterselection สำหรับแบบจำลองที่สร้างขึ้นจาก
ชุดฝึก ชุดเต็ม