Model Evaluation and Selection Now

Model Evaluation and Selection Now that you may have built a classification model, there may be many questions going through your mind. For example, suppose you used data from previous sales to build a classifier to predict customer purchasing behavior. You would like an estimate of how accurately the classifier can predict the purchasing behavior of future customers, that is, future customer data on which the classifier has not been trained. You may even have tried different methods to build more than one classifier and now wish to compare their accuracy. But what is accuracy? How can we estimate it? Are some measures of a classifier’s accuracy more appropriate than others? How can we obtain a reliable accuracy estimate? These questions are addressed in this section.

Section 8.5.1 describes various evaluation metrics for the predictive accuracy of a classifier. Holdout and random subsampling (Section 8.5.2), cross-validation (Section 8.5.3), and bootstrap methods (Section 8.5.4) are common techniques for assessing accuracy, based on randomly sampled partitions of the given data. What if we have more than one classifier and want to choose the “best” one? This is referred to as model selection (i.e., choosing one classifier over another). The last two sections address this issue. Section 8.5.5 discusses how to use tests of statistical significance to assess whether the difference in accuracy between two classifiers is due to chance. Section 8.5.6 presents how to compare classifiers based on cost–benefit and receiver operating characteristic (ROC) curves.

ผลลัพธ์ (ไทย) 1:

แบบประเมินและการเลือกตอนที่คุณอาจสร้างแบบ classification อาจมีคำถามมากมายที่ผ่านใจของคุณ เช่น สมมติว่า คุณใช้ข้อมูลจากการก่อนหน้านี้เพื่อสร้าง classifier การทำนายพฤติกรรมการซื้อของลูกค้า คุณต้องการประเมินวิธี classifier สามารถทำนายพฤติกรรมของลูกค้าในอนาคต ซื้อที่ ข้อมูลลูกค้าในอนาคตซึ่ง classifier มีไม่รับการฝึกอบรม แม้คุณอาจได้ลองวิธีอื่นในการสร้างมากกว่าหนึ่ง classifier และตอนนี้ ต้องการเปรียบเทียบความถูกต้องของ แต่ความถูกต้องคืออะไร วิธีที่เราสามารถประมาณได้ มาตรการบางอย่างของ classifier ถูกต้องเหมาะสมกว่าผู้อื่นบ้าง เราได้ประเมินความถูกต้องเชื่อถือได้หรือไม่ คำถามเหล่านี้จะได้รับการแก้ไขในส่วนนี้ ส่วน 8.5.1 อธิบายต่าง ๆ ประเมินวัดความแม่นยำทำนายของ classifier Holdout สุ่ม subsampling (ส่วน 8.5.2), ตรวจ สอบข้าม (ส่วน 8.5.3), และวิธีการเริ่มต้นระบบ (ส่วน 8.5.4) เป็นเทคนิคทั่วไปสำหรับการประเมินความแม่นยำ ใช้บนพาร์ติชันโดยการสุ่มตัวอย่างของข้อมูลที่กำหนด ถ้าเรามี classifier หนึ่ง และต้องเลือก "สุด" นี้จะเรียกว่าเป็นการเลือกรูปแบบ (เช่น เลือกหนึ่ง classifier กว่าอีก) ส่วนสองแก้ปัญหานี้ ส่วน 8.5.5 กล่าวถึงวิธีการใช้การทดสอบของ significance ทางสถิติเพื่อประเมินว่ามีความแตกต่างในความถูกต้องระหว่างสอง classifiers เนื่องจากโอกาส ส่วน 8.5.6 แสดงวิธีการเปรียบเทียบ classifiers อิงต้นทุน – ประโยชน์และตัวรับ (ROC) กราฟแสดงลักษณะการทำงาน

ผลลัพธ์ (ไทย) 2:

รูปแบบการประเมินและการคัดเลือกตอนนี้คุณอาจได้สร้างรูปแบบการจัดประเภท Fi ไอออนบวกอาจจะมีคำถามมากมายที่จะผ่านความคิดของคุณ ตัวอย่างเช่นสมมติว่าคุณใช้ข้อมูลที่ได้จากการขายก่อนหน้านี้ที่จะสร้าง ER จัดประเภทในการทำนายพฤติกรรมการซื้อของลูกค้า คุณต้องการการประมาณการของวิธีการที่ถูกต้อง ER จัดประเภทสามารถทำนายพฤติกรรมการซื้อของลูกค้าในอนาคตที่เป็นข้อมูลของลูกค้าในอนาคตที่ ER จัดประเภท Fi ยังไม่ได้รับการฝึกอบรม คุณอาจจะยังมีความพยายามที่วิธีการต่าง ๆ ที่จะสร้างมากกว่าหนึ่งจัดประเภท Fi ER และตอนนี้ต้องการที่จะเปรียบเทียบความถูกต้องของพวกเขา แต่สิ่งที่เป็นความถูกต้อง? วิธีการที่เราสามารถที่จะประเมินได้หรือไม่ มาตรการของความถูกต้องจำแนก Fi ER บางคนที่เหมาะสมมากขึ้นกว่าคนอื่น ๆ ? วิธีการที่เราสามารถได้รับการประเมินความถูกต้องน่าเชื่อถือ? คำถามเหล่านี้ได้รับการแก้ไขในส่วนนี้. มาตรา 8.5.1 อธิบายตัวชี้วัดการประเมินผลที่หลากหลายสำหรับการทำนายความถูกต้องของ ER จัดประเภท ยอมอ่อนข้อและ subsampling สุ่ม (มาตรา 8.5.2) ข้ามการตรวจสอบ (มาตรา 8.5.3) และวิธีการบูต (มาตรา 8.5.4) เป็นเทคนิคที่พบบ่อยสำหรับการประเมินความถูกต้องอยู่บนพื้นฐานของพาร์ทิชันสุ่มของข้อมูลที่ได้รับ ถ้าเรามีมากกว่าหนึ่งจัดประเภท Fi ER และต้องการที่จะเลือก "ดีที่สุด" หรือไม่? นี้จะเรียกว่าการคัดเลือกตัวแบบ (เช่นเลือกหนึ่งจัดประเภท ER Fi มากกว่าอีก) สุดท้ายทั้งสองส่วนแก้ไขปัญหานี้ มาตรา 8.5.5 อธิบายถึงวิธีการใช้การทดสอบทางสถิตินัยนัยสำคัญ Fi เพื่อประเมินว่าความแตกต่างในความถูกต้องระหว่างสอง ERS จัดประเภทเป็นเพราะโอกาส มาตรา 8.5.6 นำเสนอวิธีการเปรียบเทียบ ERS จัดประเภทขึ้นอยู่กับค่าใช้จ่ายที่ Bene Fi T และรับปฏิบัติการลักษณะ (ROC) เส้นโค้ง

ผลลัพธ์ (ไทย) 3:

รูปแบบการประเมินและการเลือกตอนนี้คุณอาจได้สร้างรูปแบบการ classi จึงอาจมีคำถามมากมายเข้ามาในหัวของคุณ ตัวอย่างเช่น สมมติว่าคุณใช้ข้อมูลจากการขายก่อนหน้านี้เพื่อสร้าง classi จึงเอ้อเพื่อทำนายพฤติกรรมการซื้อของลูกค้า . คุณต้องการประมาณการของวิธีการที่ถูกต้อง classi จึงเอ้อสามารถทำนายพฤติกรรมการซื้อของลูกค้าในอนาคต นั่นคือ อนาคตของข้อมูลลูกค้าที่ classi จึงเอ้อยังไม่ได้ฝึก คุณอาจจะลองวิธีที่แตกต่างเพื่อสร้างมากกว่าหนึ่ง classi จึงเอ่อและตอนนี้ต้องการที่จะเปรียบเทียบความถูกต้องของพวกเขา แต่อะไรคือความถูกต้อง วิธีที่เราสามารถประเมิน ? มีบางมาตรการของ classi จึงเอ้อ ความถูกต้องเหมาะสมมากขึ้นกว่าคนอื่น ๆ ? วิธีที่เราสามารถได้รับการประเมินความถูกต้องเชื่อถือได้ ? คำถามเหล่านี้จะอยู่ในส่วนนี้ส่วน 8.5.1 อธิบายวัดประเมินผลต่าง ๆเพื่อความถูกต้องในการทำนายของ classi จึงเอ้อ ไม่ยอมอ่อนข้อ และสุ่มค่า ( ส่วน 8.5.2 ) ข้ามการตรวจสอบ ( มาตรา 8.5.3 ) และวิธีบูตสแตรป ( มาตรา 8.5.4 ) เป็นเทคนิคทั่วไปสำหรับการประเมินความถูกต้องบนพื้นฐานของการสุ่มแบบพาร์ติชันของข้อมูลที่ได้รับ ถ้าเรามีมากกว่า 1 classi จึงเอ้อและต้องการเลือก " ดีที่สุด " ครับ นี้จะเรียกว่าการเลือกรูปแบบ ( เช่นการเลือกหนึ่ง classi จึงเป็นมากกว่าอีก ) สุดท้ายสองส่วนที่อยู่ปัญหานี้ ส่วน 8.5.5 กล่าวถึงวิธีการใช้การทดสอบทางสถิติ signi จึงแคนส์เพื่อประเมินว่า ความแตกต่างระหว่างสองคือ ความถูกต้องจึง classi ERS เนื่องจากโอกาส ส่วน 8.5.6 เสนอวิธีการเปรียบเทียบ classi ERS จึงขึ้นอยู่กับต้นทุน–ดีจึงไม่ได้รับการปฏิบัติและลักษณะ ( ROC ) เส้นโค้ง