F. Model performance Figure 5 shows

F. Model performance

Figure 5 shows the decision tree model built from our oracle. The root node of the tree is ChangeTrigger 1 (i.e. changes within one line distance to a comment-highlighted line).

Comment status is the second most important attribute for the classification. These two most important signals were evident to us during the first stage of this study (Section IV-B), and our model provides confirmation. The other useful attributes for the model are number of comments, iteration number, and sentiment group.

Based on one hundred 10-fold cross-validations of the decision tree model, our model had a mean precision of 89.1%, mean recall of 85.1%, and mean classification error of 16.6%. Finally, the review participants that we contacted rated 97 out of the 125 comments as Useful. Our model classified 105 of those review comments as ‘Useful’, of which 91 were correct. In this step, our model had 86.7% precision, and 93.8% recall.

ผลลัพธ์ (ไทย) 1:

รุ่นเอฟประสิทธิภาพ รูปที่ 5 แสดงแบบจำลองต้นไม้ตัดสินใจสร้างจาก oracle ของเรา โหนดรากของทรีคือ ChangeTrigger 1 (เช่นการเปลี่ยนแปลงภายในหนึ่งบรรทัดจากบรรทัดข้อคิดเห็นเน้น) ความคิดเห็นสถานะเป็นคุณลักษณะสำคัญที่สองสำหรับ classification สัญญาณสำคัญสองเหล่านี้ได้ชัดเจนต่อเราในระหว่างขั้นตอน first การศึกษานี้ (ส่วน IV-B), และแบบจำลองของเรา confirmation ประโยชน์คุณลักษณะอื่น ๆ สำหรับรุ่นมีจำนวนความคิดเห็น จำนวนการเกิดซ้ำ และกลุ่มความเชื่อมั่น ตามร้อยตรวจสอบข้าม 10-fold ของตัดสินใจต้นแบบ รุ่นของเรามีความแม่นยำเฉลี่ย 89.1% เรียกคืนหมายถึง 85.1% และข้อผิดพลาด classification หมายถึง 16.6% สุดท้าย ร่วมทบทวนที่เราติดต่อได้คะแนน 97 ออกความคิดเห็นที่ 125 เป็นประโยชน์ ของเรา classified รุ่น 105 ผู้ทบทวนข้อคิดเห็นเป็น 'สิ่งที่มีประโยชน์" ที่ 91 ถูกต้อง ในขั้นตอนนี้ รุ่นของเรามีความแม่นยำ 86.7% และเรียกคืน 93.8%

ผลลัพธ์ (ไทย) 2:

ผลการดำเนินงานเอฟรุ่นรูปที่ 5 แสดงให้เห็นถึงรูปแบบต้นไม้ตัดสินใจที่สร้างขึ้นจากการพยากรณ์ของเรา โหนดรากของต้นไม้เป็น ChangeTrigger 1 (การเปลี่ยนแปลงกล่าวคืออยู่ในระยะที่หนึ่งบรรทัดกับสายคิดเห็น-เน้น). สถานะแสดงความคิดเห็นเป็นคุณลักษณะที่สำคัญที่สุดที่สองสำหรับไอออนจัดประเภท ทั้งสองสัญญาณที่สำคัญที่สุดที่ชัดเจนกับเราในช่วงสายขั้นตอนแรกของการศึกษานี้ (มาตรา IV-B) และรูปแบบของเราให้นักโทษสาย rmation คุณลักษณะที่มีประโยชน์อื่น ๆ สำหรับรูปแบบที่มีจำนวนของความคิดเห็นจำนวนซ้ำและกลุ่มความเชื่อมั่น. จากหนึ่งร้อย 10 เท่าการตรวจสอบข้ามของการตัดสินใจรูปแบบต้นไม้รูปแบบของเรามีความแม่นยำเฉลี่ย 89.1% หมายถึงการเรียกคืนของ 85.1% และหมายถึงข้อผิดพลาดไอออนจัดประเภท 16.6% สุดท้ายผู้เข้าร่วมการตรวจสอบว่าเราติดต่อจัดอันดับ 97 จาก 125 ความคิดเห็นเป็นประโยชน์ จัดประเภทรูปแบบของเรา ed 105 ของผู้ที่แสดงความคิดเห็นการทบทวนเป็น 'ประโยชน์' ที่ 91 มีความถูกต้อง ในขั้นตอนนี้รูปแบบของเรามีความแม่นยำ 86.7% และ 93.8% การเรียกคืน

ผลลัพธ์ (ไทย) 3:

F . รูปแบบการแสดง

รูปที่ 5 แสดงต้นไม้การตัดสินใจแบบจำลองที่สร้างขึ้นจาก Oracle ปมรากของต้นไม้ changetrigger 1 ( เช่นการเปลี่ยนแปลงในหนึ่งบรรทัดห่างความคิดเห็นเน้นบรรทัด )

ความเห็นสถานะที่สองที่สำคัญที่สุดคุณลักษณะสำหรับการถ่ายทอด classi . ทั้งสองที่สำคัญที่สุดสัญญาณได้ชัดเจน เราจึงตัดสินใจเดินทางไปในขั้นตอนของการศึกษานี้ ( มาตรา IV - B )และรูปแบบของเรามีคอนจึง rmation . คุณสมบัติที่มีประโยชน์อื่น ๆแบบมีจำนวนของความคิดเห็นซ้ำหมายเลข และความเชื่อมั่นของกลุ่ม

ตามร้อย 10 พับข้าม validations ของการตัดสินใจต้นไม้โมเดลของเรามีหมายถึงความแม่นยำร้อยละ 89.1 หมายถึงการระลึกขวาง % และหมายถึงการ classi จึงเกิด 17.4 % ในที่สุดการตรวจสอบผู้ที่เราติดต่ออยู่ 97 จาก 125 ความคิดเห็นที่เป็นประโยชน์ จึง classi แบบเอ็ด 105 ของผู้ทบทวนความคิดเห็นเป็น ' ประโยชน์ ' ซึ่งไม่ ถูกต้อง ในขั้นตอนนี้ นางแบบของเรามี 86.7 % ความแม่นยำและ 93.8 % การเรียกคืน