ABSTRACT In software development, b

ABSTRACT
In software development, bug reports provide crucial information to developers. However,these reports widely differ in their quality. We conducted a survey among developers and users of APACHE, ECLIPSE, and MOZILLA to find out what makes a good bug report. The analysis of the 466 responses revealed an information mismatch between what developers need and what users supply. Most developers consider steps to reproduce, stack traces, and test cases as helpful, which are at the same time most difficult to provide for users. Such insight is helpful to design new bug tracking tools that guide users at collecting and providing more helpful information. Our CUEZILLA prototype is such a tool and measures the quality of new bug reports; it also recommends which elements should be added to improve the quality. We trained CUEZILLA on a sample of 289 bug reports,rated by developers as part of the survey. In our experiments, CUEZILLA was able to predict the quality of 31–48% of bug reports accurately.
INTRODUCTION
Bug reports are vital for any software development. They allow users to inform developers of the problems encountered while using a software. Bug reports typically contain a detailed description of a failure and occasionally hint at the location of the fault in the code (in form of patches or stack traces). However, bug reports vary in their quality of content; they often provide inadequate or incorrect information. Thus, developers sometimes have to face bugs with descriptions such as “Sem Web” (APACHE bug COCOON-1254), “wqqwqw” (ECLIPSE bug #145133), or just “GUI” with comment “The page is too clumsy” (MOZILLA bug #109242). It is no surprise that developers are slowed down by poorly written bug reports
because identifying the problem from such reports takes more time.In this paper, we investigate the quality of bug reports from the perspective of developers. We expected several factors to impact the quality of bug reports such as the length of descriptions, formatting, and presence of stack traces and attachments (such as screenshots). To find out which matter most, we asked 872 developers from the APACHE, ECLIPSE, and MOZILLA projects to:
1. Complete a survey on important information in bug reports and the problems they faced with them. We received a total of 156 responses to our survey (Section 2 and 3).
2. Rate the quality of bug reports from very poor to very good onafive-point Likert scale[22]. We received a total of 1,186 votes for 289 randomly selected bug reports (Section 4).
In addition, we asked 1,354 reporters1 from the same projects to complete a similar survey,out of which 310 responded. The results of both surveys suggest that there is a mismatch between what developers consider most helpful and what users provide. To enable swift fixing of bugs, this mismatch should be bridged, for example with tool support for reporters to furnish information that developers want. We developed a prototype tool called CUEZILLA (seeFigure1),which gauges the quality of bug reports and suggests to reporters what should be added to make a bug report better.
1. CUEZILLA measures the quality of bug reports. We trained and evaluated CUEZILLA on the 289 bug reports rated by the developers (Section 5).
2. CUEZILLA provides incentives to reporters. We automatically mined the bug databases for encouraging facts such as “Bug reports with stack traces are fixed sooner” (Section 6).

ผลลัพธ์ (ไทย) 1:

บทคัดย่อ ในการพัฒนาซอฟต์แวร์ รายงานข้อผิดพลาดให้ข้อมูลสำคัญแก่นักพัฒนา อย่างไรก็ตาม รายงานเหล่านี้อย่างกว้างขวางแตกต่างกันในคุณภาพของพวกเขา เราได้ทำการสำรวจในหมู่นักพัฒนาและผู้ใช้ APACHE, ECLIPSE และ MOZILLA ออกสิ่งที่ทำให้รายงานข้อผิดพลาดที่ดีกับ การวิเคราะห์การตอบสนองที่ 466 เปิดเผยเป็นข้อมูลไม่ตรงกันระหว่างสิ่งที่ต้องพัฒนาและจัดหาของผู้ใช้ นักพัฒนาส่วนใหญ่พิจารณาขั้นตอนการทำซ้ำ กองร่องรอย และกรณีทดสอบเป็น ซึ่งเป็นเวลาเดียวกัน difficult มากที่สุดเพื่อให้ผู้ ความเข้าใจดังกล่าวเป็นประโยชน์ในการออกแบบบกพร่องใหม่ติดตามเครื่องมือที่แนะนำผู้ใช้ที่เก็บรวบรวม และให้ข้อมูลที่เป็นประโยชน์มากขึ้น ต้นแบบ CUEZILLA ของเราเป็นเครื่องมือ และวัดคุณภาพของรายงานข้อผิดพลาดใหม่ มันยังแนะนำควรเพิ่มองค์ประกอบที่ปรับปรุงคุณภาพ เราสามารถฝึก CUEZILLA ในตัวอย่างของรายงานข้อผิดพลาด 289 คะแนน โดยพัฒนาเป็นส่วนหนึ่งของการสำรวจ ในการทดลองของเรา CUEZILLA ก็สามารถทำนายคุณภาพ 31 – 48% ของรายงานข้อบกพร่องได้อย่างถูกต้องแนะนำ รายงานข้อผิดพลาดสำคัญสำหรับการพัฒนาซอฟต์แวร์ใด ๆ พวกเขาอนุญาตให้แจ้งปัญหาที่พบในขณะใช้ซอฟต์แวร์ของผู้ใช้ รายงานข้อผิดพลาดโดยทั่วไปประกอบด้วยคำอธิบายโดยละเอียดของความล้มเหลว และบางครั้งเดาตำแหน่งของความผิดพลาดในรหัส (ในรูปของซอฟต์แวร์หรือสแตก) อย่างไรก็ตาม รายงานข้อบกพร่องแตกต่างกันในคุณภาพของเนื้อหา พวกเขามักจะให้ข้อมูลไม่เพียงพอ หรือไม่ถูกต้อง ดังนั้น นักพัฒนาบางครั้งต้องเผชิญกับโรคจิตกับคำอธิบายเช่น "Sem เว็บ" (APACHE บักคูน-1254), "wqqwqw" (ECLIPSE bug #145133), หรือเพียงแค่ "GUI" พร้อมแสดงความคิดเห็น "หน้าคือซุ่มซ่ามเกินไป" (MOZILLA bug #109242) จึงไม่แปลกใจที่นักพัฒนาจะชะลอตัวลง โดยประกาศเขียนไม่ดีเพราะการระบุปัญหาจากรายงานดังกล่าว ใช้เวลาเพิ่มเติม ในกระดาษนี้ เราตรวจสอบคุณภาพของรายงานข้อผิดพลาดจากมุมมองของนักพัฒนา เราคาดว่าปัจจัยต่าง ๆ ที่ส่งผลกระทบต่อคุณภาพของรายงานข้อผิดพลาดเช่นความยาวของคำอธิบาย รูปแบบ และสถานะการออนไลน์ของสแตกและสิ่งที่แนบ (เช่นหน้าจอ) ออกเรื่องใดมากที่สุด เราถาม 872 นักพัฒนาจากโครงการ APACHE, ECLIPSE และ MOZILLA เพื่อ: 1. กรอกแบบสำรวจข้อมูลสำคัญในรายงานข้อผิดพลาดและปัญหาที่พวกเขาเผชิญหน้ากับพวกเขา เรารับทั้งหมด 156 คำตอบแบบสำรวจของเรา (ส่วนที่ 2 และ 3) 2. ประเมินคุณภาพของรายงานจุดบกพร่องจากแย่มากขนาด Likert onafive จุดดีมาก [22] เรารับทั้งหมด 1,186 คะแนนสำหรับรายงานข้อผิดพลาดแบบสุ่ม 289 (4 ส่วน) นอกจากนี้ เราถาม 1,354 reporters1 จากโครงการเดียวกันเพื่อทำการสำรวจที่คล้ายกัน จากที่ 310 ตอบ ผลการสำรวจทั้งสองแนะนำว่า มีตรงกันระหว่างนักพัฒนาอะไรพิจารณาประโยชน์มากที่สุด และสิ่งที่ผู้ใช้ให้ การเปิดใช้งาน fixing อย่างรวดเร็วของข้อบกพร่อง ไม่ตรงกันนี้ควรจะระหว่างกาล เช่น ด้วยการสนับสนุนเครื่องมือสำหรับผู้สื่อข่าวในการจัดเตรียมข้อมูลที่นักพัฒนาต้อง เราพัฒนาเครื่องมือต้นแบบที่เรียกว่า CUEZILLA (seeFigure1), ซึ่ง gauges คุณภาพของรายงานข้อบกพร่อง และแนะนำให้ผู้สื่อข่าวอะไรควรจะเพิ่มให้รายงานข้อผิดพลาดดีกว่า 1. CUEZILLA วัดคุณภาพของรายงานข้อผิดพลาด เราผ่านการฝึกอบรม และประเมินผล CUEZILLA การรายงานจุดบกพร่อง 289 คะแนน โดยนักพัฒนา (ส่วนที่ 5) 2. CUEZILLA ให้แรงจูงใจให้ผู้สื่อข่าว เราขุดโดยอัตโนมัติฐานข้อมูลข้อผิดพลาดสำหรับกระตุ้นให้ข้อเท็จจริงเช่น"รายงานข้อผิดพลาดกับสแตก fixed เร็ว" (มาตรา 6)

ผลลัพธ์ (ไทย) 2:

บทคัดย่อ
ในการพัฒนาซอฟต์แวร์รายงานข้อผิดพลาดให้ข้อมูลที่สำคัญต่อการพัฒนา อย่างไรก็ตามรายงานเหล่านี้กันอย่างแพร่หลายแตกต่างในคุณภาพของพวกเขา เราได้ทำการสำรวจในหมู่นักพัฒนาและผู้ใช้ APACHE คราสและ Mozilla เพื่อ fi nd สิ่งที่ทำให้เกิดข้อผิดพลาดที่ดี การวิเคราะห์การตอบสนองที่ 466 เปิดเผยข้อมูลที่ไม่ตรงกันระหว่างอุปสงค์สิ่งที่นักพัฒนาต้องการและสิ่งที่ผู้ใช้ นักพัฒนาส่วนใหญ่พิจารณาขั้นตอนในการทำซ้ำร่องรอยสแต็คและกรณีทดสอบที่เป็นประโยชน์ซึ่งเป็นในเวลาเดียวกันยากที่มากที่สุดในการให้บริการสำหรับผู้ใช้ ความเข้าใจดังกล่าวจะเป็นประโยชน์ในการออกแบบเครื่องมือการติดตามปัญหาใหม่ที่แนะนำผู้ใช้ในการจัดเก็บภาษีและการให้ข้อมูลที่เป็นประโยชน์มากขึ้น ต้นแบบ CUEZILLA ของเราเป็นเช่นเครื่องมือและมาตรการที่มีคุณภาพของรายงานข้อผิดพลาดใหม่; นอกจากนี้ยังแนะนำว่าองค์ประกอบควรจะเพิ่มในการปรับปรุงคุณภาพ เราได้รับการฝึกฝน CUEZILLA ตัวอย่างของการรายงานข้อผิดพลาด 289 การจัดอันดับโดยนักพัฒนาเป็นส่วนหนึ่งของการสำรวจ ในการทดลองของเรา CUEZILLA ก็สามารถที่จะทำนายคุณภาพของ 31-48% ของการรายงานข้อผิดพลาดได้อย่างถูกต้อง.
บทนำ
รายงานข้อผิดพลาดที่มีความสำคัญสำหรับการพัฒนาซอฟต์แวร์ใด ๆ พวกเขาช่วยให้ผู้ใช้ที่จะแจ้งให้นักพัฒนาของปัญหาที่พบในขณะที่ใช้ซอฟแวร์ รายงานข้อผิดพลาดมักจะมีคำอธิบายรายละเอียดของความล้มเหลวและบางครั้งแบะท่าสถานที่ตั้งของความผิดในรหัส (ในรูปแบบของแพทช์หรือสแต็คร่องรอย) อย่างไรก็ตามรายงานข้อผิดพลาดความแตกต่างในคุณภาพของเนื้อหา; พวกเขามักจะให้ข้อมูลไม่เพียงพอหรือไม่ถูกต้อง ดังนั้นนักพัฒนาบางครั้งต้องเผชิญกับข้อบกพร่องที่มีรายละเอียดเช่น "เสเว็บ" (APACHE ข้อผิดพลาดรัง 1254), "wqqwqw" (คราสข้อผิดพลาด # 145133) หรือเพียงแค่ "GUI" กับความคิดเห็นหน้า "เป็นเงอะงะเกินไป" (มอซิลลา ข้อผิดพลาด # 109242) มันไม่ใช่เรื่องแปลกที่นักพัฒนาจะชะลอตัวลงโดยการรายงานข้อผิดพลาดที่เขียนไม่ดีไม่มี
เพราะการระบุปัญหาที่เกิดขึ้นจากรายงานดังกล่าวใช้เวลามากขึ้น time.In บทความนี้เราจะตรวจสอบคุณภาพของการรายงานข้อผิดพลาดจากมุมมองของนักพัฒนา เราคาดว่าปัจจัยหลายประการที่ส่งผลกระทบต่อคุณภาพของการรายงานข้อผิดพลาดดังกล่าวเป็นความยาวของรายละเอียดการจัดรูปแบบและการปรากฏตัวของกอง traces และสิ่งที่แนบ (เช่นภาพหน้าจอ) ไปยัง FI nd ออกที่สำคัญที่สุดที่เราถาม 872 นักพัฒนาจากโครงการ APACHE คราสและ Mozilla ที่:
1 เสร็จสิ้นการสำรวจข้อมูลที่สำคัญในการรายงานข้อผิดพลาดและปัญหาที่พวกเขาต้องเผชิญกับพวกเขา เราได้รับทั้งหมด 156 คำตอบการสำรวจของเรา (มาตรา 2 และ 3).
2 Likert โยประเมินคุณภาพของการรายงานข้อผิดพลาดจากที่น่าสงสารมากที่จะ Fi Ona ดีมากได้จุด [22] เราได้รับรวม 1,186 คะแนนสำหรับการรายงานข้อผิดพลาดการสุ่มเลือก 289 (มาตรา 4).
นอกจากนี้เราขอ 1,354 reporters1 จากโครงการเดียวกันเพื่อความสมบูรณ์ของการสำรวจที่คล้ายกันออกจากที่ 310 ตอบ ผลที่ได้จากทั้งการสำรวจชี้ให้เห็นว่ามีความไม่ตรงกันระหว่างพิจารณาสิ่งที่นักพัฒนาที่เป็นประโยชน์มากที่สุดและสิ่งที่ผู้ใช้ให้ ต้องการเปิดใช้งาน Xing Fi รวดเร็วของข้อบกพร่องที่ไม่ตรงกันนี้ควรจะ bridged เช่นด้วยการสนับสนุนเครื่องมือสำหรับผู้สื่อข่าวเพื่อให้ข้อมูลที่นักพัฒนาต้องการ เราได้พัฒนาเครื่องมือต้นแบบที่เรียกว่า CUEZILLA (seeFigure1) ซึ่งมาตรวัดคุณภาพของการรายงานข้อผิดพลาดและแสดงให้เห็นกับผู้สื่อข่าวสิ่งที่ควรจะเพิ่มเพื่อให้รายงานข้อผิดพลาดที่ดีขึ้น.
1 CUEZILLA มาตรการที่มีคุณภาพของรายงานข้อผิดพลาด เราผ่านการฝึกอบรมและประเมินผล CUEZILLA ในการรายงานข้อผิดพลาด 289 จัดอันดับโดยนักพัฒนา (มาตรา 5).
2 CUEZILLA ให้แรงจูงใจกับผู้สื่อข่าว เราขุดฐานข้อมูลข้อผิดพลาดในการส่งเสริมให้ข้อเท็จจริงเช่น "รายงานข้อผิดพลาดมีร่องรอยสแต็คจะคง Fi เร็ว" โดยอัตโนมัติ (มาตรา 6)

ผลลัพธ์ (ไทย) 3:

บทคัดย่อในการพัฒนาซอฟต์แวร์ การรายงานข้อผิดพลาดให้ข้อมูลสำคัญกับนักพัฒนา อย่างไรก็ตาม รายงานเหล่านี้อย่างกว้างขวางแตกต่างในคุณภาพของพวกเขา เราได้ทำการสำรวจระหว่างนักพัฒนาและผู้ใช้ของ Apache , Eclipse , และ Mozilla เพื่อถ่ายทอดและสิ่งที่ทำให้รายงานข้อผิดพลาดที่ดี การวิเคราะห์การตอบสนองกลับพบข้อมูลที่ไม่ตรงกันระหว่างสิ่งที่นักพัฒนาต้องการ และสิ่งที่ผู้ใช้ใส่ นักพัฒนาส่วนใหญ่พิจารณาขั้นตอนการทำซ้ำ ร่องรอยแตกและกรณีทดสอบเป็นประโยชน์ ซึ่งในเวลาเดียวกันมากที่สุดจึงแยกศาสนาเพื่อให้ผู้ใช้ เช่นข้อมูลเชิงลึกที่เป็นประโยชน์ที่จะได้รับการออกแบบใหม่ติดตามเครื่องมือที่ผู้ใช้คู่มือที่รวบรวมและให้ข้อมูลที่เป็นประโยชน์เพิ่มเติม ต้นแบบ cuezilla ของเราเป็นเช่นเครื่องมือและการวัดคุณภาพของรายงานบั๊กใหม่ มันยังแนะนำว่าองค์ประกอบใดที่ควรเพิ่มเพื่อปรับปรุงคุณภาพ เราฝึก cuezilla มี 289 รายงานข้อผิดพลาด , การจัดอันดับโดยนักพัฒนาเป็นส่วนหนึ่งของการสำรวจ ในการทดลองของเรา cuezilla สามารถทำนายคุณภาพ 31 48 % ของการรายงานข้อผิดพลาดที่ถูกต้องแนะนำรายงานข้อผิดพลาดมีความสำคัญสำหรับการพัฒนาซอฟต์แวร์ใด ๆ พวกเขาอนุญาตให้ผู้ใช้เพื่อแจ้งให้นักพัฒนาของปัญหาในขณะที่ใช้ซอฟต์แวร์ รายงานข้อผิดพลาดทั่วไปประกอบด้วยรายละเอียดของความล้มเหลว และมีคำใบ้ที่สถานที่ของข้อบกพร่องในรหัส ( ในรูปแบบของแพทช์หรือสแต็คร่องรอย ) อย่างไรก็ตาม รายงานข้อผิดพลาดที่แตกต่างกันในคุณภาพของพวกเขาที่เนื้อหา พวกเขามักจะให้ข้อมูลไม่เพียงพอ หรือ ไม่ถูกต้อง ดังนั้นนักพัฒนาบางครั้งต้องเผชิญข้อบกพร่องที่มีคำอธิบายเช่น " จากเว็บ ( Apache แมลง cocoon-1254 ) " wqqwqw " ( เกิดข้อผิดพลาด # 145133 ) หรือเพียงแค่ " GUI " แสดงความคิดเห็น " หน้ามันซุ่มซ่าม " ( Mozilla บั๊ก # 109242 ) ไม่แปลกใจที่นักพัฒนาจะชะลอตัวลงโดยการไม่เขียนรายงานข้อผิดพลาดเพราะการระบุปัญหาจากรายงานดังกล่าวต้องใช้เวลามากขึ้น ในบทความนี้เราจะตรวจสอบคุณภาพของการรายงานข้อผิดพลาดจากมุมมองของนักพัฒนา เราคาดว่าหลายปัจจัยที่ส่งผลกระทบต่อคุณภาพของการรายงานข้อผิดพลาดเช่นความยาวของคำอธิบายการจัดรูปแบบและการปรากฏตัวของร่องรอยของสแต็คและสิ่งที่แนบมา ( เช่นภาพหน้าจอ ) ที่จะถ่ายทอดออกมา ซึ่งสำคัญที่สุด และ เราได้ถามคุณนักพัฒนาจาก Apache , Eclipse , และ Mozilla โครงการ :1 . สมบูรณ์การสำรวจข้อมูลที่สำคัญในการรายงานข้อผิดพลาดและปัญหาที่พวกเขาเผชิญกับพวกเขา เราได้รับทั้งหมด 156 การตอบสนองต่อการสำรวจของเรา ( ส่วนที่ 2 และ 3 )2 . คะแนนคุณภาพของการรายงานข้อผิดพลาดจากที่ยากจนมาก ถึงดีมาก ONA มาตรวัดแบบไลเคิร์ต จึงได้จุด [ 22 ] เราได้รับทั้งหมด 1186 โหวต 289 สุ่มรายงานบั๊ก ( มาตรา 4 )นอกจากนี้ เราถามมัน reporters1 จากโครงการเดียวกัน เพื่อให้สำรวจคล้ายคลึงกัน จากที่ผมตอบ ผลของการสำรวจว่ามีอะไรที่ไม่ตรงกันระหว่างนักพัฒนาพิจารณาประโยชน์มากที่สุดและสิ่งที่ผู้ใช้ให้ เพื่อให้รวดเร็ว จึงซิ่งบักไม่ตรงกันนี้ควร bridged ตัวอย่างด้วยเครื่องมือสนับสนุนสำหรับนักข่าว เพื่อให้ข้อมูลที่นักพัฒนาต้องการ เราพัฒนาเครื่องมือต้นแบบ เรียกว่า cuezilla ( seefigure1 ) ซึ่งวัดคุณภาพของการรายงานข้อผิดพลาดและแสดงให้เห็นถึงนักข่าวว่า ควรเพิ่มให้รายงานข้อผิดพลาดที่ดี1 . cuezilla มาตรการคุณภาพของรายงานบั๊ก เราฝึกและประเมินผล cuezilla ใน 289 รายงานข้อผิดพลาด / นักพัฒนา ( มาตรา 5 )2 . cuezilla ให้สิ่งจูงใจกับนักข่าว เราขุดข้อผิดพลาดโดยอัตโนมัติฐานข้อมูลเพื่อส่งเสริมข้อเท็จจริง เช่น " รายงานข้อผิดพลาดกับร่องรอยกองอยู่จึง xed เร็ว " ( มาตรา 6 )