Our analysis of the effect of exper

Our analysis of the effect of experience in reviewing a file showed strong effects on the density of useful comments (Figure 6). For all the five projects, reviewers who had reviewed a file before were almost twice more useful (65% -71%) than the first time reviewers (32% -37%). Comment usefulness densities also show an increasing trend with the number of prior reviews up to around five reviews, after which the usefulness density plateaued between 70% and 80%.

Based on these results, we conclude that developers who have either changed or reviewed an artifact before give more useful comments. One possible explanation for these results is that reviewers who have changed or reviewed a file before have more knowledge about the design constraints and the implementation. Therefore, they are able to provide more relevant comments. Also, a first time reviewer may not know the design and context, they may ask questions to understand the implementation, or identify false issues based on their incorrect assumption. Unsurprisingly, first time reviewers of an artifact are providing less valuable feedback.

We assume that review experience shows more drastic effects on comment usefulness than change experience because many teams have a practice of letting new developers first review the code before they are allowed to change the code. Therefore, a developer who makes the first change to a file has most likely already reviewed it before.

We calculated a reviewer’s experience based on his or her tenure at Microsoft. In four out of the five projects (all but Exchange), reviewers that spend more time in the organization have a higher density of useful comments. The effect is especially visible for new hires, who in the first three months had the lowest density of useful comments. During the first three quarters, the usefulness density increases the most, and stays relatively stable after the first year. The first year at Microsoft is often considered “ramp up” time for the new hires. During that time employees become more familiar with the code review process, project design, and coding practices at Microsoft. After the ramp up period, they can be as useful reviewers as their senior Microsoft peers. In detail, we saw for Azure an increased density of useful comments from 60% to 66%, for Bing from 62% to 67%, for Visual Studio from 60% to 70% and for Office from 60% to 68% after the first year. For Exchange, we could not see a steady trendline, and usefulness ratios vary between 60% to 65%.

ผลลัพธ์ (ไทย) 1:

ผลของประสบการณ์ในการตรวจ file การวิเคราะห์ของเราแสดงผลแข็งแรงความหนาแน่นของความคิดเห็นที่เป็นประโยชน์ (6 รูป) สำหรับโครงการทั้งหมด five ผู้ที่ได้ทาน file ก่อนได้เกือบสองมากกว่าประโยชน์ (65%-71%) มากกว่า first เวลาทาน (32%-37%) ความคิดเห็นประโยชน์แน่นแสดงแนวโน้มเพิ่มขึ้น ด้วยจำนวนรีวิวก่อนถึงสถาน five รีวิว หลังจากที่ความหนาแน่นประโยชน์ plateaued ระหว่าง 70% และ 80% เรายึดตามผลลัพธ์เหล่านี้ สรุปที่นักพัฒนาที่มีการเปลี่ยนแปลง หรือทานสิ่งประดิษฐ์การก่อนให้ความเห็นเป็นประโยชน์มากขึ้น หนึ่งผลลัพธ์เหล่านี้ได้อธิบายว่าผู้ที่มีการเปลี่ยนแปลง หรือตรวจทาน file ก่อนที่จะมีความรู้เพิ่มเติมเกี่ยวกับข้อจำกัดออกแบบและการดำเนินการ ดังนั้น พวกเขาจะสามารถให้ข้อคิดเห็นเพิ่มเติมที่เกี่ยวข้อง ยัง ผู้ตรวจทานเวลา first อาจไม่ทราบว่าการออกแบบและบริบท พวกเขาอาจถามคำถาม การเข้าใจการใช้งาน ระบุปัญหาเท็จตามสมมติฐานของตนไม่ถูกต้อง ประกอบ first เวลาทานของสิ่งประดิษฐ์จะให้ผลป้อนกลับที่มีคุณค่าน้อย เราสมมติว่า ทบทวนประสบการณ์แสดงผลรุนแรงมากเห็นประโยชน์มากกว่าเปลี่ยนประสบการณ์เนื่องจากหลาย ๆ ทีมได้ปฏิบัติการให้นักพัฒนาใหม่ first ตรวจสอบรหัสก่อนที่อนุญาตให้เปลี่ยนรหัส ดังนั้น นักพัฒนาที่ทำให้ first เปลี่ยนเป็น file ได้ส่วนใหญ่แล้วทานมาก่อน เราได้ประสบการณ์ของผู้ตรวจทานตามอายุงานของเขา หรือเธอที่ Microsoft ในสี่จากโครงการ five (ทั้งหมดแต่แลกเปลี่ยน), ผู้ตรวจทานที่ใช้เวลามากขึ้นในองค์กรที่มีความหนาแน่นสูงประโยชน์ข้อคิดเห็น ผลคือมองเห็นได้โดยเฉพาะอย่างยิ่งสำหรับโม ที่ใน first สามเดือนมีความหนาแน่นต่ำสุดของความเห็นที่เป็นประโยชน์ first ไตรมาสสาม ประโยชน์ความหนาแน่นเพิ่มมากสุด และเข้าพักค่อนข้างมั่นคงหลังปี first ปี first ใน Microsoft เป็นเวลามักจะเป็น "ทางลาดขึ้น" สำหรับอ่างใหม่ ในช่วงเวลานั้นพนักงานคุ้นเคยกับรหัสทบทวนกระบวนการ การออกแบบโครงการ และกำหนดวิธีที่ Microsoft หลังจากที่ทางลาดขึ้นระยะ พวกเขาสามารถเป็นประโยชน์ผู้เป็นเพื่อนของ Microsoft อาวุโส รายละเอียด เราเห็นใน Azure ความหนาแน่นที่เพิ่มขึ้นของประโยชน์ข้อคิดเห็นจาก 60% เป็น 66%, Bing จาก 62% เป็น 67% สำหรับ Visual Studio จาก 60% เป็น 70% และ สำหรับ Office จาก 60% กับ 68% หลังจากปี first แลกเปลี่ยน เราไม่สามารถเห็นเส้นแนวโน้มที่มั่นคง และประโยชน์อัตราส่วนระหว่าง 60% ถึง 65% ที่แตกต่างกัน

ผลลัพธ์ (ไทย) 2:

การวิเคราะห์ของเราของผลกระทบของประสบการณ์ในการทบทวนไฟ le แสดงให้เห็นผลกระทบอย่างมากต่อความหนาแน่นของความคิดเห็นที่มีประโยชน์ (รูปที่ 6) สำหรับทุกสายได้โครงการที่ได้แสดงความคิดเห็นที่ทบทวนก่อนที่จะสาย le ถูกเกือบสองเท่าของที่มีประโยชน์มากขึ้น (65% -71%) มากกว่าเวลาแสดงความคิดเห็นที่สายแรก (ที่ 32% -37%) แสดงความคิดเห็นความหนาแน่นประโยชน์ยังแสดงให้เห็นแนวโน้มเพิ่มขึ้นด้วยจำนวนความคิดเห็นก่อนถึงรอบไฟได้ความคิดเห็นหลังจากที่ความหนาแน่นประโยชน์ plateaued ระหว่าง 70% และ 80%. จากผลเหล่านี้เราสรุปได้ว่านักพัฒนาที่มีการเปลี่ยนแปลงหรือการทบทวนสิ่งประดิษฐ์ ก่อนที่จะให้ความเห็นมีประโยชน์มากขึ้น หนึ่งคำอธิบายที่เป็นไปได้เพื่อให้ได้ผลลัพธ์เหล่านี้คือความคิดเห็นที่มีการเปลี่ยนแปลงหรือทบทวนก่อนที่จะสาย le มีความรู้เพิ่มเติมเกี่ยวกับข้อ จำกัด ของการออกแบบและการดำเนินการ ดังนั้นพวกเขาสามารถที่จะให้ความเห็นที่เกี่ยวข้องมากขึ้น นอกจากนี้เวลาที่วิจารณ์สายแรกอาจไม่ทราบว่าการออกแบบและบริบทที่พวกเขาอาจจะถามคำถามที่จะเข้าใจการดำเนินการหรือการระบุปัญหาที่ผิดพลาดอยู่บนสมมติฐานที่ไม่ถูกต้องของพวกเขา แปลกใจแสดงความคิดเห็นครั้งแรกไฟของสิ่งประดิษฐ์ที่จะให้ข้อเสนอแนะที่มีคุณค่าน้อย. เราคิดประสบการณ์ความเห็นที่แสดงให้เห็นถึงผลกระทบที่รุนแรงมากขึ้นเกี่ยวกับประโยชน์ความคิดเห็นประสบการณ์มากกว่าการเปลี่ยนแปลงเพราะหลายทีมมีการปฏิบัติของการปล่อยให้นักพัฒนาใหม่ fi แรกทบทวนรหัสก่อนที่พวกเขาได้รับอนุญาตให้เปลี่ยนเป็น รหัส ดังนั้นนักพัฒนาที่ทำให้การเปลี่ยนแปลงสายแรกที่จะสาย le ได้ส่วนใหญ่มีแนวโน้มการตรวจสอบแล้วก่อนที่ก. เราคำนวณประสบการณ์วิจารณ์บนพื้นฐานของการดำรงตำแหน่งของเขาหรือเธอที่ไมโครซอฟท์ ในสี่ Fi จะได้โครงการ (แต่ Exchange) วิจารณ์ว่าใช้เวลามากขึ้นในองค์กรมีความหนาแน่นที่สูงขึ้นของความคิดเห็นที่มีประโยชน์ ผลที่ได้คือสามารถมองเห็นได้โดยเฉพาะอย่างยิ่งสำหรับการจ้างใหม่ที่สายแรกในช่วงสามเดือนมีความหนาแน่นต่ำสุดของความคิดเห็นที่มีประโยชน์ ในช่วงสายแรกในสามไตรมาสหนาแน่นประโยชน์เพิ่มขึ้นมากที่สุดและอยู่ค่อนข้างมีเสถียรภาพหลังจากที่ไฟปีแรก ไฟปีแรกที่ไมโครซอฟท์มักจะคิดว่า "ทางลาดขึ้น" เวลาสำหรับการจ้างใหม่ ในช่วงเวลาที่พนักงานคุ้นเคยกับขั้นตอนการตรวจสอบรหัสการออกแบบโครงการและการเข้ารหัสที่ไมโครซอฟท์ หลังจากที่ทางลาดขึ้นในช่วงเวลาที่พวกเขาสามารถแสดงความคิดเห็นที่เป็นประโยชน์ที่เพื่อนของไมโครซอฟท์อาวุโสของพวกเขา ในรายละเอียดเราเห็น Azure ความหนาแน่นเพิ่มขึ้นของความคิดเห็นที่มีประโยชน์จาก 60% เป็น 66% สำหรับ Bing จาก 62% ถึง 67% สำหรับ Visual Studio จาก 60% เป็น 70% และของซีอีไฟจาก 60% เป็น 68% หลังจากที่สายแรก ปี สำหรับการแลกเปลี่ยนที่เราไม่สามารถมองเห็นเส้นแนวโน้มคงที่และอัตราส่วนประโยชน์แตกต่างกันระหว่าง 60% ถึง 65%

ผลลัพธ์ (ไทย) 3:

การวิเคราะห์ของเราจากผลของประสบการณ์ในการตรวจทานจึงเลอผลที่แข็งแกร่งในความหนาแน่นของความเห็นที่มีประโยชน์ ( รูปที่ 6 ) ทั้งหมดจึงได้มีการทบทวนโครงการ ผู้ตรวจทานที่เป็นจึงเลอก่อนก็เกือบสองเท่ามากกว่าประโยชน์ ( 65 % - 70 % ) มากกว่า จึงตัดสินใจเดินทางเวลาทาน ( 32 - 37 % ) ความคิดเห็นต่อความหนาแน่นยังแสดงแนวโน้มเพิ่มขึ้นด้วยจำนวนของรีวิวก่อนถึงรอบจึงได้รีวิวหลังจากที่ใช้ความหนาแน่น plateaued ระหว่าง 70% และ 80%

ขึ้นอยู่กับผลลัพธ์เหล่านี้ เราสรุปได้ว่า นักพัฒนาที่มีให้เปลี่ยนหรือตรวจทานวัตถุก่อนที่จะให้ความเห็นที่มีประโยชน์มากขึ้น คำอธิบายที่เป็นไปได้สำหรับหนึ่งผลลัพธ์เหล่านี้คือความคิดเห็นที่เปลี่ยนไป หรือดูเป็นจึงเลอก่อนมีความรู้เกี่ยวกับการออกแบบข้อจำกัดและการใช้งาน ดังนั้นพวกเขาจะสามารถให้เพิ่มเติมที่เกี่ยวข้องแสดงความคิดเห็น นอกจากนี้ จึงตัดสินใจเดินทางเวลาทานอาจไม่รู้การออกแบบและบริบทที่พวกเขาอาจจะถามเพื่อให้เข้าใจการใช้ หรือระบุผิดประเด็นโดยอยู่บนพื้นฐานที่ไม่ถูกต้องของพวกเขา แปลกใจ , จึงตัดสินใจเดินทางเวลาทานของวัตถุให้มีค่าน้อยกว่าความคิดเห็น

เราคิดว่าประสบการณ์ที่รุนแรงมากขึ้นต่อการทบทวนแสดงความคิดเห็นประโยชน์กว่าการเปลี่ยนแปลง เพราะหลายทีมมีซ้อมให้ใหม่ นักพัฒนาจึงตัดสินใจเดินทางไปตรวจสอบรหัสก่อนที่จะอนุญาตให้เปลี่ยนรหัส ดังนั้น นักพัฒนาที่ทำให้เปลี่ยนเป็น RST จึงจึงเลอได้ส่วนใหญ่ก็พิจารณาดูก่อน

เราคำนวณประสบการณ์ทานตามงานของเขาหรือเธอที่ Microsoft ใน 4 ของโครงการทั้งหมดจึงได้แต่ตรา ) , ผู้ตรวจทานที่ใช้เวลามากขึ้นในองค์กรมีความหนาแน่นของความคิดเห็นที่เป็นประโยชน์ ผลที่ได้คือโดยเฉพาะอย่างยิ่งที่มองเห็นได้สำหรับพนักงานใหม่ที่ใน จึงตัดสินใจเดินทางไปสามเดือนมีความหนาแน่นต่ำสุดของความคิดเห็นที่เป็นประโยชน์ ระหว่างจึงตัดสินใจเดินทางสามไตรมาสประโยชน์ความหนาแน่นเพิ่มขึ้นมากที่สุด และยังคงค่อนข้างคงที่หลังจึงตัดสินใจเดินทางไปปี ปีแรกที่ Microsoft จึงมักจะถือว่า " ทางลาด " เวลาสำหรับพนักงานใหม่ ในระหว่างเวลาพนักงานคุ้นเคยกับรหัสตรวจสอบกระบวนการออกแบบโครงการและการปฏิบัติในการเขียนโปรแกรม Microsoft หลังจากทางลาดขึ้นระยะเวลาที่พวกเขาสามารถเป็นผู้ตรวจทานที่มีประโยชน์เพื่อน Microsoft อาวุโสของพวกเขาในรายละเอียด เราได้เห็นสีฟ้าเพิ่มความหนาแน่นของความคิดเห็นที่เป็นประโยชน์จาก 60% เป็น 66% , Bing จาก 62 และ 67 เปอร์เซ็นต์ สำหรับ Visual Studio จาก 60% เป็น 70% และ 60% ของจึง CE จาก 68 % หลังจึงตัดสินใจเดินทางไปปี สำหรับการแลกเปลี่ยน เราไม่อาจเห็นแนวโน้มคงที่ และอัตราส่วนการเปลี่ยนแปลงระหว่าง 60% 65%