Internal validity concerns with the

Internal validity concerns with the rigour of the study design. In our study, the threats are related to the data extraction process, the selection of the factors that influence code review, and the validity of the results. While we provided details on the data extraction, data filtering and any heuristics used in the study, we also validated our findings with the WebKit developers and reviewers. We contacted individuals from Google, Apple, BlackBerry, and Intel and received insights into their internal processes (as discussed in V-A).

Our empirical study is the subject to external validity; we can not generalize our findings to say that both organizational
and personal factors affect code review in all open source projects. While we compared WebKit’s code review process
with the one of Mozilla Firefox and found that its patch lifecycle is similar to open source projects, the fact that
WebKit is being developed by competing organizations makes it an interesting case yet a rather obvious exception. Hence,
more studies on similar projects are needed.

Statistical conclusion validity refers to the ability to make an accurate assessment of whether independent and dependent
variables are related and about the strength of that relationship. In order to determine whether relationships between variables are statistically significant or not we performed null hypothesis testing. We also applied appropriate statistical tests (analysis of variance, post-hoc testing, and Spearman’s correlation).

ผลลัพธ์ (ไทย) 1:

ข้อสงสัยตั้งแต่ภายใน ด้วยนิตย์ศึกษาการออกแบบ ในการศึกษาของเรา ภัยคุกคามเกี่ยวข้องกับการแยกกระบวนการข้อมูล การเลือกปัจจัยที่มีอิทธิพลต่อการตรวจทานรหัส และถูกต้องของผลลัพธ์ ในขณะที่เราให้รายละเอียดวิธี การดึงข้อมูล ข้อมูลกรองใด ๆ ลองผิดลองถูกใช้ในการศึกษา เราตรวจค้นพบของนักพัฒนาเว็บคิตและทาน เราติดต่อบุคคลจาก Google, Apple, BlackBerry, Intel และลึกของกระบวนการภายในที่ได้รับ (ตามที่อธิบายไว้ใน V-A)ศึกษาผลของเราเป็นเรื่องการมีผลบังคับใช้ภายนอก เราไม่สามารถทั่วไปเราพบว่าที่ทั้งสององค์กรและปัจจัยส่วนบุคคลมีผลต่อการตรวจสอบรหัสในโครงการมาเปิดทั้งหมด ในขณะที่เราเปรียบเทียบกระบวนการตรวจทานรหัสของเว็บคิตด้วยของ Mozilla Firefox และพบว่าการแก้ไขวงจรคล้ายกับเปิดโครงการแหล่งที่มา ความจริงที่เป็นเว็บคิตที่พัฒนา โดยองค์กรการแข่งขันทำให้มีกรณีน่าสนใจแต่มีข้อยกเว้นที่ค่อนข้างชัดเจน ดังนั้นศึกษาเพิ่มเติมในโครงการที่คล้ายกันมีความจำเป็นสรุปสถิติตั้งแต่ถึงความสามารถในการทำให้การประเมินถูกต้องว่าอิสระ และผู้อยู่ในอุปการะตัวแปรเกี่ยวข้อง และความแข็งแกร่งของความสัมพันธ์นั้น เพื่อกำหนดว่า มีความสัมพันธ์ระหว่างตัวแปรอย่างมีนัยสำคัญทางสถิติ หรือไม่เราทำการทดสอบสมมติฐานว่าง นอกจากนี้เรายังใช้การทดสอบสถิติที่เหมาะสม (วิเคราะห์ผลต่างของ ทดสอบแบบเฉพาะกิจลง และความสัมพันธ์ของ Spearman)

ผลลัพธ์ (ไทย) 2:

ความกังวลเกี่ยวกับความถูกต้องภายในที่มีความรุนแรงของการออกแบบการศึกษา ในการศึกษาของเราภัยคุกคามที่เกี่ยวข้องกับขั้นตอนการสกัดข้อมูลการเลือกของปัจจัยที่มีอิทธิพลต่อการตรวจสอบรหัสและความถูกต้องของผล ในขณะที่เราให้รายละเอียดในการสกัดข้อมูลการกรองข้อมูลและการวิเคราะห์พฤติกรรมที่ใช้ในการศึกษาเรายังตรวจสอบผลการวิจัยของเรากับนักพัฒนา WebKit และแสดงความคิดเห็น เราได้ติดต่อบุคคลจาก Google, Apple, BlackBerry, และ Intel และได้รับข้อมูลเชิงลึกในกระบวนการภายในของพวกเขา (ตามที่กล่าวใน VA). การศึกษาเชิงประจักษ์ของเราคือเรื่องความถูกต้องภายนอก เราไม่สามารถพูดคุยค้นพบของเราที่จะบอกว่าทั้งสององค์กรปัจจัยที่ส่งผลกระทบต่อบุคคลและตรวจสอบรหัสในโครงการเปิดแหล่งที่มาทั้งหมด ในขณะที่เราเมื่อเทียบกับกระบวนการตรวจสอบรหัสของ WebKit กับหนึ่งใน Mozilla Firefox และพบว่าแพทช์วงจรชีวิตของมันจะคล้ายกับการเปิดโครงการแหล่งที่มาของความจริงที่ว่าWebKit จะถูกพัฒนาโดยองค์กรการแข่งขันทำให้มันเป็นกรณีที่น่าสนใจยังมีข้อยกเว้นค่อนข้างชัดเจน ดังนั้นการศึกษาเพิ่มเติมเกี่ยวกับโครงการที่คล้ายกันมีความจำเป็น. ความถูกต้องสรุปสถิติหมายถึงความสามารถที่จะทำให้การประเมินความถูกต้องว่าเป็นอิสระและขึ้นอยู่กับตัวแปรที่เกี่ยวข้องและเกี่ยวกับความแรงของความสัมพันธ์ว่า เพื่อที่จะตรวจสอบว่าความสัมพันธ์ระหว่างตัวแปรที่มีนัยสำคัญทางสถิติหรือไม่ที่เราจะดำเนินการทดสอบสมมติฐาน นอกจากนี้เรายังใช้การทดสอบทางสถิติที่เหมาะสม (การวิเคราะห์ความแปรปรวนการทดสอบ post-hoc และความสัมพันธ์ของสเปียร์แมน)

ผลลัพธ์ (ไทย) 3:

เกี่ยวกับความตรงภายในกับความเข้มงวดของการศึกษาการออกแบบ ในการศึกษาของเรา ภัยคุกคามที่เกี่ยวข้องกับข้อมูลการสกัดกระบวนการคัดเลือกปัจจัยที่มีอิทธิพลต่อความคิดเห็นรหัส และความถูกต้องของผลลัพธ์ ในขณะที่เราให้รายละเอียดข้อมูลการสกัดข้อมูลและการวิเคราะห์พฤติกรรมที่ใช้ในการศึกษา นอกจากนี้เรายังตรวจสอบผลของเรากับของนักพัฒนาและผู้ตรวจทานเราติดต่อกับบุคคลจาก Google , Apple , BlackBerry , และ Intel และได้รับข้อมูลเชิงลึกในกระบวนการภายในของพวกเขา ( ตามที่กล่าวไว้ในที่กล่าวข้างต้น ) .

ศึกษาเชิงประจักษ์ของเราคือเรื่องความตรงภายนอก เราสามารถอนุมานผลของเรากล่าวว่าทั้งสององค์กรและปัจจัยส่วนบุคคลที่ส่งผลต่อ
ตรวจสอบโค้ดในโครงการเปิดแหล่งที่มาทั้งหมด ในขณะที่เราเปรียบเทียบกระบวนการตรวจสอบรหัสของ
WebKitกับหนึ่งใน Mozilla Firefox และพบว่าแพทช์วงจรคล้ายกับเปิดโครงการแหล่งที่ว่า
WebKit ถูกพัฒนาโดยองค์กรคู่แข่ง ทำให้มันน่าสนใจ แต่ยกเว้นกรณีที่ค่อนข้างชัดเจน ดังนั้น การศึกษาเพิ่มเติมในโครงการที่คล้ายกัน


ต้องการสรุปสถิติจำนวน หมายถึง ความสามารถที่จะทำให้การประเมินความถูกต้องของไม่ว่าจะเป็นอิสระ
ตัวแปรมีความสัมพันธ์กันและเกี่ยวกับความแข็งแรงของความสัมพันธ์นั้น เพื่อตรวจสอบว่า ความสัมพันธ์ระหว่าง ตัวแปรที่มีนัยสำคัญทางสถิติหรือไม่เราแสดงการทดสอบสมมติฐานโมฆะ . เรายังใช้สถิติทดสอบที่เหมาะสม ( การวิเคราะห์ความแปรปรวนโพสต์นี้ ทดสอบ และใช้ความสัมพันธ์ )