ABSTRACT The web provides an unprec

ABSTRACT
The web provides an unprecedented opportunity to evaluate ideas quickly using controlled experiments, also called randomized experiments (single-factor or factorial designs), A/B tests (and their generalizations), split tests, Control/Treatment tests, and parallel flights. Controlled experiments embody the best scientific design for establishing a causal relationship between changes and their influence on user-observable behavior. We provide a practical guide to conducting online experiments, where end-users can help guide the development of features. Our experience indicates that significant learning and return-oninvestment (ROI) are seen when development teams listen to their customers, not to the Highest Paid Person’s Opinion (HiPPO). We provide several examples of controlled experiments with surprising results. We review the important ingredients of running controlled experiments, and discuss their limitations (both technical and organizational). We focus on several areas that are critical to experimentation, including statistical power, sample size, and techniques for variance reduction. We describe common architectures for experimentation systems and analyze their advantages and disadvantages. We evaluate randomization and hashing techniques, which we show are not as simple in practice as is often assumed. Controlled experiments typically generate large amounts of data, which can be analyzed using data mining techniques to gain deeper understanding of the factors influencing the outcome of interest, leading to new hypotheses and creating a virtuous cycle of improvements. Organizations that embrace controlled experiments with clear evaluation criteria can evolve their systems with automated optimizations and real-time analyses. Based on our extensive practical experience with multiple systems and organizations, we share key lessons that will help practitioners in running trustworthy controlled experiments.

ผลลัพธ์ (ไทย) 1:

บทคัดย่อ The web provides an unprecedented opportunity to evaluate ideas quickly using controlled experiments, also called randomized experiments (single-factor or factorial designs), A/B tests (and their generalizations), split tests, Control/Treatment tests, and parallel flights. Controlled experiments embody the best scientific design for establishing a causal relationship between changes and their influence on user-observable behavior. We provide a practical guide to conducting online experiments, where end-users can help guide the development of features. Our experience indicates that significant learning and return-oninvestment (ROI) are seen when development teams listen to their customers, not to the Highest Paid Person’s Opinion (HiPPO). We provide several examples of controlled experiments with surprising results. We review the important ingredients of running controlled experiments, and discuss their limitations (both technical and organizational). We focus on several areas that are critical to experimentation, including statistical power, sample size, and techniques for variance reduction. We describe common architectures for experimentation systems and analyze their advantages and disadvantages. We evaluate randomization and hashing techniques, which we show are not as simple in practice as is often assumed. Controlled experiments typically generate large amounts of data, which can be analyzed using data mining techniques to gain deeper understanding of the factors influencing the outcome of interest, leading to new hypotheses and creating a virtuous cycle of improvements. Organizations that embrace controlled experiments with clear evaluation criteria can evolve their systems with automated optimizations and real-time analyses. Based on our extensive practical experience with multiple systems and organizations, we share key lessons that will help practitioners in running trustworthy controlled experiments.

ผลลัพธ์ (ไทย) 2:

บทคัดย่อ
เว็บให้โอกาสประวัติการณ์ที่จะประเมินความคิดอย่างรวดเร็วโดยใช้การทดลองควบคุมที่เรียกว่าการทดลองแบบสุ่ม (ปัจจัยเดียวหรือการออกแบบปัจจัย) การทดสอบ A / B (และภาพรวมของพวกเขา) การทดสอบแยกการควบคุม / การทดสอบการรักษาและเที่ยวบินแบบขนาน การทดลองควบคุมรวบรวมการออกแบบทางวิทยาศาสตร์ที่ดีที่สุดสำหรับการสร้างความสัมพันธ์เชิงสาเหตุระหว่างการเปลี่ยนแปลงและอิทธิพลที่มีต่อพฤติกรรมของผู้ใช้สังเกต เราให้แนวทางปฏิบัติในการดำเนินการทดลองออนไลน์ที่ผู้ใช้สิ้นสามารถช่วยแนะนำการพัฒนาคุณสมบัติ ประสบการณ์ของเราแสดงให้เห็นว่าการเรียนรู้ที่สำคัญและผลตอบแทน oninvestment (ROI) จะเห็นได้เมื่อทีมพัฒนาฟังให้กับลูกค้าของพวกเขาที่จะไม่จ่ายสูงสุดของความเห็นของบุคคล (ฮิปโป) เราให้บริการหลายตัวอย่างของการทดลองควบคุมที่มีผลที่น่าแปลกใจ เราตรวจสอบส่วนผสมที่สำคัญของการทำงานการทดลองควบคุมและหารือเกี่ยวกับข้อ จำกัด ของพวกเขา (ทั้งทางเทคนิคและองค์กร) เรามุ่งเน้นหลายพื้นที่ที่มีความสำคัญกับการทดลองรวมทั้งอำนาจทางสถิติขนาดตัวอย่างและเทคนิคการลดความแปรปรวน เราอธิบายสถาปัตยกรรมทั่วไปสำหรับระบบการทดลองและวิเคราะห์ข้อดีและข้อเสียของพวกเขา เราจะประเมินสุ่มและเทคนิคคร่ำเครียดซึ่งเราแสดงไม่ได้ง่ายเหมือนในทางปฏิบัติเป็นมักจะสันนิษฐาน การทดลองควบคุมมักจะสร้างข้อมูลจำนวนมากซึ่งสามารถนำมาวิเคราะห์โดยใช้เทคนิคการทำเหมืองข้อมูลที่จะได้รับความเข้าใจที่ลึกซึ้งของปัจจัยที่มีอิทธิพลต่อผลของการที่สนใจนำไปสู่การตั้งสมมติฐานใหม่และการสร้างวงจรของการปรับปรุง องค์กรที่โอบกอดควบคุมการทดลองกับเกณฑ์การประเมินที่ชัดเจนสามารถพัฒนาระบบของพวกเขาด้วยการเพิ่มประสิทธิภาพโดยอัตโนมัติและการวิเคราะห์เรียลไทม์ ขึ้นอยู่กับประสบการณ์ที่กว้างขวางของเรามีหลายระบบและองค์กรที่เราร่วมบทเรียนที่สำคัญที่จะช่วยให้ผู้ปฏิบัติงานในการดำเนินการทดลองควบคุมที่น่าเชื่อถือ

ผลลัพธ์ (ไทย) 3:

นามธรรม
เว็บเปิดโอกาสประวัติการณ์เพื่อประเมินความคิดได้อย่างรวดเร็วโดยใช้การทดลองแบบสุ่มควบคุมที่เรียกว่าการทดลอง ( ปัจจัยเดียวหรือแบบแฟคทอเรียล ) , การทดสอบ A / B ( ทั่วไป ) , การทดสอบแยกการทดสอบการควบคุม / การรักษา และเที่ยวบินแบบขนานการทดลองควบคุมรวบรวมการออกแบบทางวิทยาศาสตร์ที่ดีที่สุดสำหรับการสร้างความสัมพันธ์ระหว่างการเปลี่ยนแปลง และอิทธิพลของพฤติกรรมที่สังเกตได้ของผู้ใช้ เรามีคู่มือปฏิบัติเพื่อการทดลองทางออนไลน์ ซึ่งผู้ใช้สามารถช่วยให้คู่มือการพัฒนาคุณลักษณะประสบการณ์ของเราพบว่า การเรียนรู้ที่สำคัญและผลตอบแทน oninvestment ( ROI ) จะเห็นเมื่อทีมพัฒนาฟังลูกค้า ไม่ใช่ความเห็นของคนที่จ่ายสูงสุด ( ฮิปโป ) มีหลายตัวอย่างของการทดลองแบบควบคุมด้วยผลลัพธ์ที่น่าแปลกใจ เราตรวจสอบส่วนผสมสำคัญของวิ่งทดลองควบคุมและหารือเกี่ยวกับข้อ จำกัด ของพวกเขา ( ทั้งทางด้านเทคนิคและองค์กร ) เรามุ่งเน้นในหลายพื้นที่ ซึ่งเป็นส่วนสำคัญของการทดลอง รวมทั้งพลังงาน สถิติขนาดตัวอย่างและเทคนิคสำหรับการลดความแปรปรวน เราอธิบายสถาปัตยกรรมทั่วไปของระบบการทดลองและวิเคราะห์ข้อดีและข้อเสียของพวกเขา เราประเมินและใช้บริการเทคนิคที่เราโชว์ ไม่ง่ายในทางปฏิบัติมักจะสันนิษฐาน การทดลองการควบคุมมักจะสร้างข้อมูลปริมาณมาก ซึ่งสามารถถูกวิเคราะห์โดยใช้เทคนิคเหมืองข้อมูลเพื่อให้ได้รับความเข้าใจลึกของปัจจัยที่มีอิทธิพลต่อผลของดอกเบี้ย ที่นำไปสู่สมมติฐานใหม่และการสร้างวงจรคุณธรรมของการปรับปรุงองค์กรที่โอบกอดการทดลองการควบคุมกับเกณฑ์การประเมินที่ชัดเจน สามารถพัฒนาระบบของพวกเขาด้วยการเพิ่มประสิทธิภาพโดยอัตโนมัติและการวิเคราะห์แบบเรียลไทม์ ตามประสบการณ์ที่กว้างขวางของเรามีหลายระบบ และองค์กร เราแบ่งปันบทเรียนสำคัญที่จะช่วยให้ผู้ปฏิบัติงานในการวิ่งได้ควบคุมการทดลอง