The web provides an unprecedented o

The web provides an unprecedented opportunity to evaluate ideas
quickly using controlled experiments, also called randomized
experiments (single-factor or factorial designs), A/B tests (and
their generalizations), split tests, Control/Treatment tests, and
parallel flights. Controlled experiments embody the best
scientific design for establishing a causal relationship between
changes and their influence on user-observable behavior. We
provide a practical guide to conducting online experiments, where
end-users can help guide the development of features. Our
experience indicates that significant learning and return-oninvestment
(ROI) are seen when development teams listen to their
customers, not to the Highest Paid Person’s Opinion (HiPPO). We
provide several examples of controlled experiments with
surprising results. We review the important ingredients of
running controlled experiments, and discuss their limitations (both
technical and organizational). We focus on several areas that are
critical to experimentation, including statistical power, sample
size, and techniques for variance reduction. We describe
common architectures for experimentation systems and analyze
their advantages and disadvantages. We evaluate randomization
and hashing techniques, which we show are not as simple in
practice as is often assumed. Controlled experiments typically
generate large amounts of data, which can be analyzed using data
mining techniques to gain deeper understanding of the factors
influencing the outcome of interest, leading to new hypotheses
and creating a virtuous cycle of improvements. Organizations that
embrace controlled experiments with clear evaluation criteria can
evolve their systems with automated optimizations and real-time
analyses. Based on our extensive practical experience with
multiple systems and organizations, we share key lessons that will
help practitioners in running trustworthy controlled experiments.

ผลลัพธ์ (ไทย) 2:

เว็บให้โอกาสประวัติการณ์ที่จะประเมินความคิด
อย่างรวดเร็วโดยใช้การทดลองควบคุมที่เรียกว่าแบบสุ่ม
ทดลอง (ปัจจัยเดียวหรือการออกแบบปัจจัย) การทดสอบ A / B (และ
ภาพรวมของพวกเขา) การทดสอบแยกการควบคุม / การทดสอบการรักษาและ
เที่ยวบินแบบขนาน การทดลองควบคุมรวบรวมที่ดีที่สุด
การออกแบบทางวิทยาศาสตร์สำหรับการสร้างความสัมพันธ์เชิงสาเหตุระหว่าง
การเปลี่ยนแปลงและอิทธิพลที่มีต่อพฤติกรรมของผู้ใช้สังเกต เรา
ให้คำแนะนำการปฏิบัติในการดำเนินการทดลองออนไลน์ที่
ผู้ใช้สิ้นสามารถช่วยแนะนำการพัฒนาคุณสมบัติ ของเรา
แสดงให้เห็นว่าประสบการณ์การเรียนรู้ที่สำคัญและผลตอบแทน oninvestment
(ROI) จะเห็นได้เมื่อทีมพัฒนาฟังของพวกเขา
ลูกค้าไม่ชำระเงินสูงสุดของความเห็นของบุคคล (ฮิปโป) เรา
ให้หลายตัวอย่างของการทดลองควบคุมด้วย
ผลที่น่าแปลกใจ เราตรวจสอบส่วนผสมที่สำคัญของ
การทำงานการทดลองควบคุมและหารือเกี่ยวกับข้อ จำกัด ของพวกเขา (ทั้ง
ทางเทคนิคและองค์กร) เรามุ่งเน้นหลายพื้นที่ที่มี
ความสำคัญต่อการทดลองรวมทั้งอำนาจทางสถิติตัวอย่าง
ขนาดและเทคนิคในการลดความแปรปรวน เราอธิบาย
สถาปัตยกรรมทั่วไปสำหรับระบบการทดลองและวิเคราะห์
ข้อดีและข้อเสียของพวกเขา เราจะประเมินสุ่ม
และเทคนิคคร่ำเครียดซึ่งเราแสดงไม่ได้ง่ายเหมือนใน
การปฏิบัติตามที่มักจะสันนิษฐาน การทดลองควบคุมมักจะ
สร้างข้อมูลจำนวนมากซึ่งสามารถนำมาใช้ในการวิเคราะห์ข้อมูล
เทคนิคการทำเหมืองที่จะได้รับความเข้าใจที่ลึกซึ้งของปัจจัย
ที่มีอิทธิพลต่อผลของการที่สนใจนำไปสู่การตั้งสมมติฐานใหม่
และการสร้างวงจรของการปรับปรุง องค์กรที่
โอบกอดควบคุมการทดลองกับเกณฑ์การประเมินที่ชัดเจนสามารถ
พัฒนาระบบของพวกเขาด้วยการเพิ่มประสิทธิภาพโดยอัตโนมัติและเรียลไทม์
วิเคราะห์ ขึ้นอยู่กับประสบการณ์ที่กว้างขวางของเรามี
หลายระบบและองค์กรที่เราแบ่งปันบทเรียนสำคัญที่จะ
ช่วยให้ผู้ปฏิบัติงานในการดำเนินการทดลองควบคุมที่น่าเชื่อถือ

ผลลัพธ์ (ไทย) 3:

เว็บเปิดโอกาสประวัติการณ์เพื่อประเมินความคิด
อย่างรวดเร็วโดยใช้การทดลองการควบคุมที่เรียกว่าการทดลองสุ่ม
( ปัจจัยเดียวหรือแบบแฟคทอเรียล ) , การทดสอบ A / B (
ทั่วไป ) , การทดสอบแยกการทดสอบการควบคุม / การรักษาและ
เที่ยวบินแบบขนาน การทดลองควบคุมรวบรวมที่ดีที่สุด
การออกแบบทางวิทยาศาสตร์เพื่อสร้างความสัมพันธ์เชิงสาเหตุระหว่าง
การเปลี่ยนแปลง และอิทธิพลของพฤติกรรมที่สังเกตได้ของผู้ใช้ คู่มือการปฏิบัติเพื่อให้เรา

สำหรับการทดลองออนไลน์ที่ช่วยแนะนําการพัฒนาคุณลักษณะ ประสบการณ์ของเรา

oninvestment และระดับการเรียนรู้ พบว่า ผลตอบแทน ( ROI ) จะเห็นเมื่อทีมพัฒนาฟังลูกค้า
ไม่ใช่ความเห็นของคนที่จ่ายสูงสุด ( ฮิปโป ) เรา
มีหลายตัวอย่างของการทดลองแบบควบคุมด้วย
ที่น่าประหลาดใจ . เราตรวจสอบส่วนผสมสำคัญของ
วิ่งการทดลองการควบคุมและกล่าวถึงข้อจำกัดของพวกเขา ( ทั้ง
ทางด้านเทคนิคและองค์กร ) เรามุ่งเน้นในพื้นที่สำคัญหลายที่
การทดลอง รวมทั้งสถิติพลังงานขนาดตัวอย่าง
, และเทคนิคสำหรับการลดความแปรปรวน เราอธิบาย
สถาปัตยกรรมทั่วไปของระบบการทดลองและวิเคราะห์
ข้อดีและข้อเสียของพวกเขา เราประเมินและควบคุม
บริการเทคนิค ซึ่งเราแสดงไม่ได้เป็นง่ายๆ
ปฏิบัติมักจะสันนิษฐาน การทดลองการควบคุมมักจะ
สร้างข้อมูลปริมาณมาก ซึ่งสามารถถูกวิเคราะห์โดยใช้เทคนิคการทำเหมืองข้อมูล
เพื่อให้ได้รับความเข้าใจลึกของปัจจัย
ที่มีอิทธิพลต่อผลของดอกเบี้ย ที่นำไปสู่สมมติฐานใหม่
และสร้างวงจรคุณธรรมของการปรับปรุง องค์กรที่
กอดการทดลองการควบคุมกับเกณฑ์การประเมินที่ชัดเจน สามารถพัฒนาระบบด้วย
อัตโนมัติเพิ่มประสิทธิภาพและวิเคราะห์เวลาจริง

ตามประสบการณ์ที่กว้างขวางของเรากับ
หลายระบบ และองค์กร เราแบ่งปันบทเรียนสำคัญที่จะ
ช่วยให้ผู้ปฏิบัติงานในการวิ่งได้
ควบคุมการทดลอง