with experimentsJulie AhnJulie is a

with experiments

Julie Ahn

Julie is a software engineer on the Growth team

Search engine optimization (SEO) has been one of the biggest drivers of growth for Pinterest. However, it wasn’t always easy to find winning strategies at our scale. Traditionally, SEO tactics include trying out different known strategies and hoping for the best. You might have a good traffic day or a bad traffic day and not know what really triggered it, which often makes people think of SEO as magic rather than engineering.

Our SEO goal is to help billions of internet users discover Pinterest and find value in it as a visual bookmarking tool. Over time we’ve found the only way to verify if a change affects the user behavior positively is to run an A/B test. Unfortunately, we didn’t have similar tools to test search engine behavior, so we built an experiment framework and used it to turn “magic” into deterministic science.



Building an SEO experiment framework

With this framework, we wanted to build an experimentation tool that allows us to accurately measure the overall effect any content modification has on SEO and, more importantly, overall user growth.

The experiment tool consists of these three independent components:

Configuration to define experiments and group ranges
Daily data job to compute traffic to the pages in each experiment group (we measure traffic by the number of unique sessions referred by search engines to Pinterest pages)
Dashboard to view results


Unlike A/B experiments that are typically done by segmenting users, our SEO experiment framework segments pages. For example, in an experiment that has 50 percent of its pages grouped in “enabled” and the other 50 percent grouped in “control,” a page will fall into one of the groups depending on its URL:

‘enabled’ if hash(experiment_name + page_url) in enabled_group_range

‘control’ if hash(experiment_name + page_url) in control_group_range

Hashing the page URL combined with the experiment name ensures even distribution of pages among experiment groups and enables us to simultaneously run multiple experiments with varying group sizes.

Once the experiment is up and running, we can measure the performance of each group by comparing traffic.



As Figure 2 illustrates, the traffic between the two groups wasn’t the same even before the launch of the experiment, with the enabled group getting slightly more traffic than the control group. That’s because some pages are more popular than others, so no matter how we distribute the pages differences in traffic between groups may remain. To normalize this discrepancy and the weekly fluctuations, we re-plot this data with the difference between the two groups as Figure 3. Now it’s easier to see the traffic to the enabled group improved after the launch.



To measure the effect of the experiments, we can compare the averages of the difference before and after the experiment launch. The distance between the two dotted lines on Figure 3 is the average gain or loss of this experiment.



What we learned

There are hundreds of different ways to do SEO, including sitemaps, link-building, search-engine-friendly site design and so on. The best strategy for successful SEO can differ by product, by page and even by season. Identifying what works best for each case helps us move fast with limited resources. By running a large number of experiments, we found some well-known strategies for SEO didn’t work for us, while certain tactics we weren’t confident about worked like a charm.

For example, we once noticed that Google Webmaster Tool detected too many duplicate title tags on our board pages. The title tags on board pages were set to be “{board_name} on Pinterest,” and there are many boards created by different users with the same names. The page title tag is known to be an important factor for SEO, so we wondered if keeping the title tags unique would increase traffic. We ran an experiment to reduce duplicate title tags by including Pin counts in the title tag, for instance “{board_name} on Pinterest | ({number} Pins).” But we found that there was no statistically significant change in traffic between the groups.

So, what worked well on Pinterest? Pinterest is filled with tens of billions of Pins, but the text descriptions can be lacking. We assumed that providing better text on our pages would solve this problem, so we started with a relatively simple approach to improve the text descriptions. Pins are added by many different users, and some are more descriptive than others. For many Pins, we picked a better description from other Pins that contained the same image and showed it in addition to the existing description. The experiment results were much better than we expected (remember Figure 3?) which motivated us to invest more in text descriptions using sophisticated technologies, such as visual analysis. A series of follow up experiments resulted in a nearly 30 percent increase in traffic last year.

Making data-driven decisions

In most cases we found that the impact of an experiment on traffic starts to show as early as a couple of days after launch. The difference between groups continues to grow for a week or two until it becomes steady. Knowing this not only helps us ship successful experiments sooner, but also helps us turn off failing experiments as early as possible. We learned this the hard way.



Figure 4 shows the result of an experiment we ran to test rendering with JavaScript for better web performance. The purpose of this experiment was to make sure this change didn’t impact the SEO negatively. We noticed a slight drop in traffic on day two but decided to wait a few more days because we thought it might take more time for the crawlers to adjust. Unfortunately, there was no recovery in traffic and we ended up turning off this experiment a couple of days too late. Even after we turned off the experiment, it took almost a month for pages in the enabled group to recover from the traffic drop. This was unfortunate, but now we know how and when to make decisions for similar experiments in the future. Additionally, we learned the importance of running experiments for non-SEO projects to prove that they aren’t negatively affecting SEO.

The experiment above might be a failed one, but running that experiment was a huge success in the sense that it prevented a terrible traffic drop without a known cause. We generally run SEO experiments for all major changes that impact unauth pages. In particular, major layout changes, modifications to heading tags, new signup modals and rendering content via JavaScript must be tested with SEO experiment framework.

ผลลัพธ์ (ไทย) 1:

มีการทดลองอาห์นจูลี่จูลี่เป็นวิศวกรซอฟต์แวร์ทีมเติบโตเพิ่มประสิทธิภาพเครื่องมือค้นหา (SEO) ได้รับโปรแกรมควบคุมที่ใหญ่ที่สุดของการเจริญเติบโตสำหรับ Pinterest อย่างใดอย่างหนึ่ง อย่างไรก็ตาม มันไม่ได้เสมอการค้นหากลยุทธ์ในการชนะที่สเกลของเรา ประเพณี กลยุทธ์ SEO รวมลองกลยุทธ์ต่าง ๆ รู้จัก และหวังสุด คุณอาจมีวันดีจราจรหรือวันการจราจรไม่ดี และไม่รู้อะไรจริง ๆ ทริกเกอร์ ซึ่งมักจะทำให้คนคิดว่า SEO เป็นมายากลมากกว่าวิศวกรรมได้เป้าหมายของ SEO คือการ ช่วยให้พันล้านผู้ใช้อินเทอร์เน็ตค้นพบ Pinterest และค้นหาค่าในนั้นเป็นเครื่องมือ bookmarking ภาพ ช่วงเวลาที่เราได้พบวิธีเดียวที่จะตรวจสอบถ้า มีการเปลี่ยนแปลงมีผลต่อผู้ใช้ พฤติกรรมเชิงบวกคือการ เรียกใช้ A / B ทดสอบ อับ เราไม่มีเครื่องมือคล้ายทดสอบค้นหาเครื่องยนต์ลักษณะการทำงาน ดังนั้นเราสร้างกรอบการทดลอง และใช้แปรสภาพ "มายากล" วิทยาศาสตร์ deterministicสร้างกรอบการทดลอง SEOมีกรอบนี้ เราต้องการสร้างเป็นเครื่องมือทดลองที่ช่วยให้เราสามารถวัดผลโดยรวมที่ปรับเปลี่ยนเนื้อหาใด ๆ มีโซ และ ที่ สำคัญ เจริญเติบโตโดยรวมของผู้ใช้เครื่องมือการทดลองประกอบด้วยส่วนประกอบอิสระสามเหล่านี้:ตั้งค่าคอนฟิกการกำหนดช่วงของกลุ่มทดลองงานข้อมูลประจำวันเพื่อคำนวณการจราจรหน้าในแต่ละกลุ่มทดลอง (เราวัดการจราจร โดยจำนวนของเซสชันเฉพาะที่อ้างอิง โดยค้นหาจาก Pinterest หน้า)แดชบอร์ดเพื่อดูผลลัพธ์ต่างจาก A / B ทดลองที่ทำโดยทั่วไป โดยผู้ใช้ SEO ของเราคือ ทดลองกรอบหน้าเซ็กเมนต์ ตัวอย่าง ในการทดลองที่ 50 เปอร์เซ็นต์ของหน้าของกลุ่ม "เปิด" และ "ควบคุม" กลุ่ม 50 เปอร์เซ็นต์ หน้าจะตกกลุ่มขึ้นอยู่กับ URL ของอย่างใดอย่างหนึ่ง:ถ้า 'เปิด' แฮช (experiment_name + page_url) ใน enabled_group_range'ควบคุม' ถ้าแฮ (experiment_name + page_url) ใน control_group_rangeHashing หน้า URL กับชื่อทดลองใจกระจายแม้หน้าระหว่างกลุ่มทดลอง และช่วยให้เราพร้อมทำงานทดลองหลาย ด้วยขนาดของกลุ่มที่แตกต่างกันเมื่อทดลอง และทำงาน เราสามารถวัดประสิทธิภาพของแต่ละกลุ่ม โดยการเปรียบเทียบปริมาณการใช้ตามรูปที่ 2 แสดง การจราจรระหว่างกลุ่มสองไม่เหมือนกันแม้ก่อนเปิดตัวทดลอง มีกลุ่มเปิดใช้งานการเข้าชมเพิ่มเติมเล็กน้อยกว่ากลุ่มควบคุม นั่นเป็น เพราะหน้าบางได้รับความนิยมมากขึ้นกว่าคนอื่น ๆ เพื่อว่าวิธีเรากระจายความแตกต่างหน้าในการรับส่งข้อมูลระหว่างกลุ่มอาจยังคง เพื่อลดขนาดนี้ความขัดแย้งและความผันผวนรายสัปดาห์ เราการพล็อตข้อมูลนี้ มีความแตกต่างระหว่างกลุ่มสองเป็นรูปที่ 3 ตอนนี้สามารถดูการจราจรในกลุ่มเปิดขึ้นหลังจากเปิดตัวได้การวัดผลการทดลอง เราสามารถเปรียบเทียบค่าเฉลี่ย ของผลต่างก่อน และ หลังการทดลองเปิด ระยะห่างระหว่างเส้นจุด 2 ในรูปที่ 3 มีค่าเฉลี่ยกำไรหรือขาดทุนของการทดลองนี้สิ่งที่เราได้เรียนรู้มีหลายร้อยวิธีทำ SEO, sitemaps ออกแบบเว็บไซต์ สร้างลิงค์ ค้นหาเครื่องยนต์เป็นมิตร และอื่น ๆ กลยุทธ์ที่ดีที่สุดสำหรับ SEO ประสบความสำเร็จสามารถแตกต่างกัน โดยผลิตภัณฑ์ ตามหน้า และแม้แต่ฤดูกาล ระบุว่าดีที่สุดสำหรับแต่ละกรณีช่วยให้เรามีทรัพยากรที่จำกัดอย่างรวดเร็ว โดยทำการทดลองจำนวนมาก เราพบบางกลยุทธ์รู้จัก SEO ไม่ทำงานสำหรับเรา ในขณะที่กลยุทธ์บางอย่างเราไม่มั่นใจเกี่ยวกับการทำงานเหมือนเสน่ห์ตัวอย่าง เราเคยสังเกตเห็นว่า เครื่องมือเว็บมาสเตอร์ของ Google พบเกินไปมากซ้ำชื่อแท็กในหน้าบอร์ดของเรา ป้ายชื่อบนหน้าถูกตั้งค่าเป็น " {board_name } บน Pinterest, " และมีหลายบอร์ดที่สร้างขึ้น โดยผู้ใช้ด้วยกัน ป้ายชื่อหน้าเป็นที่รู้จักกันจะเป็นปัจจัยสำคัญสำหรับ SEO ให้เราสงสัยว่า ถ้า รักษาป้ายชื่อเฉพาะจะเพิ่มการรับส่งข้อมูล เราเรียกการทดลองลดแท็กชื่อซ้ำ โดยรวมจำนวน Pin ในป้ายชื่อ ตัวอย่าง " {board_name } เมื่อ pinterest เคียง | ({เลข} หมุด) " แต่เราพบว่า มีการเปลี่ยนแปลงการรับส่งข้อมูลระหว่างกลุ่มอย่างมีนัยสำคัญทางสถิติดังนั้น สิ่งทำงานดีเมื่อ pinterest เคียง Pinterest เป็นกับสิบพันหมุด แต่คำอธิบายข้อความสามารถจะขาด เราถือว่า ให้ข้อความขึ้นบนหน้าของเราจะแก้ปัญหานี้ ดังนั้นเราเริ่มต้น ด้วยวิธีการค่อนข้างง่ายในการปรับปรุงคำอธิบายข้อความ หมุดจะถูกเพิ่ม โดยผู้ใช้ที่แตกต่างกันมาก และมีคำอธิบายเพิ่มเติมอื่น ๆ สำหรับหมุดมาก เรารับคำอธิบายที่ดีกว่าจากหมุดอื่น ๆ ที่มีอยู่ภาพเดียว และแสดงให้เห็นว่านอกจากคำอธิบายที่มีอยู่ ผลการทดลองได้ดีกว่าเราคาดไว้ (จำรูปที่ 3) ซึ่งแรงจูงใจให้ลงทุนเพิ่มเติมในคำอธิบายข้อความที่ใช้ทันสมัยเทคโนโลยี เช่นวิเคราะห์ภาพ ชุดทดลองติดตามผลในการเกือบ 30 เปอร์เซ็นต์เพิ่มขึ้นในการเข้าชมปีทำการปรับปรุงข้อมูลตัดสินใจในกรณีส่วนใหญ่ เราพบว่า ผลกระทบของการทดลองในการรับส่งข้อมูลเริ่มต้นจะแสดงก่อนที่ไม่กี่วันหลังจากเปิดตัว ความแตกต่างระหว่างกลุ่มยังคงเติบโตในสัปดาห์หรือสองจนกว่าจะมั่นคง รู้นี้ไม่เพียงแต่ช่วยให้เราทดลองสำเร็จเรือเร็ว แต่ยังช่วยให้เราปิดล้มเหลวก่อนการทดลองเป็นไป เราเรียนรู้ซึ่งวิธีการยากรูปที่ 4 แสดงผลลัพธ์ของการทดลองเราวิ่งเพื่อทดสอบการแสดง ด้วย JavaScript เว็บเพื่อประสิทธิภาพที่ดี วัตถุประสงค์ของการทดลองนี้ให้ แน่ใจว่าการเปลี่ยนแปลงนี้ไม่ได้ส่งผลกระทบต่อ SEO ในเชิงลบได้ เราสังเกตเห็นการลดลงเล็กน้อยในการเข้าชมสองวัน แต่ตัดสินใจที่จะรอมากเนื่องจากเราคิดว่า มันอาจใช้เวลาเพิ่มเติมสำหรับ crawlers ปรับ อับ มีไม่กู้คืนในการเข้าชม และเราสิ้นสุดปิดทดลองนี้สองสามวันสายเกินไป แม้หลังจากที่เราปิดทดลอง มันใช้เวลาเกือบเดือนสำหรับหน้าในกลุ่มการเปิดใช้งานการกู้คืนจากหล่นจราจร นี้มีโชคร้าย แต่ตอนนี้ เรารู้วิธี และเวลาในการตัดสินใจสำหรับการทดลองที่คล้ายกันในอนาคต นอกจากนี้ เราได้เรียนรู้ความสำคัญของการทำงานทดลองสำหรับโครงการ SEO ไม่ใช่เพื่อพิสูจน์ว่า พวกเขาไม่ส่งผลกระทบต่อ SEOการทดลองข้างต้นอาจล้มเหลวหนึ่ง แต่เรียกว่า ทดลองเป็นความสำเร็จอย่างมากในแง่ป้องกันวางจราจรน่ากลัวโดยไม่ทราบสาเหตุ โดยทั่วไปเราทำ SEO ทดลองเพื่อเปลี่ยนแปลงที่สำคัญทั้งหมดที่มีผลกระทบต่อหน้า unauth เฉพาะ การเปลี่ยนแปลงเค้าโครงหลัก ปรับเปลี่ยนแท็กหัว modals สมัครใหม่ และแสดงเนื้อหาผ่าน JavaScript ต้องทดสอบกับกรอบงานทดลอง SEO

ผลลัพธ์ (ไทย) 2:

กับการทดสอบจูลี่ Ahn จูลี่เป็นวิศวกรซอฟต์แวร์ในทีมการเจริญเติบโตเพิ่มประสิทธิภาพกลไกค้นหา (SEO) ได้รับหนึ่งในไดรเวอร์ที่ใหญ่ที่สุดของการเจริญเติบโตสำหรับ Pinterest แต่มันก็ไม่ใช่เรื่องง่ายที่จะหากลยุทธ์ที่ชนะในระดับของเรา ตามเนื้อผ้ากลยุทธ์ SEO รวมถึงการพยายามออกกลยุทธ์ที่รู้จักกันแตกต่างกันและหวังที่ดีที่สุด คุณอาจมีวันที่การจราจรที่ดีหรือเป็นวันที่การจราจรไม่ดีและไม่ทราบว่าเรียกจริงๆมันซึ่งมักจะทำให้คนคิดว่า SEO เป็นมายากลมากกว่าวิศวกรรม. SEO เป้าหมายของเราคือการช่วยให้หลายพันล้านของผู้ใช้อินเทอร์เน็ตพบ Pinterest และหาค่าในนั้น เป็นเครื่องมือบุ๊คมาร์คภาพ เมื่อเวลาผ่านไปเราพบว่าวิธีเดียวที่จะตรวจสอบว่ามีผลกระทบต่อการเปลี่ยนแปลงพฤติกรรมของผู้ใช้ในเชิงบวกคือการใช้การทดสอบ A / B แต่น่าเสียดายที่เราไม่ได้มีเครื่องมือที่คล้ายกันในการทดสอบพฤติกรรมของเครื่องมือค้นหาเพื่อให้เราสร้างกรอบการทดลองและใช้มันเพื่อเปิด "วิเศษ" เป็นวิทยาศาสตร์ที่กำหนด. สร้างกรอบการทดลอง SEO ด้วยกรอบนี้เราต้องการที่จะสร้างเครื่องมือการทดลองว่า ช่วยให้เราสามารถแม่นยำในการวัดผลกระทบโดยรวมการปรับเปลี่ยนเนื้อหาใด ๆ ที่มีต่อ SEO และที่สำคัญกว่าการเติบโตของผู้ใช้โดยรวม. เครื่องมือการทดลองเหล่านี้ประกอบด้วยสามองค์ประกอบอิสระ: การกำหนดค่าที่จะกำหนดทดลองและกลุ่มช่วงงานข้อมูลประจำวันในการคำนวณอัตราการเข้าชมหน้าใน กลุ่มทดลองแต่ละ (เราวัดจากจำนวนการเข้าชมของการประชุมที่ไม่ซ้ำกันเรียกว่าเครื่องมือค้นหาเพื่อ Pinterest หน้า) แผงควบคุมเพื่อดูผลลัพธ์ที่แตกต่างจากการทดสอบ A / B ที่ทำโดยทั่วไปแบ่งกลุ่มผู้ใช้กรอบการทดสอบ SEO ของเราส่วนหน้า ยกตัวอย่างเช่นในการทดลองที่มีร้อยละ 50 ของหน้าของกลุ่มใน "เปิด" และอื่น ๆ ร้อยละ 50 ในกลุ่ม "ควบคุม" หน้าจะตกอยู่ในกลุ่มใดกลุ่มหนึ่งขึ้นอยู่กับของ URL: 'ใช้งาน' ถ้ากัญชา (EXPERIMENT_NAME + page_url) ใน enabled_group_range 'ควบคุม' ถ้ากัญชา (EXPERIMENT_NAME + page_url) ใน control_group_range Hashing URL หน้ารวมกับชื่อการทดสอบเพื่อให้แน่ใจว่าการกระจายตัวของหน้าเว็บในกลุ่มทดลองและช่วยให้เราสามารถใช้การทดสอบพร้อมกันหลายขนาดที่แตกต่างกันกับกลุ่ม. เมื่อการทดลอง และทำงานเราสามารถวัดประสิทธิภาพของแต่ละกลุ่มโดยการเปรียบเทียบอัตราการเข้าชม. ในฐานะที่เป็นรูปที่ 2 แสดงให้เห็นถึงการจราจรระหว่างทั้งสองกลุ่มก็ไม่เหมือนกันแม้กระทั่งก่อนที่การเปิดตัวของการทดลองกับกลุ่มที่เปิดใช้งานการเข้าชมมากขึ้นกว่าเล็กน้อย กลุ่มควบคุม นั่นเป็นเพราะบางหน้าเป็นที่นิยมมากขึ้นกว่าคนอื่น ๆ ดังนั้นไม่ว่าวิธีการที่เรากระจายความแตกต่างหน้าในการจราจรระหว่างกลุ่มที่อาจจะยังคงไม่มี ที่จะปรับความแตกต่างนี้และความผันผวนของรายสัปดาห์เราอีกครั้งพล็อตข้อมูลนี้มีความแตกต่างระหว่างทั้งสองกลุ่มดังรูปที่ 3 ตอนนี้ก็ง่ายต่อการดูการจราจรไปยังกลุ่มใช้งานที่ดีขึ้นหลังจากการเปิดตัว. การวัดผลของการทดลอง เราสามารถเปรียบเทียบค่าเฉลี่ยของความแตกต่างก่อนและหลังการเปิดตัวการทดลอง ระยะห่างระหว่างสองเส้นประในรูปที่ 3 เป็นกำไรหรือขาดทุนเฉลี่ยของการทดลองนี้. สิ่งที่เราได้เรียนรู้มีหลายร้อยวิธีที่แตกต่างกันการทำ SEO รวมทั้งแผนผังการเชื่อมโยงการสร้างการออกแบบเว็บไซต์เครื่องมือค้นหาง่ายและอื่น ๆ . กลยุทธ์ที่ดีที่สุดสำหรับการทำ SEO ที่ประสบความสำเร็จสามารถแตกต่างจากผลิตภัณฑ์โดยหน้าและแม้กระทั่งตามฤดูกาล ระบุสิ่งที่ดีที่สุดสำหรับแต่ละกรณีจะช่วยให้เราก้าวไปอย่างรวดเร็วที่มีทรัพยากร จำกัด โดยใช้เป็นจำนวนมากจากการทดลองพบว่ากลยุทธ์ที่รู้จักกันดีสำหรับการทำ SEO ไม่ได้ทำงานให้กับเราในขณะที่กลยุทธ์บางอย่างที่เราไม่มั่นใจเกี่ยวกับการทำงานเช่นเสน่ห์. ยกตัวอย่างเช่นเราเคยสังเกตเห็นว่าเครื่องมือ Google Webmaster ตรวจพบเกินไป หลายแท็กชื่อที่ซ้ำกันบนหน้าคณะกรรมการของเรา แท็กชื่อในหน้าเรือถูกกำหนดให้เป็น "{} board_name เมื่อ Pinterest" และมีคณะกรรมการหลายสร้างโดยผู้ใช้ที่แตกต่างกันที่มีชื่อเดียวกัน แท็กชื่อหน้าเป็นที่รู้จักกันเป็นปัจจัยสำคัญสำหรับการทำ SEO ดังนั้นเราจึงสงสัยว่าการรักษาแท็กชื่อไม่ซ้ำกันจะเพิ่มอัตราการเข้าชม เราวิ่งทดลองเพื่อลดแท็กชื่อที่ซ้ำกันโดยนับรวมทั้งขาในแท็กชื่ออินสแตนซ์สำหรับ "{} board_name เมื่อ Pinterest. | ({} จำนวน Pins)" แต่เราพบว่าไม่มีการเปลี่ยนแปลงอย่างมีนัยสำคัญทางสถิติในการจราจรระหว่างกลุ่ม . ดังนั้นสิ่งที่ทำงานได้ดีเมื่อ Pinterest? Pinterest เต็มไปด้วยนับพันล้านพิน แต่คำอธิบายข้อความที่สามารถขาด เราคิดว่าการให้บริการที่ดีขึ้นข้อความบนหน้าเว็บของเราจะแก้ปัญหานี้เพื่อให้เราเริ่มต้นด้วยการเป็นวิธีการที่ค่อนข้างง่ายที่จะปรับปรุงคำอธิบายข้อความ มีการเพิ่มหมุดโดยผู้ใช้ที่แตกต่างกันและบางบรรยายมากกว่าคนอื่น ๆ สำหรับ Pins จำนวนมากที่เราเลือกเป็นคำอธิบายที่ดีขึ้นจาก Pins อื่น ๆ ที่มีภาพเดียวกันและแสดงให้เห็นว่ามันนอกเหนือไปจากคำอธิบายที่มีอยู่ ผลการทดลองได้ดีกว่าที่เราคาดหวัง (จำรูปที่ 3) ซึ่งแรงบันดาลใจที่เราจะลงทุนมากขึ้นในรายละเอียดข้อความโดยใช้เทคโนโลยีที่ทันสมัยเช่นการวิเคราะห์ภาพ ชุดของการติดตามการทดลองผลในการเพิ่มขึ้นเกือบร้อยละ 30 ในปีที่ผ่านมาอัตราการเข้าชม. การตัดสินใจที่ขับเคลื่อนด้วยข้อมูลในกรณีส่วนใหญ่เราพบว่าผลกระทบของการทดลองเกี่ยวกับการจราจรเริ่มแสดงเป็นช่วงต้นสองสามวันหลังจากการเปิดตัว ความแตกต่างระหว่างกลุ่มที่ยังคงเติบโตสำหรับหนึ่งหรือสองสัปดาห์จนกระทั่งมันกลายเป็นที่มั่นคง รู้อย่างนี้ไม่เพียง แต่จะช่วยให้เราจัดส่งการทดลองที่ประสบความสำเร็จเร็ว แต่ยังช่วยให้เราปิดความล้มเหลวในการทดลองอย่างเร็วที่สุดเท่าที่เป็นไปได้ เราได้เรียนรู้วิธีการนี้ยาก. รูปที่ 4 แสดงผลการทดลองเราวิ่งเพื่อทดสอบการแสดงผลด้วย JavaScript เพื่อให้ได้ประสิทธิภาพที่ดีกว่าเว็บ จุดประสงค์ของการทดลองนี้คือการทำให้แน่ใจว่าการเปลี่ยนแปลงนี้ไม่ได้ส่งผลกระทบในเชิงลบ SEO เราสังเกตเห็นการลดลงเล็กน้อยในการเข้าชมในวันที่สอง แต่ตัดสินใจที่จะรออีกไม่กี่วันเพราะเราคิดว่ามันอาจจะใช้เวลามากขึ้นสำหรับโปรแกรมรวบรวมข้อมูลเพื่อปรับ แต่น่าเสียดายที่มีการกู้คืนในการจราจรไม่และเราจบลงด้วยการปิดการทดลองนี้สองสามวันสายเกินไป แม้หลังจากที่เราปิดการทดลองก็ใช้เวลาเกือบเดือนสำหรับเพจในกลุ่มที่เปิดใช้งานการกู้คืนจากการลดลงของอัตราการเข้าชม นี้เป็นโชคร้าย แต่ตอนนี้เรารู้วิธีการและเมื่อในการตัดสินใจสำหรับการทดลองคล้ายกันในอนาคต นอกจากนี้เราได้เรียนรู้ถึงความสำคัญของการทำงานการทดลองสำหรับโครงการที่ไม่ใช่ SEO เพื่อพิสูจน์ให้เห็นว่าพวกเขาจะไม่ส่งผลกระทบต่อการทำ SEO. การทดลองดังกล่าวข้างต้นอาจจะล้มเหลวหนึ่ง แต่ใช้การทดสอบที่ประสบความสำเร็จอย่างมากในแง่ที่ว่ามันป้องกันได้น่ากลัว การลดลงของอัตราการเข้าชมโดยไม่ก่อให้เกิดเป็นที่รู้จัก โดยทั่วไปเราใช้การทดสอบ SEO สำหรับการเปลี่ยนแปลงที่สำคัญที่ส่งผลกระทบหน้า unauth โดยเฉพาะอย่างยิ่งการเปลี่ยนแปลงรูปแบบที่สำคัญที่จะมุ่งปรับเปลี่ยนแท็ก modals สมัครใหม่และแสดงผลเนื้อหาผ่านทางจาวาสคริปต์จะต้องได้รับการทดสอบกับกรอบการทดสอบ SEO

ผลลัพธ์ (ไทย) 3:

กับการทดลองอัน



จูลี่ จูลี่เป็นวิศวกรซอฟต์แวร์ในการเจริญเติบโตของทีม

Search Engine Optimization ( SEO ) มีหนึ่งที่ใหญ่ที่สุดของไดรเวอร์ของการเจริญเติบโตสำหรับ Pinterest . แต่มันไม่ได้ง่ายเสมอเพื่อหากลยุทธ์ชนะในระดับของเรา นอกจากนี้ กลยุทธ์ SEO รวมถึงพยายามออกกลยุทธ์ที่แตกต่างกัน และหวังที่ดีที่สุดคุณอาจจะมีการจราจรวันดีหรือวันรถติด และไม่ทราบจริงๆสิ่งที่เป็นตัวกระตุ้น ซึ่งมักจะทำให้คนคิดว่า ซอ เป็นมายากลมากกว่าวิศวกรรม

เป้าหมาย SEO ของเราคือการช่วยให้พันล้านผู้ใช้อินเทอร์เน็ตค้นหา Pinterest และค้นหาค่าในมันเป็นเครื่องมือบุ๊คมาร์คภาพตลอดเวลาที่เราได้พบวิธีเดียวที่จะตรวจสอบหากเปลี่ยนแปลงที่มีผลต่อผู้ใช้ในเชิงบวกคือการใช้ A / B test แต่น่าเสียดายที่เราไม่ได้มีเครื่องมือในการทดสอบพฤติกรรมของเครื่องมือค้นหาเพื่อให้เราสร้างขึ้นทดสอบกรอบและใช้มันเพื่อเปิด " วิเศษ " เป็น deterministic วิทยาศาสตร์ .





กรอบอาคาร SEO การทดลองกับกรอบเราต้องการที่จะสร้างโปรแกรมเครื่องมือที่ช่วยให้เราเพื่อแม่นยำในการวัดผลโดยรวมของเนื้อหาที่แก้ไขได้ใน SEO และที่สำคัญการเติบโตของผู้ใช้โดยรวม

การทดลองเครื่องมือประกอบด้วยเหล่านี้สามอิสระส่วนประกอบ :

ค่าเพื่อกำหนดกลุ่มทดลองและช่วง
ทุกวัน ข้อมูลงานคำนวณการจราจรไปยังหน้าเว็บในแต่ละกลุ่มทดลอง ( เราวัดการจราจรโดยจํานวนเฉพาะเซสชันโดยเรียกเครื่องมือค้นหากับ Pinterest หน้าแดชบอร์ดเพื่อดูผลลัพธ์ )



ไม่เหมือน / b การทดลองที่มักจะทำโดยการแบ่งกลุ่มผู้ใช้ของเรา , ซอทดสอบกรอบส่วนหน้า ตัวอย่างเช่นในการทดลองซึ่งมีร้อยละ 50 ของหน้าจัดกลุ่มใน " เปิด " และอีกร้อยละ 50 แบ่ง " ควบคุม , " หน้าจะตกอยู่ในหนึ่งของกลุ่มขึ้นอยู่กับ URL :

'enabled ' ถ้า hash ( experiment_name page_url ) ใน enabled_group_range

'control ' ถ้า hash ( experiment_name page_url ) ใน control_group_range

บริการหน้า URL รวมกับชื่อการทดลองเพื่อให้แน่ใจถึงการกระจายของหน้า ระหว่างกลุ่มทดลอง และช่วยให้เราสามารถทำการทดลองหลายกลุ่มพร้อมกันกับการเปลี่ยนแปลงขนาด

เมื่อทดลองและใช้งาน เราสามารถวัดประสิทธิภาพของแต่ละกลุ่ม โดยการเปรียบเทียบการจราจร . . . .



ตามรูปที่ 2 แสดงให้เห็นถึง ,การจราจรระหว่างสองกลุ่มไม่ได้เหมือนกัน ก่อนเริ่มการทดลองกับการใช้งานกลุ่มการจราจรลดลงมากกว่ากลุ่มควบคุม เพราะบางหน้าเว็บที่เป็นที่นิยมมากขึ้นกว่าคนอื่น ๆ ดังนั้นไม่ว่าเราจะแจกหน้าความแตกต่างในการจราจรระหว่างกลุ่มอาจยังคงอยู่ เพื่อให้ความขัดแย้งนี้และความผันผวนของรายสัปดาห์เรากำลังแปลงข้อมูลนี้กับความแตกต่างระหว่างสองกลุ่ม ดังรูปที่ 3 ตอนนี้มันง่ายที่จะเห็นการจราจรเพื่อเปิดใช้งานกลุ่มดีขึ้น หลังจากการเปิดตัว



ในการวัดผลของการทดลอง เราสามารถเปรียบเทียบค่าเฉลี่ยของความแตกต่างก่อนและหลังการทดลองยิง ระยะห่างระหว่างสองเส้นประในรูปที่ 3 คือ เฉลี่ยได้รับหรือสูญเสียของการทดลองนี้ .



สิ่งที่เราเรียนรู้

มีหลายวิธีที่แตกต่างกันเพื่อทำ SEO รวมถึง sitemaps , สร้างการเชื่อมโยง , เครื่องมือค้นหามิตรเว็บไซต์ออกแบบและ กลยุทธ์ที่ดีที่สุดสำหรับความสำเร็จ SEO จะแตกต่างจากผลิตภัณฑ์โดยหน้าและแม้แต่จากฤดูกาล ระบุสิ่งที่จะทำงานได้ดีที่สุดสำหรับแต่ละกรณีจะช่วยให้เราย้ายอย่างรวดเร็วด้วยทรัพยากรที่ จำกัด โดยการใช้จำนวนมากของการทดลองเราพบบางกลยุทธ์ที่รู้จักกันดีสำหรับไม่ได้ผล SEO สำหรับเรา ในขณะที่บางกลยุทธ์ที่เราไม่มั่นใจเรื่องทำงานเช่นเสน่ห์ .

ตัวอย่าง เราเคยสังเกตว่าเครื่องมือเว็บมาสเตอร์ Google ตรวจพบมากเกินไปซ้ำชื่อแท็กบนหน้าเว็บบอร์ดของเรา แท็กชื่อเรื่องบนกระดานหน้าถูกตั้งค่าเป็น " board_name } { บน Pinterest ," และมีหลายบอร์ดที่สร้างขึ้นโดยผู้ใช้ที่แตกต่างกันที่มีชื่อเดียวกัน หน้าแท็กชื่อเป็นที่รู้จักกันจะเป็นปัจจัยสำคัญสำหรับ SEO เพื่อให้เราสงสัยว่า ถ้ารักษาแท็กชื่อเรื่องซ้ำจะเพิ่มการจราจร เราวิ่งทดลองลดแท็กชื่อซ้ำ โดยนับรวมทั้งพินในแท็กชื่อเรื่องเช่น " { board_name } ( { หมุด Pinterest | หมายเลข } )" แต่เราพบว่า มีจำนวนเปลี่ยนแปลงในการจราจรระหว่างกลุ่ม

แล้วทำงานได้ดีบน Pinterest ? Pinterest เต็มไปด้วยนับพันล้านของหมุด แต่ข้อความอธิบายจะขาด เราสันนิษฐานว่าให้ข้อความขึ้นบนหน้าเว็บของเราจะแก้ไขปัญหานี้ได้ ดังนั้นเราจึงเริ่มด้วยวิธีการที่ค่อนข้างง่ายที่จะเพิ่มข้อความอธิบาย .พินจะถูกเพิ่ม โดยผู้ใช้ที่แตกต่างกันมากและบางเป็นเชิงพรรณนา มากกว่าคนอื่น ๆ หลายขา เราเก็บรายละเอียดได้ดีๆ หมุดที่มีภาพเดียวกันและพบนอกเหนือไปจากรายละเอียดที่มีอยู่ ผลการทดลองได้ดีกว่าที่เราคาดไว้ ( จำรูปที่ 3 ? ) ซึ่งกระตุ้นให้เราลงทุนเพิ่มเติมในข้อความอธิบายการใช้เทคโนโลยีที่ทันสมัยเช่น การวิเคราะห์ภาพ ชุดติดตามการทดลองมีผลในเกือบร้อยละ 30 เพิ่มขึ้นในการจราจรเมื่อปีที่แล้ว

ตัดสินใจ
-
ในกรณีส่วนใหญ่ที่เราพบว่า ผลกระทบของการทดลองการจราจรเริ่มแสดงก่อนสองสามวัน หลังจากเปิดใช้ ความแตกต่างระหว่างกลุ่มยังคงเติบโตสำหรับสัปดาห์หรือสองจนกว่ามันจะกลายเป็นมั่นคงรู้นี้ไม่เพียง แต่ช่วยให้เราเรือการทดลองประสบความสำเร็จได้เร็วขึ้น แต่ยังช่วยให้เราปิด ล้มเหลว โดยเร็วที่สุด เราได้เรียนรู้นี้วิธีที่ยาก .



รูปที่ 4 แสดงผลของการทดลอง เราวิ่งเพื่อทดสอบการแสดงผลด้วย javascript ดีกว่าเว็บงาน วัตถุประสงค์ของการทดลองนี้คือเพื่อให้แน่ใจว่า การเปลี่ยนแปลงนี้ไม่ได้ส่งผลกระทบต่อ SEO ในทางลบเราเห็นลดลงเล็กน้อยในการจราจรในวันสองวัน แต่ตัดสินใจที่จะรออีกสองสามวัน เพราะเราคิดว่า มันอาจจะใช้เวลามากขึ้นสำหรับโปรแกรมปรับ แต่น่าเสียดายที่ไม่มีการกู้คืนในการจราจรและเราสิ้นสุดขึ้นปิดทำการ 2 วันสายเกินไป หลังจากที่เราปิดทดสอบมันใช้เวลาเกือบเดือนสำหรับหน้าในการเปิดใช้งานกลุ่มกู้คืนจากการจราจรลดลง นี้เป็นโชคร้าย แต่ตอนนี้เราทราบวิธีการ และเวลาในการตัดสินใจสำหรับการทดลองที่คล้ายกันในอนาคต นอกจากนี้ เราได้เรียนรู้ถึงความสำคัญของการทดลองวิ่งไม่ใช่โครงการ SEO เพื่อพิสูจน์ว่า พวกเขาไม่ได้ส่งผลซอ

การทดลองข้างต้นอาจจะพลาดหนึ่งแต่ไปทดลองความสําเร็จอย่างมากในความรู้สึกว่า มันป้องกันได้ลดลงการจราจรแย่มาก โดยไม่ทราบสาเหตุ โดยทั่วไปเราเรียกซอการทดลองสำหรับการเปลี่ยนแปลงที่ส่งผลกระทบต่อ unauth หน้า โดยเฉพาะการเปลี่ยนแปลงเค้าโครงหลัก การปรับเปลี่ยนหัวเรื่องแท็กข้างล่างสมัครใหม่และการแสดงผลเนื้อหาผ่านทาง JavaScript ต้องทดสอบกับกรอบทดสอบ SEO