In online service systems, delay ex

In online service systems, delay experienced by a user from the service request to the service completion is one of the most critical performance metrics. To improve user delay experience, in this thesis, we investigate a novel aspect of system design: proactive serving, where the system can predict future user request arrivals and allocate its capacity to serve these upcoming requests proactively. This approach is complementary to the conventional capacity boosting mechanism and is motivated by recent industrial and academic advances. In particular, we investigate the fundamentals of proactive serving from a queuing theory perspective.

First, most importantly, we show that under proactive serving the average user delay decreases exponentially (in the prediction window size) for a wide range of queuing models. Furthermore, the delay reduction is robust against prediction errors. We also show that both the variance of user delay and the tail of user delay decrease exponentially under proactive serving, which are also important user delay experience metrics.

We then show that proactive serving is more effective in decreasing user delay than capacity boosting in light workload regime. In particular, the average user delay decays inverse-proportionally in system capacity, but exponentially in the prediction window size in proactive serving.

Finally we demonstrate how to leverage proactive serving in system design from a optimization point of view, e.g., how many resources are dedicated to proactive serving. The results provide useful engineering insights to system designers.

Our trace-driven simulation results demonstrate the practical power of proactive serving: for example, under the YouTube data trace of 1000 different videos, the average user delay can be decreased by 50% when the system predicts 100 seconds ahead. Our results provide useful insights for proactive serving and justify its increasing applications in practical systems.

ผลลัพธ์ (ไทย) 1:

ระบบบริการออนไลน์ ล่าช้า โดยผู้ใช้จากการบริการร้องขอเสร็จสมบูรณ์บริการประสบการณ์เป็นหนึ่งในเครื่องมือวัดประสิทธิภาพสำคัญที่สุด เพื่อปรับปรุงประสบการณ์ระหว่างผู้ใช้ ในวิทยานิพนธ์นี้ เราตรวจสอบการออกแบบระบบด้านนวนิยาย: ขอให้บริการเชิงรุก ซึ่งระบบสามารถทำนายมาถึงคำขอของผู้ใช้ในอนาคต และจัดสรรกำลังการผลิตการให้บริการเหล่านี้เกิดขึ้นทุกวันนี้ วิธีการนี้เสริมกำลังการผลิตปกติส่งเสริมกลไก และแรงจูงใจ โดยความก้าวหน้าด้านวิชาการ และอุตสาหกรรมล่าสุด โดยเฉพาะอย่างยิ่ง เราตรวจสอบพื้นฐานของการให้บริการเชิงรุกจากมุมมองของทฤษฎีการจัดคิว ครั้งแรก สำคัญ แสดงว่า ภายใต้การให้บริการเชิงรุก การหน่วงเวลาของผู้ใช้โดยเฉลี่ยลดลงสร้าง (ในขนาดหน้าต่างพยากรณ์) ในหลากหลายรูปแบบจัดคิว นอกจากนี้ การลดความล่าช้าได้แข็งแกร่งกับข้อผิดพลาดในการทำนาย เรายังแสดงว่า ความแปรปรวนของความล่าช้าของผู้ใช้และหางของผู้ใช้เลื่อนลดสร้างภายใต้การให้บริการเชิงรุก ซึ่งยังวัดประสบการณ์ระหว่างผู้ใช้ที่สำคัญ เราจากนั้นแสดงว่าการให้บริการเชิงรุกเพิ่มประสิทธิภาพในการลดความล่าช้าของผู้ใช้กว่ากำลังการผลิตเพิ่มในระบอบปริมาณแสง โดยเฉพาะอย่างยิ่ง ความล่าช้าของผู้ใช้โดยเฉลี่ย decays ผกผันสัด ในระบบ แต่สร้าง ในขนาดหน้าต่างคาดเดาในการให้บริการเชิงรุก สุดท้าย เราสาธิตวิธีใช้ให้บริการเชิงรุกในการออกแบบระบบจากการปรับมุมมอง เช่น ทุ่มเททรัพยากรจำนวนการให้บริการเชิงรุก ผลการให้ข้อมูลเชิงลึกทางวิศวกรรมที่มีประโยชน์การออกแบบระบบ ผลการจำลองควบคุมติดตามของเราแสดงให้เห็นถึงอำนาจปฏิบัติการให้บริการเชิงรุก: ตัวอย่าง ภายใต้การติดตามข้อมูล YouTube ของวิดีโออื่น 1000 ความล่าช้าโดยเฉลี่ยผู้ใช้สามารถลดลง 50% เมื่อระบบทำนาย 100 วินาทีข้างหน้านี้ ผลของเราให้ข้อมูลที่เป็นประโยชน์สำหรับการให้บริการเชิงรุก และจัดโปรแกรมที่เพิ่มขึ้นในระบบปฏิบัติ

ผลลัพธ์ (ไทย) 2:

ในระบบบริการออนไลน์ล่าช้าประสบการณ์โดยผู้ใช้จากการร้องขอการบริการที่จะเสร็จสิ้นการบริการที่เป็นหนึ่งในตัวชี้วัดประสิทธิภาพที่สำคัญที่สุด เพื่อปรับปรุงประสบการณ์ของผู้ใช้ความล่าช้าในวิทยานิพนธ์ฉบับนี้เราจะตรวจสอบด้านนวนิยายการออกแบบระบบ: การให้บริการเชิงรุกที่ระบบสามารถคาดการณ์ตัวเลขนักท่องเที่ยวคำขอของผู้ใช้ในอนาคตและการจัดสรรความสามารถในการตอบสนองการร้องขอที่จะเกิดขึ้นเหล่านี้ในเชิงรุก วิธีการนี้ประกอบกับกำลังการผลิตเดิมกลไกการส่งเสริมและมีแรงจูงใจจากความก้าวหน้าทางวิชาการและอุตสาหกรรม โดยเฉพาะอย่างยิ่งเราจะตรวจสอบพื้นฐานของการให้บริการเชิงรุกจากมุมมองของทฤษฎีแถวคอย. ครั้งแรกที่สำคัญที่สุดคือเราแสดงให้เห็นว่าภายใต้การให้บริการเชิงรุกล่าช้าผู้ใช้โดยเฉลี่ยลดลงชี้แจง (ขนาดหน้าต่างทำนาย) สำหรับหลากหลายรูปแบบการเข้าคิว นอกจากนี้การลดความล่าช้ามีประสิทธิภาพข้อผิดพลาดการทำนาย นอกจากนี้เรายังแสดงให้เห็นว่าทั้งความแปรปรวนของความล่าช้าของผู้ใช้และหางของการลดลงของความล่าช้าผู้ชี้แจงภายใต้การให้บริการเชิงรุกที่ยังมีความล่าช้าของผู้ใช้ที่สำคัญตัวชี้วัดที่มีประสบการณ์. จากนั้นเราจะแสดงให้เห็นว่าการให้บริการเชิงรุกที่มีประสิทธิภาพมากขึ้นในการลดความล่าช้าของผู้ใช้กว่าความจุเพิ่มในภาระงานแสง ระบบการปกครอง โดยเฉพาะอย่างยิ่งความล่าช้าผู้ใช้โดยเฉลี่ยสลายตัวผกผันตามสัดส่วนในความสามารถของระบบ แต่ชี้แจงในขนาดของหน้าต่างการคาดการณ์ในการให้บริการเชิงรุก. ในที่สุดเราแสดงให้เห็นถึงวิธีการใช้ประโยชน์ในเชิงรุกให้บริการในการออกแบบระบบจากจุดเพิ่มประสิทธิภาพของมุมมองเช่นวิธีการหลายทรัพยากรที่มี ทุ่มเทให้กับการให้บริการเชิงรุก ผลการให้ข้อมูลเชิงลึกด้านวิศวกรรมมีประโยชน์ในการออกแบบระบบ. ร่องรอยที่ขับเคลื่อนด้วยผลการจำลองของเราแสดงให้เห็นถึงอำนาจในทางปฏิบัติของการให้บริการเชิงรุก: ยกตัวอย่างเช่นภายใต้ร่องรอยข้อมูล YouTube 1000 วิดีโอที่แตกต่างกัน, ความล่าช้าผู้ใช้โดยเฉลี่ยสามารถลดลง 50% เมื่อระบบ คาดการณ์ 100 วินาทีข้างหน้า ผลของเราให้ข้อมูลเชิงลึกที่มีประโยชน์สำหรับการให้บริการเชิงรุกและแสดงให้เห็นถึงการใช้งานที่เพิ่มขึ้นในระบบการปฏิบัติ

ผลลัพธ์ (ไทย) 3:

ในระบบบริการออนไลน์ล่าช้าที่มีประสบการณ์โดยผู้ใช้จากการร้องขอบริการให้บริการเป็นหนึ่งในตัวชี้วัดประสิทธิภาพที่สำคัญที่สุด เพื่อปรับปรุงประสบการณ์ของผู้ใช้ ล่าช้า ในวิทยานิพนธ์ฉบับนี้จะศึกษาแง่มุมใหม่ของการออกแบบระบบเชิงรุกให้บริการซึ่งระบบสามารถทำนายอนาคตของผู้ใช้ที่เข้ามาขอจัดสรรความจุเพื่อตอบสนองการร้องขอที่จะเกิดขึ้นเหล่านี้วันนี้ วิธีการนี้จะ ประกอบกับความจุปกติส่งเสริมกลไกและเป็นแรงจูงใจ โดยล่าสุด อุตสาหกรรม และ วิชาการก้าวหน้า โดยเฉพาะ เราศึกษาพื้นฐานเชิงรุกให้บริการจากมุมมองทฤษฎีแถวคอย .

ตอนแรกที่สำคัญที่สุด เราแสดงให้เห็นว่าภายใต้เชิงรุกให้ล่าช้าผู้ใช้โดยเฉลี่ยลดลงอย่างรวดเร็ว ( ในหน้าต่างทำนายขนาด ) สำหรับช่วงกว้างของแถวคอย นอกจากนี้ การลดข้อผิดพลาดที่แข็งแกร่งกับคำทำนาย นอกจากนี้เรายังแสดงให้เห็นว่า ความล่าช้าของผู้ใช้และหางของผู้ใช้ภายใต้ความล่าช้าลดลงชี้แจงเชิงรุกให้บริการที่สำคัญผู้ใช้ล่าช้าประสบการณ์มาตรวัด

เราแสดงให้เห็นว่าเชิงรุกให้มีประสิทธิภาพในการลดความล่าช้ากว่าความจุเพิ่มผู้ใช้ในระบบการปกครอง โดยเฉพาะผู้ใช้โดยเฉลี่ยตามสัดส่วนผกผันสลายตัวช้า ในความจุของระบบ แต่ชี้แจงในการทำนายขนาดของหน้าต่างในเชิงรุกให้บริการ

สุดท้ายเราแสดงให้เห็นถึงวิธีการที่จะใช้ประโยชน์จากการให้บริการเชิงรุกในระบบเพิ่มประสิทธิภาพการออกแบบจากจุดของมุมมอง เช่น จํานวนทรัพยากรทุ่มเทเพื่อให้บริการเชิงรุก . ผลลัพธ์ที่ให้ข้อมูลเชิงลึกที่เป็นประโยชน์ เพื่อออกแบบวิศวกรรมระบบ

ของเราติดตามผลการจำลองแบบแสดงให้เห็นถึงพลังขับเคลื่อนการปฏิบัติเชิงรุกให้บริการตัวอย่างเช่นภายใต้ youtube ข้อมูลร่องรอยของ 1000 วิดีโอที่แตกต่างกันล่าช้าผู้ใช้โดยเฉลี่ยจะลดลง 50% เมื่อระบบคาดการณ์ 100 วินาทีข้างหน้า ผลของเราให้ข้อมูลเชิงลึกที่เป็นประโยชน์สำหรับเชิงรุกให้บริการและปรับเพิ่มขึ้นของการใช้งานในระบบปฏิบัติ .