4.4 All Reduce and Message SizeFigu

4.4 All Reduce and Message Size
Figure 5 presents the latency of the AllReduce collective communication when the message size varies. Focusing first on the cost of the Revoked AllReduce operation, one can observe that the duration of the operation remains independent of the message size until the message size increases to 1MB or more. As the Revoked operation is interrupted before exchanging the entire communication volume, this behavior is expected. For larger message sizes, however, the delivery of the Revoke notification may be delayed by the granularity of the ongoing reduction computation; as these computations are progressing, the MPI progress engine is managing
them with maximum priority, and thus does not consider incoming fragments for that time duration. As soon as one of these computation completes, the Revoke notification is
delivered, supplementary computation on pipelined blocks are discarded, and further data transfers cancelled. For post-Revoke AllReduce operations, the impact of jitter on performance is visible only for small message operations. As soon as the message size is larger than 512 bytes, the initial performance difference is absorbed in the cost of
the operation itself. Interestingly, the standard deviation (between 2,000 runs) for both Revoked and jitter-disturbed AllReduce operations remains low, and of the same magnitude as the natural, failure-free standard deviation of the operation.

ผลลัพธ์ (ไทย) 1:

4.4 ทั้งลด และขนาดของข้อความรูปที่ 5 แสดงเวลาแฝงของการสื่อสารรวม AllReduce เมื่อขนาดของข้อความที่แตกต่างกันไป ครั้งแรกเน้นที่ต้นทุนของการดำเนินการยกเลิก AllReduce หนึ่งสามารถสังเกตว่า ระยะเวลาของการดำเนินงานยังคงเป็นอิสระจากขนาดของข้อความจนกว่าขนาดของข้อความที่เพิ่มขึ้น 1MB หรือมากกว่า เป็นการดำเนินการของ Revoked ถูกขัดจังหวะก่อนที่จะแลกเปลี่ยนระดับเสียงทั้งหมด ลักษณะการทำงานที่คาดไว้ สำหรับขนาดข้อความใหญ่ อย่างไรก็ตาม การส่งการแจ้งเตือนการยกเลิกอาจล่าช้า โดยละเอียดของการคำนวณลดลงอย่างต่อเนื่อง เป็นประมวลผลเหล่านี้มีความก้าวหน้า ความคืบหน้าของโปรแกรม MPI คือการจัดการพวกเขา มีความสำคัญสูงสุด และจึง พิจารณาเข้าชิ้นส่วนสำหรับระยะเวลาที่ เป็นการคำนวณเหล่านี้อย่างใดอย่างหนึ่งเสร็จสิ้น แจ้งยกเลิกได้ส่ง เสริมคำนวณบนบล็อกแล้วง่ายดีมากจะส่งข้อมูลทิ้ง และการยกเลิก สำหรับการยกเลิกหลัง AllReduce ผลกระทบของกระวนกระวายใจประสิทธิภาพการทำงานจะมองเห็นได้เฉพาะสำหรับข้อความเล็ก ๆ เป็นข้อความมีขนาดใหญ่กว่า 512 ไบต์ ความแตกต่างของประสิทธิภาพการทำงานเริ่มต้นจะถูกดูดซึมในต้นทุนการดำเนินการเอง น่าสนใจ ส่วนเบี่ยงเบนมาตรฐาน (ระหว่างทำงาน 2000) สำหรับ Revoked และรบกวนวาด AllReduce การดำเนินงานยังคงต่ำ และขนาดเดียวกันเป็นส่วนเบี่ยงเบนมาตรฐานธรรมชาติ ปราศจากความล้มเหลวของการดำเนินงาน

ผลลัพธ์ (ไทย) 2:

4.4 ลดขนาดของข้อความและ
รูปที่ 5 นำเสนอความล่าช้าของการสื่อสารรวม AllReduce เมื่อขนาดของข้อความที่แตกต่างกันไป มุ่งเน้นเป็นครั้งแรกในค่าใช้จ่ายของการดำเนินการเพิกถอน AllReduce หนึ่งสามารถสังเกตได้ว่าในช่วงระยะเวลาของการดำเนินงานยังคงเป็นอิสระจากขนาดของข้อความจนกว่าจะมีการเพิ่มขึ้นของขนาดของข้อความถึง 1MB หรือมากกว่า ขณะที่การดำเนินการเพิกถอนถูกขัดจังหวะก่อนที่จะแลกเปลี่ยนปริมาณการสื่อสารทั้งพฤติกรรมนี้คาดว่า สำหรับขนาดข้อความที่มีขนาดใหญ่ แต่การจัดส่งของการแจ้งเตือนเพิกถอนอาจมีความล่าช้าโดยเมล็ดของการคำนวณการลดลงอย่างต่อเนื่อง; เป็นคำนวณเหล่านี้มีความคืบหน้าเครื่องยนต์ความคืบหน้า MPI คือการจัดการ
พวกเขาด้วยการจัดลำดับความสำคัญสูงสุดและจึงไม่ได้พิจารณาชิ้นส่วนขาเข้าสำหรับระยะเวลาที่ ทันทีที่หนึ่งของการคำนวณเหล่านี้เสร็จสิ้นการแจ้งยกเลิกจะ
ส่งคำนวณเพิ่มเติมในบล็อกไปป์ไลน์จะถูกยกเลิกและการถ่ายโอนข้อมูลต่อไปยกเลิก สำหรับการดำเนินงาน AllReduce-ยกเลิกการโพสต์ผลกระทบของกระวนกระวายใจกับประสิทธิภาพการทำงานจะมองเห็นได้เฉพาะข้อความการดำเนินงานที่มีขนาดเล็ก เร็วที่สุดเท่าที่ขนาดของข้อความที่มีขนาดใหญ่กว่า 512 ไบต์ที่แตกต่างประสิทธิภาพเริ่มต้นจะถูกดูดซึมในค่าใช้จ่ายของ
การดำเนินงานของตัวเอง ที่น่าสนใจค่าเบี่ยงเบนมาตรฐาน (ระหว่าง 2,000 วิ่ง) สำหรับทั้งยกเลิกและกระวนกระวายใจรบกวนการดำเนินงาน AllReduce ยังคงต่ำและขนาดเช่นเดียวกับธรรมชาติส่วนเบี่ยงเบนมาตรฐานความล้มเหลวของฟรีของการดำเนินงาน

ผลลัพธ์ (ไทย) 3:

4.4 ทั้งหมดลดขนาดข้อความรูปที่ 5 แสดงศักยภาพของ allreduce รวมการสื่อสารเมื่อข้อความขนาดแตกต่างกันไป เน้นเป็นครั้งแรกในต้นทุนของการยกเลิกการ allreduce หนึ่งสามารถสังเกตว่าระยะเวลาการดำเนินงานยังคงเป็นอิสระของข้อความขนาดจนกว่าข้อความจะเพิ่มขนาด 1MB หรือมากกว่า เป็นการเพิกถอนการขัดจังหวะก่อนที่จะแลกเปลี่ยนปริมาณการสื่อสารทั้งหมด พฤติกรรมนี้เป็นที่คาดหวัง ขนาดข้อความขนาดใหญ่ อย่างไรก็ตาม การยกเลิกการแจ้งเตือนอาจจะล่าช้าตาม granularity ของการคำนวณการลดอย่างต่อเนื่อง เช่นการคำนวณเหล่านี้มีความคืบหน้า , ความคืบหน้าการจัดการ MPI เครื่องยนต์ให้ความสำคัญสูงสุด จึงไม่พิจารณาชิ้นส่วนขาเข้าสำหรับระยะเวลา ทันทีที่หนึ่งของเหล่านี้ในการคำนวณเสร็จสมบูรณ์ ยกเลิกการแจ้งเป็นส่ง การคำนวณเรื่อง pipelined บล็อกจะถูกยกเลิก และเพิ่มเติมข้อมูลการยกเลิก การยกเลิกการ allreduce , ผลกระทบของการส่งงาน สามารถมองเห็นได้เพียงสำหรับการดำเนินงานข้อความเล็ก ๆ ทันทีที่ข้อความขนาดจะใหญ่กว่า 512 ไบต์ ความแตกต่างประสิทธิภาพเริ่มต้นถูกดูดซึมในค่าใช้จ่ายของการผ่าตัด น่าสนใจ , ส่วนเบี่ยงเบนมาตรฐาน ( ระหว่างปี 2000 วิ่ง ) ทั้งเพื่อเพิกถอนและกระวนกระวายใจรบกวน allreduce การดำเนินการยังคงต่ำและขนาดเดียวกับธรรมชาติ ความล้มเหลวฟรีค่าส่วนเบี่ยงเบนมาตรฐานของการปฏิบัติการ