As we move towards efficient exasca

As we move towards efficient exascale systems, heterogeneous accelerators like NVIDIA GPUs are becoming a significant compute
component of modern HPC clusters. It has become important to
utilize every single cycle of every compute device available in the
system. From NICs to GPUs to Co-processors, heterogeneous compute resources are the way to move forward. Another important
trend, especially with the introduction of non-blocking collective
communication in the latest MPI standard, is overlapping communication with computation. It has become an important design goal
for messaging libraries like MVAPICH2 and OpenMPI. In this paper, we present an important benchmark that allows the users of different MPI libraries to evaluate performance of GPU-Aware NonBlocking Collectives. The main performance metrics are overlap and latency. We provide insights on designing a GPU-Aware
benchmark and discuss the challenges associated with identifying
and implementing performance parameters like overlap, latency,
effect of MPI_Test() calls to progress communication, effect of
independent GPU communication while the overlapped computation proceeds under the communication, and the effect of complexity, target, and scale of this overlapped computation. To illustrate
the efficacy of the proposed benchmark, we provide a comparative
performance evaluation of GPU-Aware Non-Blocking Collectives
in MVAPICH2 and OpenMPI.

ผลลัพธ์ (ไทย) 1:

ขณะที่เราต่อระบบ exascale ที่มีประสิทธิภาพ ส่วนช่วยดำเนินการแตกต่างกันเช่น NVIDIA GPUs จะกลายเป็น การคำนวณที่สำคัญส่วนประกอบของ HPC ทันสมัยกลุ่ม มันเป็นสิ่งสำคัญที่จะใช้วงจรทุกเดี่ยวของทุกอุปกรณ์คำนวณที่มีอยู่ในตัวระบบ จาก Nic การร่วมประมวลผล Gpu ทรัพยากรคำนวณแตกต่างกันเป็นวิธีการย้ายไปข้างหน้า อีกที่สำคัญแนวโน้ม โดยเฉพาะอย่างยิ่ง ด้วยการแนะนำบล็อกที่ไม่ใช่กลุ่มการสื่อสารใน MPI ล่าสุดมาตรฐาน เป็นทับซ้อนกับการคำนวณ มันได้กลายเป็นเป้าหมายสำคัญในการออกแบบสำหรับไลบรารีเช่น MVAPICH2 และ OpenMPI การส่งข้อความ ในกระดาษนี้ เรานำเสนอเป็นมาตรฐานสำคัญที่ช่วยให้ผู้ใช้ของไลบรารีต่าง ๆ ของ MPI เพื่อประเมินประสิทธิภาพของ GPU ทราบ NonBlocking สหกรณ์ วัดประสิทธิภาพหลักทับซ้อนและล่าช้า เราให้ข้อมูลเชิงลึกเกี่ยวกับการออกแบบ GPU ทราบเกณฑ์มาตรฐาน และหารือเกี่ยวกับความท้าทายที่เกี่ยวข้องกับการระบุและการใช้ประสิทธิภาพพารามิเตอร์เช่นทับซ้อน แฝงผลของการเรียก MPI_Test() ความคืบหน้าการสื่อสาร ผลของการดำเนินการภายใต้การสื่อสารสื่อสาร GPU อิสระในขณะที่การคำนวณคาบเกี่ยวกัน และผลของความซับซ้อน เป้าหมาย และสเกลนี้เหลื่อมคำนวณ เพื่อแสดงให้เห็นประสิทธิภาพของมาตรฐานเสนอ เรามีการเปรียบเทียบประเมินประสิทธิภาพของ GPU ทราบไม่ใช่ปิดกั้นสหกรณ์ใน MVAPICH2 และ OpenMPI

ผลลัพธ์ (ไทย) 2:

ในฐานะที่เราย้ายไปทางระบบ Exascale ที่มีประสิทธิภาพที่แตกต่างกันเช่นการเร่ง GPUs NVIDIA จะกลายเป็น Compute ที่สำคัญ
ส่วนหนึ่งของกลุ่ม HPC ที่ทันสมัย มันได้กลายเป็นสิ่งสำคัญที่จะ
ใช้ประโยชน์จากทุกรอบของอุปกรณ์ประมวลผลทุกที่มีอยู่ใน
ระบบ จากนิคส์เพื่อ GPUs เพื่อร่วมประมวลผลทรัพยากรประมวลผลที่แตกต่างกันเป็นวิธีที่จะก้าวไปข้างหน้า ที่สำคัญอีก
แนวโน้มโดยเฉพาะอย่างยิ่งด้วยการแนะนำของ non-blocking ส่วนรวม
สื่อสารในมาตรฐาน MPI ล่าสุดเป็นที่ทับซ้อนกันการสื่อสารกับการคำนวณ มันได้กลายเป็นเป้าหมายการออกแบบที่สำคัญ
สำหรับห้องสมุดเช่นการส่งข้อความ MVAPICH2 และ OpenMPI ในบทความนี้เรานำเสนอมาตรฐานที่สำคัญที่ช่วยให้ผู้ใช้ห้องสมุด MPI ที่แตกต่างกันในการประเมินประสิทธิภาพการทำงานของ GPU-Aware สหกรณ์ nonblocking ตัวชี้วัดประสิทธิภาพการทำงานหลักคือการทับซ้อนและแฝง เราให้ข้อมูลเชิงลึกเกี่ยวกับการออกแบบ GPU-Aware
มาตรฐานและหารือเกี่ยวกับความท้าทายที่เกี่ยวข้องกับการระบุ
และการใช้พารามิเตอร์ประสิทธิภาพเช่นทับซ้อนแฝง
ผลของ MPI_Test () เรียกร้องให้มีความคืบหน้าการสื่อสารผลของ
การสื่อสาร GPU อิสระในขณะที่รายได้ในการคำนวณที่คาบเกี่ยวกันภายใต้การสื่อสาร และผลของความซับซ้อนเป้าหมายและขนาดของการคำนวณนี้ซ้อนทับ แสดงให้เห็นถึง
ประสิทธิภาพของมาตรฐานที่นำเสนอที่เรามีให้เปรียบเทียบ
การประเมินผลการปฏิบัติงานของสหกรณ์ไม่ปิดกั้น GPU-Aware
ใน MVAPICH2 และ OpenMPI

ผลลัพธ์ (ไทย) 3:

ขณะที่เราย้ายไปสู่ระบบ exascale มีประสิทธิภาพเร่งต่างกัน เช่น NVIDIA GPUs กลายเป็นสถิติคำนวณส่วนประกอบของคลัสเตอร์ HPC ที่ทันสมัย มันได้กลายเป็นที่สำคัญใช้ทุกๆ รอบของทุกค่าอุปกรณ์ที่มีอยู่ในระบบ จากโรงเรียนไปสุด Co โปรเซสเซอร์ที่แตกต่างกันการคำนวณทรัพยากรเป็นวิธีที่จะย้ายไปข้างหน้า อื่นที่สำคัญแนวโน้ม โดยเฉพาะอย่างยิ่งกับการไม่ปิดกั้นร่วมการสื่อสารในมาตรฐาน MPI ล่าสุด , ที่ทับซ้อนกันในการสื่อสารกับผลที่ได้จากการคำนวณ มันได้กลายเป็นเป้าหมายสำคัญ ออกแบบสำหรับห้องสมุด เช่น mvapich2 และ openmpi ส่งข้อความ ในกระดาษนี้เราเสนอที่สำคัญที่สุดที่ช่วยให้ผู้ใช้ห้องสมุด MPI ที่แตกต่างกันเพื่อประเมินสมรรถนะของ GPU ทราบ nonblocking สหกรณ์ . ตัวชี้วัดสมรรถนะหลักที่ทับซ้อนกัน และแฝงอยู่ เราให้ข้อมูลเชิงลึกในการออกแบบ GPU ตระหนักถึงมาตรฐานและหารือเกี่ยวกับความท้าทายที่เกี่ยวข้องกับการระบุและการใช้งานพารามิเตอร์เช่นแฝงซ้อนกัน ,ผลของ mpi_test() เรียกความคืบหน้าการสื่อสารการศึกษาอิสระการสื่อสารระหว่าง GPU ซ้อนการคำนวณรายได้ภายใต้การสื่อสารและผลของความซับซ้อน , เป้าหมาย , และขนาดนี้ทับซ้อนกันเล็กน้อย เพื่อแสดงประสิทธิภาพของการเสนอมาตรฐานที่เรามีให้เปรียบเทียบการประเมินสมรรถนะของ GPU ไม่ปิดกั้นสหกรณ์ทราบและใน mvapich2 openmpi .