an HPC cluster access terminal. In

an HPC cluster access terminal. In designing the methodology
and tool, the goal was to automate the tasks that
require knowledge of MPI library internals and provide the
user with easy-to-implement recommendations that could
enhance communication performance by tuning MPI library
parameters. In general, performance optimization has four
steps: measurement, analysis of performance bottlenecks,
generation of recommendations for optimization, and implementation
of the recommended optimizations. For MPIrelated
performance, MPI Advisor automates the first three
steps of this process, i.e., through generation of recommendations
for optimization. Accordingly, MPI Advisor incorporates:
1) data collection using the existing MPI profiling
interface (PMPI) and MPI Tools Information (MPI_T) interface,
2) analysis that translates the collected data into performance
metrics which identify specific performance degradation
factors, and 3) recommendations for optimization,
which are presented in a way that users with a minimum
knowledge of MPI will be able to implement them. We believe
that informing users about correct usage of MPI libraries
will enable them to make efficient use of MPI in the
future. Currently, MPI Advisor provides tuning strategies
to address the four most commonly occurring MPI-related
performance bottlenecks, which are related to the choice
of: 1) point-to point protocol (eager vs. rendezvous), 2)
collective communication algorithm, 3) MPI tasks-to-cores
mapping, and 4) Infiniband transport protocol. Support for
other MPI-related performance issues can and will be added
in the future. The current version of the tool supports both
MVAPICH23
and Intel MPI4
. Support for other MPI library
implementations will be included in future versions.
The innovations and contributions implemented in MPI
Advisor are: 1) specification of the measurements that are
required to perform the four MPI optimizations, including
the means to acquire this information using standard interfaces
such as PMPI and MPI-T, 2) a low-overhead implementation
of these measurements that gathers the required
data in a single execution of the input application and requires
no application instrumentation by the user, and 3)
a set of rules that uses the acquired measurements for recommending
any supported optimizations that are needed.
As the paper demonstrates, MPI Advisor has been used in
a real environment with benchmarks and real applications
and currently available high-performance MPI libraries. The
performance gains obtained in the case studies presented in
this paper range from a few percent to more than 40%.
This paper is organized as follows: Section 2 provides
a brief background about the MPI standard features and
the hwloc tool, which is used by MPI Advisor. Section
3 describes the MPI Advisor methodology and tool, while
Section 4 discusses the four tuning strategies currently supported
by MPI Advisor and indicates the performance tradeoffs
associated with each, in particular, for the MPI libraries
available on the Texas Advanced Computing Center’s Stampede
cluster. Section 5 demonstrates the efficacy of MPI
Advisor recommendations by presenting the recommendations
provided by each tuning strategy and the results of
implementing them. In Section 6 we review related research
and, finally, in Section 7 we conclude the paper and discuss
future research directions.
3http://mvapich.cse.ohio-state.edu/
4https://software.intel.com/en-us/intel-mpi-library

ผลลัพธ์ (ไทย) 1:

มี HPC คลัสเตอร์เข้าอาคาร ในการออกแบบวิธีการและเครื่องมือ เป้าหมายการ ทำงานที่ต้องมีความรู้เกี่ยวกับ MPI internals ไลบรารี และให้การผู้ใช้ที่ มีคำแนะนำการใช้ที่อาจเพิ่มประสิทธิภาพการสื่อสาร โดยปรับแต่งไลบรารีของ MPIพารามิเตอร์ ทั่วไป เพิ่มประสิทธิภาพได้ขั้นตอน: การวัด การวิเคราะห์ปัญหาคอขวดของประสิทธิภาพการทำงานสร้างคำแนะนำสำหรับเพิ่มประสิทธิภาพ และการใช้งานของกินแนะนำ สำหรับ MPIrelatedประสิทธิภาพการทำงาน ที่ปรึกษาพัฒนาศักยภาพสามตัวแรกขั้นตอนนี้ดำเนินการ เช่น ของคำแนะนำสำหรับการเพิ่มประสิทธิภาพ ดังนั้น ที่ปรึกษา MPI ประกอบด้วย:1) รวบรวมข้อมูลที่ใช้โพ MPI อยู่อินเตอร์เฟซ (PMPI) และการอินเตอร์เฟซข้อมูลเครื่องมือ MPI (MPI_T)2) วิเคราะห์ข้อมูลที่รวบรวมเป็ประสิทธิภาพตัวชี้วัดที่ระบุประสิทธิภาพการทำงานเฉพาะปัจจัย และ 3) คำแนะนำสำหรับการเพิ่มประสิทธิภาพซึ่งจะนำเสนอในลักษณะที่ผู้ใช้อย่างน้อยความรู้เกี่ยวกับ MPI จะสามารถใช้พวกเขา เราเชื่อว่าที่ผู้ใช้แจ้งเกี่ยวกับการใช้งานที่ถูกต้องของไลบรารีของ MPIเพื่อทำให้ใช้ประสิทธิภาพของ MPI ในการในอนาคต ในปัจจุบัน ปรึกษา MPI ให้ปรับกลยุทธ์ที่อยู่สี่ที่มักเกิดขึ้นที่เกี่ยวข้องกับ MPIbottlenecks ประสิทธิภาพ ซึ่งเกี่ยวข้องกับการเลือกของ: 1) จุดที่จุดโพรโทคอล (อยากเจอนัดพบ), 2อัลกอริทึมการสื่อสารรวม 3) พัฒนางานแกนการทำแผนที่ และ 4) มือส่วนขนส่งโพรโทคอล การสนับสนุนสำหรับปัญหาอื่น ๆ ที่เกี่ยวข้องกับการพัฒนาประสิทธิภาพสามารถ และจะถูกเพิ่มในอนาคต รุ่นปัจจุบันของเครื่องมือสนับสนุนทั้งMVAPICH23และ Intel MPI4. การสนับสนุนสำหรับไลบรารีอื่น ๆ MPIใช้งานจะถูกรวมในรุ่นในอนาคตนวัตกรรมและผลงานที่นำมาใช้ใน MPIปรึกษา: 1) ข้อกำหนดของการวัดที่จำเป็นต้องดำเนินหา MPI สี่ รวมทั้งหมายถึงการได้รับข้อมูลนี้ใช้อินเทอร์เฟซมาตรฐานเช่น PMPI และ MPI-T, 2) การดำเนินการค่าใช้จ่ายต่ำของการวัดเหล่านี้ที่รวบรวมที่จำเป็นข้อมูลในแบบการโปรแกรมอินพุต และต้องเครื่องมือวัดไม่มีแอพลิเคชัน โดยผู้ใช้ และ 3)ชุดของกฎที่ใช้การวัดที่ได้รับการแนะนำใด ๆ ได้รับการสนับสนุนการปรับแต่งที่จำเป็นตามกระดาษแสดง ที่ปรึกษา MPI มีการใช้ในสภาพแวดล้อมจริงกับเกณฑ์มาตรฐานและการใช้งานจริงและมีประสิทธิภาพสูงพัฒนาไลบรารี การประสิทธิภาพที่ได้รับในกรณีศึกษาที่นำเสนอในกระดาษช่วงนี้จากกี่เปอร์เซ็นต์ไปมากกว่า 40%เอกสารนี้ถูกจัดเป็นดังนี้: ส่วนที่ 2 ให้ประวัติเกี่ยวกับคุณลักษณะมาตรฐาน MPI และhwloc เครื่องมือ ซึ่งถูกใช้ โดย MPI ปรึกษากัน ส่วน3 อธิบายวิธีการปรึกษา MPI และเครื่องมือ ในขณะที่ส่วนที่ 4 กล่าวถึงกลยุทธ์ปรับสี่สนับสนุนในขณะนี้โดยปรึกษา MPI และบ่งชี้ยืนยันประสิทธิภาพเกี่ยวข้องกับแต่ละ โดยเฉพาะ สำหรับไลบรารี MPIเมื่อหนีของศูนย์คอมพิวเตอร์ขั้นสูงเท็กซัสคลัสเตอร์ ส่วนที่ 5 อธิบายประสิทธิภาพของ MPIคำแนะนำปรึกษา โดยนำเสนอคำแนะนำโดยแต่ละปรับกลยุทธ์และผลของใช้งาน ในส่วนที่ 6 เราทบทวนงานวิจัยที่เกี่ยวข้องและ ในที่สุด ในส่วนที่ 7 เราสรุปกระดาษ และหารือทิศทางการวิจัยในอนาคต3 http://mvapich.cse.ohio-state.edu/4 https://software.intel.com/en-us/intel-mpi-library

ผลลัพธ์ (ไทย) 2:

สถานีเข้าถึงคลัสเตอร์ HPC ในการออกแบบวิธีการ
และเครื่องมือที่มีเป้าหมายคือเพื่อทำให้การงานที่
ต้องใช้ความรู้ของ MPI ภายในห้องสมุดและให้
ผู้ใช้ที่มีคำแนะนำที่ง่ายต่อการดำเนินการที่สามารถ
เพิ่มประสิทธิภาพการสื่อสารโดยการปรับห้องสมุด MPI
พารามิเตอร์ โดยทั่วไปการเพิ่มประสิทธิภาพการมีสี่
ขั้นตอนการวัดการวิเคราะห์ของคอขวดประสิทธิภาพ
รุ่นของคำแนะนำสำหรับการเพิ่มประสิทธิภาพและการดำเนิน
การเพิ่มประสิทธิภาพที่แนะนำ สำหรับ MPIrelated
ประสิทธิภาพ MPI ที่ปรึกษาโดยอัตโนมัติครั้งแรกสาม
ขั้นตอนของกระบวนการนี้คือผ่านการสร้างคำแนะนำ
สำหรับการเพิ่มประสิทธิภาพ ดังนั้น MPI ที่ปรึกษาประกอบด้วย:
1) การเก็บรวบรวมข้อมูลโดยใช้ดัชนีที่มีอยู่โปรไฟล์
Interface (PMPI) และข้อมูลเกี่ยวกับเครื่องมือ MPI (MPI_T) อินเตอร์เฟซที่
2) การวิเคราะห์ที่แปลข้อมูลที่รวบรวมในการทำงาน
ตัวชี้วัดที่ระบุเสื่อมประสิทธิภาพเฉพาะ
ปัจจัยและ 3) ข้อเสนอแนะ สำหรับการเพิ่มประสิทธิภาพ
ซึ่งจะถูกนำเสนอในลักษณะที่ผู้ใช้ที่มีอย่างน้อย
ความรู้ของ MPI จะสามารถที่จะใช้พวกเขา เราเชื่อ
ว่าการแจ้งผู้ใช้เกี่ยวกับการใช้ที่ถูกต้องของห้องสมุด MPI
จะช่วยให้พวกเขาที่จะทำให้การใช้งานที่มีประสิทธิภาพของ MPI ใน
อนาคต ปัจจุบัน MPI ที่ปรึกษาให้กลยุทธ์การปรับแต่ง
เพื่อที่อยู่สี่กันมากที่สุดที่เกิดขึ้น MPI ที่เกี่ยวข้องกับ
ปัญหาคอขวดของประสิทธิภาพการทำงานที่เกี่ยวข้องกับทางเลือกที่
1) จุดหนึ่งไปยังจุด Protocol (กระตือรือร้นกับการนัดพบ) 2)
ขั้นตอนวิธีการสื่อสารรวม 3) MPI งานต่อแกน
การทำแผนที่และ 4) โปรโตคอลการขนส่ง Infiniband การสนับสนุนสำหรับ
ปัญหาประสิทธิภาพการทำงานอื่น ๆ ที่เกี่ยวข้องกับ MPI สามารถและจะถูกเพิ่ม
ในอนาคต รุ่นปัจจุบันของเครื่องมือสนับสนุนทั้ง
MVAPICH23
และ Intel
MPI4 การสนับสนุนอื่น ๆ MPI ห้องสมุด
การใช้งานจะถูกรวมอยู่ในรุ่นอนาคต.
นวัตกรรมและผลงานที่นำมาใช้ใน MPI
ที่ปรึกษาคือ 1) ข้อกำหนดของการวัดที่
จำเป็นในการดำเนินสี่เพิ่มประสิทธิภาพ MPI รวมถึง
วิธีการที่จะได้รับข้อมูลนี้โดยใช้อินเตอร์เฟซมาตรฐาน
ดังกล่าว เป็น PMPI และ MPI-T, 2) การดำเนินงานที่ต่ำค่าใช้จ่าย
ของการวัดเหล่านี้ที่รวบรวมความต้องการ
ข้อมูลในการดำเนินการเพียงครั้งเดียวของการประยุกต์ใช้การป้อนข้อมูลและต้อง
ไม่มีการใช้เครื่องมือการประยุกต์ใช้โดยผู้ใช้และ 3)
ชุดของกฎที่ใช้ในการเข้าซื้อกิจการ วัดสำหรับแนะนำ
การเพิ่มประสิทธิภาพการสนับสนุนใด ๆ ที่มีความจำเป็น.
ในฐานะที่เป็นกระดาษที่แสดงให้เห็นถึง MPI ที่ปรึกษามีการใช้ใน
สภาพแวดล้อมจริงที่มีมาตรฐานและการใช้งานจริง
และห้องสมุด MPI ที่มีประสิทธิภาพสูงมีอยู่ในปัจจุบัน
เพิ่มประสิทธิภาพการทำงานที่ได้รับในกรณีศึกษาที่นำเสนอใน
. ช่วงกระดาษนี้จากไม่กี่เปอร์เซ็นต์ให้มากขึ้นกว่า 40%
กระดาษนี้จะมีการจัดระเบียบดังต่อไปนี้มาตรา 2 มี
พื้นหลังสั้น ๆ เกี่ยวกับคุณสมบัติมาตรฐาน MPI และ
เครื่องมือ hwloc ซึ่งจะถูกใช้โดย MPI ที่ปรึกษา มาตรา
3 อธิบายวิธีการ MPI ที่ปรึกษาและเครื่องมือในขณะที่
ส่วนที่ 4 กล่าวถึงกลยุทธ์การปรับจูนสี่สนับสนุนในขณะนี้
โดย MPI ที่ปรึกษาและบ่งบอกถึงความสมดุลประสิทธิภาพการทำงาน
ที่เกี่ยวข้องกับแต่ละโดยเฉพาะอย่างยิ่งสำหรับห้องสมุด MPI
ที่มีอยู่ในเท็กซัสขั้นสูง Computing Center แตกตื่น
คลัสเตอร์ หมวดที่ 5 แสดงให้เห็นถึงประสิทธิภาพของ MPI
คำแนะนำปรึกษาโดยนำเสนอข้อเสนอแนะ
ให้โดยกลยุทธ์การปรับแต่งแต่ละคนและผลของการ
ดำเนินการให้ ในมาตรา 6 ที่เราตรวจสอบงานวิจัยที่เกี่ยวข้อง
และในที่สุดในมาตรา 7 เราสรุปกระดาษและหารือเกี่ยวกับ
ทิศทางการวิจัยในอนาคต.
3http: //mvapich.cse.ohio-state.edu/
4https: //software.intel.com/en- เรา / Intel-MPI ห้องสมุด

ผลลัพธ์ (ไทย) 3:

การเข้าถึงผ่านกลุ่มอาคาร ในการออกแบบวิธีการและ เครื่องมือ เป้าหมายคือการทำให้งานที่ต้องใช้ความรู้ของประเทศภายในห้องสมุดและให้ผู้ใช้ที่มีง่ายต่อการใช้แนวทางที่สามารถเพิ่มประสิทธิภาพการสื่อสารโดยการปรับแต่งห้องสมุดการท่องเที่ยวพารามิเตอร์ โดยทั่วไปเพิ่มประสิทธิภาพการปฏิบัติได้สี่ขั้นตอนการวัด การวิเคราะห์คอขวดประสิทธิภาพรุ่นที่แนะนำสำหรับการเพิ่มประสิทธิภาพและการใช้ของแนะนำการเพิ่มประสิทธิภาพ สำหรับ mpirelatedประสิทธิภาพโดยอัตโนมัติสามครั้งแรกสำหรับที่ปรึกษาขั้นตอนของกระบวนการนี้ คือ รุ่นแนะนำ ผ่านสำหรับการเพิ่มประสิทธิภาพ ตาม , MPI ที่ปรึกษาประกอบด้วย :1 ) การเก็บรวบรวมข้อมูลใช้ข้อมูลดัชนีที่มีอยู่ติดต่อ ( pmpi ) และข้อมูลสำหรับเครื่องมือ ( mpi_t ) ติดต่อ2 ) การวิเคราะห์แปลว่าข้อมูลในการแสดงตัวชี้วัดที่ระบุการเสื่อมประสิทธิภาพที่เฉพาะเจาะจงปัจจัย และ 3 ) ข้อเสนอแนะแนวทางให้เหมาะสมซึ่งจะถูกนำเสนอในลักษณะที่ผู้ใช้ที่มีน้อยที่สุดความรู้ของ MPI จะสามารถที่จะใช้พวกเขา เราเชื่อว่าแจ้งผู้ใช้เกี่ยวกับการใช้งานที่ถูกต้องของห้องสมุดสำหรับจะช่วยให้พวกเขาเพื่อให้ประสิทธิภาพการใช้ดัชนีในในอนาคต ขณะนี้มีปรับกลยุทธ์สำหรับที่ปรึกษาที่อยู่สี่มากที่สุดที่เกิดขึ้นสำหรับที่เกี่ยวข้องคอขวดประสิทธิภาพซึ่งเกี่ยวข้องกับทางเลือก1 ) ชี้ไปที่จุดโปรโตคอล ( กระตือรือร้นกับนัด ) , 2 )ขั้นตอนการสื่อสารร่วมกัน 3 ) สำหรับงานแกนแผนที่ และ 4 ) โปรโตคอลการขนส่งกำเนิด . การสนับสนุนสำหรับหน้าอื่น ๆ ที่เกี่ยวข้องกับปัญหาเรื่องประสิทธิภาพ สามารถเพิ่มในอนาคต รุ่นปัจจุบันของเครื่องมือสนับสนุนทั้งmvapich23และ Intel mpi4. การสนับสนุนสำหรับห้องสมุดอื่นๆซึ่งจะรวมอยู่ในรุ่นอนาคตนวัตกรรมและผลงานที่ใช้ในอุตสาหกรรมอาจารย์ที่ปรึกษา : 1 ) คุณสมบัติของการวัดที่ต้องดําเนินการสี่ดัชนีการเพิ่มประสิทธิภาพ ได้แก่วิธีการที่จะได้รับข้อมูลนี้ใช้อินเทอร์เฟซมาตรฐานเช่น pmpi mpi-t และ 2 ) การใช้ค่าใช้จ่ายน้อยของการวัดเหล่านี้รวบรวมที่จําเป็นข้อมูลในการสมัคร และต้องใส่เดียวไม่มีการใช้เครื่องมือวัด โดยผู้ใช้ และ 3 )ชุดของกฎที่ใช้สำหรับแนะนำวัดที่ได้มาใด ๆที่สนับสนุนการเพิ่มประสิทธิภาพที่จำเป็นเป็นกระดาษที่แสดงให้เห็นถึง , MPI ที่ปรึกษาได้รับใช้สภาพแวดล้อมที่เป็นจริงกับมาตรฐานและการประยุกต์ใช้จริงในปัจจุบันมีประสิทธิภาพสูงและหน้าห้องสมุด ที่กำไรที่ได้รับการแสดงในการศึกษาที่นำเสนอในนี้กระดาษช่วงจากไม่กี่เปอร์เซ็นต์ที่มากกว่า 40%กระดาษนี้จะจัดได้ดังนี้ ส่วนที่ 1 ให้พื้นหลังสั้น ๆเกี่ยวกับ PCI มาตรฐานคุณลักษณะการ hwloc เครื่องมือที่ใช้สำหรับที่ปรึกษา ส่วน3 อธิบายถึงวิธีการและเครื่องมือที่ปรึกษาเศรษฐกิจ ในขณะที่ส่วนที่ 4 กล่าวถึงสี่ปรับกลยุทธ์รองรับโดย MPI ที่ปรึกษาและบ่งบอกถึงประสิทธิภาพ tradeoffsที่เกี่ยวข้องกับแต่ละ โดยเฉพาะ สำหรับหน้าห้องสมุดที่มีอยู่ในเท็กซัสศูนย์คอมพิวเตอร์ขั้นสูงของแตกตื่นกลุ่ม ส่วนที่ 5 แสดงให้เห็นถึงประสิทธิภาพของดัชนีปรึกษาแนะนำโดยเสนอข้อเสนอแนะโดยแต่ละปรับกลยุทธ์และผลของการใช้พวกเขา ในมาตรา ๖เราทบทวนงานวิจัยที่เกี่ยวข้องและ สุดท้าย ในมาตรา 7 ได้กระดาษและหารือทิศทางการวิจัยในอนาคต3http://mvapich.cse.ohio-state.edu/4https://software.intel.com/en-us/intel-mpi-library