Building MapReduce applications usi

Building MapReduce applications using the Message-Passing
Interface (MPI) enables us to exploit the performance of
large HPC clusters for big data analytics. However, due
to the lacking of native fault tolerance support in MPI and
the incompatibility between the MapReduce fault tolerance
model and HPC schedulers, it is very hard to provide a fault
tolerant MapReduce runtime for HPC clusters. We propose
and develop FT-MRMPI, the first fault tolerant MapReduce
framework on MPI for HPC clusters. We discover a unique
way to perform failure detection and recovery by exploiting
the current MPI semantics and the new proposal of userlevel
failure mitigation. We design and develop the checkpoint/restart
model for fault tolerant MapReduce in MPI.
We further tailor the detect/resume model to conserve work
for more efficient fault tolerance. The experimental results
on a 256-node HPC cluster show that FT-MRMPI effectively
masks failures and reduces the job completion time by 39%.

ผลลัพธ์ (ไทย) 1:

อาคาร MapReduce ประยุกต์ใช้ผ่านข้อความอินเทอร์เฟซ (MPI) ช่วยให้เราสามารถใช้ประโยชน์จากประสิทธิภาพของขนาดใหญ่ HPC คลัสเตอร์สำหรับข้อมูล อย่างไรก็ตาม เนื่องจากการขาดการยอมรับข้อบกพร่องดั้งเดิมสนับสนุนใน MPI และไม่เข้ากันระหว่างการยอมรับข้อบกพร่อง MapReduceรุ่นและ HPC schedulers มันเป็นยากมากเพื่อให้ความผิดรันไทม์ MapReduce ทนสำหรับ HPC คลัสเตอร์ เรานำเสนอและพัฒนา MRMPI ฟุต แรกข้อบกพร่อง tolerant MapReduceกรอบบน MPI สำหรับ HPC คลัสเตอร์ เราค้นพบเฉพาะวิธีการตรวจหาความล้มเหลวและการกู้คืน โดยใช้ประโยชน์จากความหมายของ MPI ปัจจุบันและข้อเสนอใหม่ของ userlevelบรรเทาความล้มเหลว เราออกแบบ และพัฒนาจุดเริ่มต้นใหม่แบบจำลองสำหรับข้อบกพร่อง tolerant MapReduce ล่าเราออกแบบตรวจหา/ดำเนินการต่อเพื่ออนุรักษ์งานเพิ่มเติมสำหรับค่าเผื่อความบกพร่องมีประสิทธิภาพมากขึ้น ผลการทดลองใน HPC 256 โหนคลัสเตอร์แสดงฟุต MRMPI ที่มีประสิทธิภาพหน้ากากความล้มเหลว และช่วยลดเวลาเสร็จงาน โดย 39%

ผลลัพธ์ (ไทย) 2:

การสร้างโปรแกรม MapReduce ใช้ข้อความผ่าน
Interface (MPI) ช่วยให้เราสามารถใช้ประโยชน์จากประสิทธิภาพการทำงานของ
กลุ่ม HPC ขนาดใหญ่สำหรับการวิเคราะห์ข้อมูลขนาดใหญ่ แต่เนื่องจาก
การขาดการสนับสนุนความอดทนความผิดพื้นเมืองใน MPI และ
ความไม่ลงรอยกันระหว่าง MapReduce ความผิดความอดทน
และรุ่น HPC schedulers มันเป็นเรื่องยากมากที่จะให้ความผิดพลาด
Runtime MapReduce ใจกว้างสำหรับคลัสเตอร์ HPC เราเสนอ
และพัฒนา FT-MRMPI, ความผิดครั้งแรกใจกว้าง MapReduce
กรอบดัชนีผลผลิตกระจุก HPC เราค้นพบที่ไม่ซ้ำกัน
วิธีการที่จะดำเนินการตรวจสอบความล้มเหลวและการกู้คืนโดยการใช้ประโยชน์จาก
ความหมาย MPI ในปัจจุบันและข้อเสนอใหม่ของ userlevel
บรรเทาความล้มเหลว เราออกแบบและพัฒนาด่าน / รีสตาร์ท
แบบจำลองสำหรับความผิด MapReduce ใจกว้างใน MPI.
เรายังปรับแต่งตรวจสอบ / รุ่น Resume เพื่อการอนุรักษ์การทำงาน
สำหรับความอดทนความผิดมีประสิทธิภาพมากขึ้น ผลการทดลอง
ในคลัสเตอร์ HPC 256 โหนดแสดงให้เห็นว่า FT-MRMPI ได้อย่างมีประสิทธิภาพ
ความล้มเหลวของหน้ากากและช่วยลดเวลาในการเสร็จสิ้นงานโดย 39%

ผลลัพธ์ (ไทย) 3:

อาคาร mapreduce การใช้งานข้อความผ่านอินเตอร์เฟซ ( MPI ) ช่วยให้เราสามารถใช้ประโยชน์จากประสิทธิภาพของคลัสเตอร์ HPC ขนาดใหญ่สำหรับการวิเคราะห์ข้อมูลใหญ่ อย่างไรก็ตาม เนื่องจากการขาดการสนับสนุนในประเทศพื้นเมืองความผิดความอดทนและความไม่ลงรอยกันระหว่าง mapreduce ความผิดความอดทนรูปแบบและ HPC schedulers มันยากมากที่จะให้ความผิดรันไทม์ mapreduce ใจกว้างสำหรับคลัสเตอร์ HPC . เราเสนอและพัฒนา ft-mrmpi แรกผิดใจกว้าง mapreduceกรอบบน PCI สำหรับคลัสเตอร์ HPC . เราพบเฉพาะวิธีการดําเนินการตรวจสอบความล้มเหลวและการกู้คืนโดยการใช้ความหมายในปัจจุบัน MPI และข้อเสนอใหม่ของ USERLEVELบรรเทาความล้มเหลว เราออกแบบและพัฒนาจุดตรวจ / รีสตาร์ทรูปแบบผิดใจกว้าง mapreduce ใน MPI .เรายังได้ปรับรูปแบบเพื่อการอนุรักษ์งานตรวจสอบ / ประวัติความอดทนความผิดที่มีประสิทธิภาพมากขึ้น ผลการทดลองใน 256 โหนดคลัสเตอร์ HPC แสดงให้เห็นว่า ft-mrmpi ได้อย่างมีประสิทธิภาพมาสก์ความล้มเหลว และลดงานเสร็จทันโดย 39 เปอร์เซ็นต์