This study investigates the feasibi

This study investigates the feasibility and performance of running global climate models on a cloud computing environment.
We create an
AWS EC2 virtual cluster using StarCluster software package and carry
out the CESM simulations to benchmark the running time and
parallelization efficiency. The CESM model can be run in parallel mode
on such cloud virtual cluster with minimum amount of efforts of
packaging and compiling the code as well as transferring input data
sets to the cloud environment. We test the parallelization efficiency of
the CESM model on the AWS EC2 virtual cluster and find that, up to 64
cores, the AWS EC2 can render a parallelization efficiency comparable
to (or even better than) that of the traditional Linux cluster with
InfiniBand connection. For the case that we test on the AWS virtual
cluster, the communication between virtual EC2 nodes outweighs the
saving from distributed computing when number of cores exceeds 64
(i.e. 4 nodes). This is different from the case on a local HPC cluster,
where the running time is still decreasing when number of cores
increases from 64 to 112. Such difference is due to the network on the
AWS virtual cluster (10 Gigabit Ethernet with latency of ~80 μs for
message size of 1 byte) is higher than that on local HPC cluster (40
Gigabit InfiniBand with latency of ~1.7 μs for message size of 1 byte).
Because 112 cores are the maximum cores available to us on the local
HPC cluster, we don’t know what is the maximum scalability of CESM
model when using 40 Gigabit InfiniBand network on the local HPC
cluster with Intel Xeon system. However, Worley et al. (2011) showed
the maximum scalability of simulation performance of CESM model
can be 8 times when using CPU cores from 64 to 2048 on Cray XT5
system (57.6 Gigabit three-dimensional torus network with latency of
~1 μs). All these confirm that CESM model is latency sensitive, likely
due to the extensive exchange of information among modules and
inside each module at each time step of numerical integration. This
brings up a question worthy for future investigation: current ways of
parallelization in the CESM (likely in other climate models as well) are
optimized for the traditional supercomputing facilities, can the code
and parallelization be optimized for cloud computing environment?

ผลลัพธ์ (ไทย) 1:

การศึกษานี้ตรวจสอบความเป็นไปได้และประสิทธิภาพของการใช้แบบจำลองภูมิอากาศโลกในสภาพแวดล้อมระบบคอมพิวเตอร์คลาวด์ เราสร้างการAWS EC2 คลัสเตอร์เสมือนที่ใช้ StarCluster ซอฟต์แวร์แพคเกจและดำเนินแบบจำลอง CESM ในการวัดเวลาทำงาน และparallelization efficiency รุ่น CESM สามารถรันในโหมดแบบขนานบนคลัสเตอร์เสมือนเมฆดังกล่าวมีจำนวนเงินขั้นต่ำของ efforts ของบรรจุภัณฑ์ และการคอมไพล์รหัส ตลอดจนถ่ายโอนข้อมูลป้อนเข้าชุดสิ่งแวดล้อมแบบคลาวด์ เราทดสอบ efficiency parallelization ของรุ่น CESM บนคลัสเตอร์เสมือน AWS EC2 และหาที่ สูงสุดถึง 64แกน AWS EC2 สามารถแสดง efficiency parallelization เทียบเท่ากับ (หรือยิ่งกว่า) ของ Linux ดั้งเดิมคลัสเตอร์ด้วยการเชื่อมต่อ InfiniBand สำหรับกรณีที่เราทดสอบบน AWS เสมือนคลัสเตอร์ การสื่อสารระหว่างโหน EC2 เสมือนเมื่อเทียบกับการบันทึกจากการประมวลผลแบบกระจายเมื่อจำนวนแกนเกิน 64(เช่น 4 โหน) นี่คือจึงแตกต่างกันจากกรณีในคลัสเตอร์ HPC ในท้องถิ่นที่ใช้มียังลดลงเมื่อจำนวนแกนเพิ่มขึ้นจาก 64 จะ 112 Difference ดังกล่าวอยู่เนื่องจากเครือข่ายการคลัสเตอร์เสมือน AWS (10 กิกะบิตอีเทอร์เน็ตกับเวลาแฝงของ ~ 80 µs ระดับสำหรับข้อความ 1 ไบต์) มีสูงกว่าในคลัสเตอร์ HPC ในท้องถิ่น (40Gigabit InfiniBand กับเวลาแฝงของ µs ระดับ ~1.7 สำหรับข้อความขนาดของไบต์ที่ 1)เพราะ 112 แกน แกนสูงสุดที่มีให้เราในท้องถิ่นคลัสเตอร์ HPC เราไม่รู้ภาระสูงสุดของ CESM คืออะไรรุ่นเมื่อใช้เครือข่าย Gigabit InfiniBand 40 บน HPC ในท้องถิ่นคลัสเตอร์กับระบบ Intel Xeon อย่างไรก็ตาม Worley et al. (2011) แสดงให้เห็นว่าขยายสูงสุดของจำลองประสิทธิภาพของรุ่น CESMสามารถ 8 ครั้งเมื่อใช้แกน CPU 64 2048 บน Cray XT5ระบบ (57.6 Gigabit ทอรัสสามมิติเครือข่ายเวลาแฝงของ~ 1 ถึงμ s) Confirm ทั้งหมดเหล่านี้ว่า รุ่น CESM มีเวลาแฝงที่สำคัญ แนวโน้มเนื่องจากการแลกเปลี่ยนข้อมูลระหว่างโมดูกว้างขวาง และภายในแต่ละโมดูที่เวลาตัวเลขรวมกัน นี้นำคำถามที่คุ้มค่าสำหรับการตรวจสอบในอนาคต: ปัจจุบันวิธีการparallelization ใน CESM (พบในภูมิอากาศรุ่นอื่น ๆ เช่นกัน) มีเหมาะสำหรับห้องคอมพิวติ้งแบบดั้งเดิม สามารถตั้งรหัสและ parallelization เหมาะสำหรับล้อมเมฆ

ผลลัพธ์ (ไทย) 2:

การศึกษานี้ศึกษาความเป็นไปได้และผลการดำเนินงานของการทำงานแบบจำลองภูมิอากาศทั่วโลกในระบบคอมพิวเตอร์เมฆ.
เราสร้าง
คลัสเตอร์เสมือน AWS EC2 ใช้แพคเกจซอฟต์แวร์ StarCluster และดำเนินการ
ออกจำลอง CESM เพื่อมาตรฐานเวลาการทำงานและ
แบบขนาน E FFI ciency รุ่น CESM สามารถทำงานในโหมดขนาน
ในคลัสเตอร์เสมือนเมฆดังกล่าวมีจำนวนเงินขั้นต่ำของ e FF Orts ของ
บรรจุภัณฑ์และการรวบรวมรหัสเช่นเดียวกับการถ่ายโอนข้อมูลเข้า
ชุดกับสภาพแวดล้อมคลาวด์ เราทดสอบแบบขนาน E FFI ciency ของ
รุ่น CESM บนคลัสเตอร์เสมือน AWS EC2 และ Fi ND ที่เพิ่มขึ้นถึง 64
แกนที่ AWS EC2 สามารถแสดงผลแบบขนาน E FFI ciency เทียบเคียง
(หรือดียิ่งขึ้นกว่า) ที่ของกลุ่มลินุกซ์แบบดั้งเดิมที่มี
ใน Fi niBand การเชื่อมต่อ สำหรับกรณีที่เราทดสอบบนเสมือน AWS
คลัสเตอร์การสื่อสารระหว่างโหนด EC2 เสมือนเมื่อเทียบกับการ
ประหยัดจากการคำนวณการกระจายเมื่อจำนวนของแกนเกิน 64
(คือ 4 โหนด) นี่คือ di FF ต่างกันจากกรณีที่ในคลัสเตอร์ HPC ท้องถิ่น
ที่เวลาทำงานจะยังคงลดลงเมื่อจำนวนของแกน
เพิ่มขึ้นจาก 64 ถึง 112 ดังกล่าว erence di FF เป็นเพราะเครือข่ายใน
คลัสเตอร์เสมือน AWS (10 กิกะบิตอีเธอร์เน็ตมีความล่าช้าของ ~ 80 ไมโครวินาทีสำหรับ
ขนาดของข้อความที่ 1 ไบต์) มีค่าสูงกว่าในคลัสเตอร์ HPC ท้องถิ่น (40
กิกะบิตใน Fi niBand มีความล่าช้าของ ~ 1.7 ไมโครวินาทีสำหรับขนาดของข้อความที่ 1 ไบต์).
เพราะ 112 แกนเป็นแกนสูงสุดที่มีให้เราในท้องถิ่น
คลัสเตอร์ HPC, เราไม่ทราบว่าสิ่งที่เป็นความยืดหยุ่นสูงสุดของ CESM
รูปแบบเมื่อใช้ 40 กิกะบิตในเครือข่าย niBand Fi ในท้องถิ่น HPC
คลัสเตอร์กับระบบ Intel Xeon อย่างไรก็ตาม Worley et al, (2011) แสดงให้เห็น
ความยืดหยุ่นสูงสุดของประสิทธิภาพการจำลองรูปแบบ CESM
สามารถเป็นครั้งที่ 8 เมื่อใช้แกน CPU 64-2048 บน Cray XT5
ระบบ (57.6 กิกะบิตเครือข่ายพรูสามมิติที่มีความล่าช้าของ
~ 1 ไมโครวินาที) ทั้งหมดเหล่านี้ Con Fi RM ว่ารูปแบบ CESM แอบแฝงที่สำคัญน่าจะ
เกิดจากการแลกเปลี่ยนที่กว้างขวางของข้อมูลระหว่างโมดูลและ
ภายในแต่ละโมดูลในแต่ละขั้นตอนเวลาของการรวมตัวเลข นี้
นำขึ้นคำถามที่คุ้มค่าสำหรับการตรวจสอบในอนาคต: วิธีการปัจจุบันของ
ขนานใน CESM (น่าจะอยู่ในแบบจำลองภูมิอากาศอื่น ๆ เช่นกัน) จะถูก
ปรับให้เหมาะสมกับสิ่งอำนวยความสะดวกคอมพิวติ้งแบบดั้งเดิมสามารถรหัส
และแบบขนานจะเหมาะสำหรับระบบคอมพิวเตอร์เมฆ?