The ICA staff applied for, and obta

The ICA staff applied for, and obtained, an ECSS-supported allocation through XSEDE (Charge No. TG-HUM130001), and with the help of HPC experts at TACC, developed familiarity with the HPC environment. Together they developed a metadata extraction workflow that can be used by data curators on HPC resources with minimal Linux training. The workflow is interactive so that the data curators can conduct and verify the different steps when needed. The development of the workflow involved: 1. Porting the software to an open science HPC platform; 2. Transferring and synchronizing terabytes of data over the network to HPC resources at TACC for analyses and long term storage; and 3. Developing scripts for simultaneously running multiple copies of the software on different portions of the collection, also known as parallelization. In this paper, we present an overview of the test collection, provide an introduction to HPC, and discuss the methods used in parallelizing the metadata extraction.

ผลลัพธ์ (ไทย) 1:

การ ICA ใช้สำหรับ และได้ รับ การปันส่วนที่ได้รับการสนับสนุนจาก ECSS ผ่าน XSEDE (หมายเลขค่าธรรมเนียม TG-HUM130001), และ ด้วยความช่วยเหลือของผู้เชี่ยวชาญของ HPC ที่ TACC พัฒนาความคุ้นเคยกับสภาพแวดล้อม HPC ร่วมกันพวกเขาพัฒนางานสกัดข้อมูลเมตาที่สามารถใช้ โดยผู้แนะนำข้อมูลทรัพยากร HPC กับอบรม Linux ที่น้อยที่สุด ลำดับงานเป็นแบบโต้ตอบเพื่อให้ผู้แนะนำข้อมูลที่ได้ดำเนินการ และตรวจสอบขั้นตอนต่าง ๆ เมื่อจำเป็น การพัฒนาเวิร์กโฟลว์ที่เกี่ยวข้อง: 1. ระบบซอฟต์แวร์เป็นแพลตฟอร์ม HPC วิทยาศาสตร์เปิด 2. ถ่ายโอน และซิงโครไนส์เทราไบต์ของข้อมูลในเครือข่ายทรัพยากร HPC ที่ TACC สำหรับวิเคราะห์และเก็บข้อมูลระยะยาว และ 3 พัฒนาสคริปต์สำหรับการเรียกใช้หลายสำเนาของซอฟต์แวร์บนส่วนต่าง ๆ ของคอลเลกชัน parallelization รู้จักกันพร้อมกัน ในกระดาษนี้ เรานำเสนอภาพรวมของชุดทดสอบ ให้คำแนะนำการ HPC และหารือเกี่ยวกับวิธีการที่ใช้ในการสกัดข้อมูลเมตา parallelizing

ผลลัพธ์ (ไทย) 2:

พนักงาน ICA สมัครและได้รับการจัดสรร ECSS สนับสนุนผ่าน XSEDE (ค่าเลขที่ TG-HUM130001) และด้วยความช่วยเหลือของผู้เชี่ยวชาญ HPC ที่ TACC การพัฒนาความคุ้นเคยกับสภาพแวดล้อม HPC พวกเขาช่วยกันพัฒนาเวิร์กโฟลว์สกัดเมตาดาต้าที่สามารถนำมาใช้โดยภัณฑารักษ์ข้อมูลเกี่ยวกับทรัพยากร HPC ลินุกซ์ด้วยการฝึกอบรมน้อยที่สุด ขั้นตอนการทำงานที่มีการโต้ตอบเพื่อให้ภัณฑารักษ์ข้อมูลที่สามารถดำเนินการและตรวจสอบขั้นตอนที่แตกต่างกันเมื่อมีความจำเป็น การพัฒนาขั้นตอนการทำงานที่เกี่ยวข้อง: 1. แจงซอฟต์แวร์เข้ากับแพลตฟอร์ม HPC วิทยาศาสตร์เปิด 2. การถ่ายโอนและตรงกันเทราไบต์ของข้อมูลผ่านเครือข่ายไปยังแหล่งข้อมูล HPC ที่ TACC สำหรับการวิเคราะห์และการจัดเก็บข้อมูลระยะยาว และ 3. การพัฒนาสคริปต์สำหรับทำงานพร้อมกันหลายสำเนาของซอฟต์แวร์ในส่วนที่แตกต่างกันของคอลเลกชันที่เรียกว่าเป็นแบบขนาน ในบทความนี้เราจะนำเสนอภาพรวมของการเก็บรวบรวมผลการทดสอบให้คำแนะนำเกี่ยวกับ HPC และหารือเกี่ยวกับวิธีการที่ใช้ในการสกัด parallelizing เมตาดาต้า

ผลลัพธ์ (ไทย) 3:

เจ้าหน้าที่ไอซีที่ใช้และได้รับการ ecss สนับสนุนการจัดสรรผ่าน xsede ( ค่าใช้จ่ายไม่ tg-hum130001 ) และด้วยความช่วยเหลือของผู้เชี่ยวชาญที่ tacc HPC HPC สร้างความคุ้นเคยกับสภาพแวดล้อม พวกเขาช่วยกันพัฒนา metadata การสกัดขั้นสูงที่สามารถใช้โดยภัณฑารักษ์ข้อมูล HPC ด้วยทรัพยากรการฝึกอบรมลินุกซ์น้อยที่สุด เวิร์กโฟลว์เป็นแบบโต้ตอบเพื่อให้ข้อมูลที่สามารถดำเนินการตรวจสอบภัณฑารักษ์และขั้นตอนต่าง ๆ เมื่อต้องการ การพัฒนาของเวิร์กโฟลว์ที่เกี่ยวข้อง 1 . porting ซอฟต์แวร์แพลตฟอร์มเปิดวิทยาศาสตร์อื่นๆ 2 . การโอนและการซิงโครไนซ์เทราไบต์ของข้อมูลผ่านเครือข่ายทรัพยากรอื่นๆ ที่ tacc วิเคราะห์และจัดเก็บข้อมูลระยะยาว และ 3 . พัฒนาสคริปต์พร้อมกันใช้หลายสำเนาของซอฟต์แวร์ในส่วนที่แตกต่างกันของคอลเลกชัน เรียกว่า parallelization ไป . ในงานวิจัยนี้ เราได้นำเสนอภาพรวมของชุดทดสอบ ให้ความรู้เบื้องต้นเกี่ยวกับ HPC , และหารือเกี่ยวกับวิธีการที่ใช้ใน parallelizing metadata การสกัด