Abstract: Computational Grids, coupling geographically distributed resources such as PCs, workstations, clusters, and scientific instruments, have emerged as a next generation computing platform for solving large-scale problems in science, engineering, and commerce. However, application development, resource management, and scheduling in these environments continue to be a complex undertaking. In this article, we discuss our efforts in developing a resource management system for scheduling computations on resources distributed across the world with varying quality of service. Our service-oriented grid computing system called Nimrod-G manages all operations associated with remote execution including resource discovery, trading, scheduling based on economic principles and a user defined quality of service requirement. The Nimrod-G resource broker is implemented by leveraging existing technologies such as Globus, and provides new services that are essential for constructing industrial-strength Grids. We discuss results of preliminary experiments on scheduling some parametric computations using the Nimrod-G resource broker on a world-wide grid testbed that spans five continents.
1. Introduction
The accelerated development of Grid computing systems has positioned them as promising next generation computing platforms. They enable the coordinated use of geographically distributed resources, often owned by autonomous organizations, for creating virtual enterprises for solving large-scale problems in science, engineering, and commerce [1][7]. However, application composition, resource management and scheduling in these environments is a complex undertaking. This is due to the geographic distribution of resources that are often owned by different organizations having different usage policies and cost models, and varying loads and availability patterns. To address these resource management challenges, we have proposed and developed a computational economy framework for resource allocation and regulation of supply and demand for resources. The new framework offers incentive to resource owners for being part of the Grid and motivates resource users to trade off between time for results delivery and economic cost, i.e., deadline and budget [5].
These economic models regulate the supply and demand for resources in Grid-based virtual enterprises. We demonstrate the power of these models in scheduling computations using the Nimrod-G resource broker on a grid testbed, called the World Wide Grid (WWG) spanning across five continents. Whilst it is not the goal of the system to earn revenue for the resource providers, this approach does provide an economic incentive for resource owners to share their resources on the Grid. Further, it encourages the emergence of a new service oriented computing industry. Importantly, it provides mechanisms to trade-off QoS parameters, deadline and computational cost, and offers incentive for users to relax their requirements. For example, a user may be prepared to accept a later deadline if the computation can be achieved more cheaply.
2. Nimrod-G: Economics driven Grid Computing Environment
2.1. Objectives and goals
Nimrod-G is a tool for automated modeling and execution of parameter sweep applications (parameter studies) over global computational grids [1][2][3]. It provides a simple declarative parametric modeling language for expressing parametric experiments. A domain expert can easily create a plan for a parametric experiment and use the Nimrod system to submit jobs for execution. It uses novel resource management and scheduling algorithms based on economic principles. Specifically, it supports user-defined deadline and budget constraints for schedule optimisations and manages supply and demand of resources in the Grid using a set of resource trading services called GRACE (Grid Architecture for Computational Economy) [5][6][7].
Nimrod-G provides a persistent and programmable task-farming engine (TFE) that enables “plugging” of user- defined schedulers and customised applications or problem solving environments (e.g., ActiveSheets [24]) in place of default components. The task-farming engine is a coordination point for processes performing resource trading, scheduling, data and executable staging, remote execution, and result collation. In the past, the major focus of our project was on creating tools that help domain experts to compose their legacy serial applications for parameter studies and run them on computational clusters and manually managed grids [2][3]. Our current focus is on the use of economic principles in resource management and scheduling on the grid in order to provide some measurable quality of service to the end user. Real-world economic methods provide incentives for owners to contribute their resources to markets, and it also provides consumers with a basis for trading the quality of service they receive against cost. That is, our focus revolves within an intersection area of grid architectures, economic principles, and scheduling optimizations (see Figure 1), which is essential for pushing the grid into the mainstream computing.
บทคัดย่อ: คอมพิวเตอร์กริด coupling กันทางภูมิศาสตร์ทรัพยากรเช่นชิ้น สเต คลัสเตอร์ และเครื่อง มือวิทยาศาสตร์ ได้เกิดเป็นถัดไปสร้างระบบคอมพิวเตอร์ในการแก้ปัญหาวิทยาศาสตร์ วิศวกรรม และพาณิชย์ขนาดใหญ่ อย่างไรก็ตาม พัฒนาโปรแกรมประยุกต์ การจัดการทรัพยากร และการจัดกำหนดการในสภาพแวดล้อมเหล่านี้ทำให้ กิจการที่ซับซ้อน ในบทความนี้ เราหารือเกี่ยวกับความพยายามของเราในการพัฒนาระบบการจัดการทรัพยากรสำหรับการจัดกำหนดการประมวลผลทรัพยากรที่กระจายทั่วโลกด้วยคุณภาพที่แตกต่างของบริการ อาทิตย์ของเราเด่นนิมร็อด G เรียกว่าจัดการดำเนินงานทั้งหมดที่เกี่ยวข้องกับการดำเนินการระยะไกลรวมถึงการค้นพบทรัพยากร ซื้อขาย ระบบการคำนวณการจัดกำหนดการหลักเศรษฐกิจและผู้กำหนดคุณภาพบริการความ นิมร็อด G ทรัพยากรโบรกเกอร์ดำเนินการ โดยใช้เทคโนโลยีที่มีอยู่เช่นเทิร์นโกลบัส และบริการใหม่ที่จำเป็นสำหรับการสร้างกริดอุตสาหกรรมแรง เราอภิปรายผลการทดลองเบื้องต้นในการวางแผนประมวลผลบางพาราเมตริกที่ใช้โบรกเกอร์ที่ทรัพยากรสเอาท์ G testbed ตารางโลกที่ครอบคลุม 5 ทวีป1. บทนำThe accelerated development of Grid computing systems has positioned them as promising next generation computing platforms. They enable the coordinated use of geographically distributed resources, often owned by autonomous organizations, for creating virtual enterprises for solving large-scale problems in science, engineering, and commerce [1][7]. However, application composition, resource management and scheduling in these environments is a complex undertaking. This is due to the geographic distribution of resources that are often owned by different organizations having different usage policies and cost models, and varying loads and availability patterns. To address these resource management challenges, we have proposed and developed a computational economy framework for resource allocation and regulation of supply and demand for resources. The new framework offers incentive to resource owners for being part of the Grid and motivates resource users to trade off between time for results delivery and economic cost, i.e., deadline and budget [5].These economic models regulate the supply and demand for resources in Grid-based virtual enterprises. We demonstrate the power of these models in scheduling computations using the Nimrod-G resource broker on a grid testbed, called the World Wide Grid (WWG) spanning across five continents. Whilst it is not the goal of the system to earn revenue for the resource providers, this approach does provide an economic incentive for resource owners to share their resources on the Grid. Further, it encourages the emergence of a new service oriented computing industry. Importantly, it provides mechanisms to trade-off QoS parameters, deadline and computational cost, and offers incentive for users to relax their requirements. For example, a user may be prepared to accept a later deadline if the computation can be achieved more cheaply.2. Nimrod-G: Economics driven Grid Computing Environment2.1. Objectives and goalsNimrod-G is a tool for automated modeling and execution of parameter sweep applications (parameter studies) over global computational grids [1][2][3]. It provides a simple declarative parametric modeling language for expressing parametric experiments. A domain expert can easily create a plan for a parametric experiment and use the Nimrod system to submit jobs for execution. It uses novel resource management and scheduling algorithms based on economic principles. Specifically, it supports user-defined deadline and budget constraints for schedule optimisations and manages supply and demand of resources in the Grid using a set of resource trading services called GRACE (Grid Architecture for Computational Economy) [5][6][7].Nimrod-G provides a persistent and programmable task-farming engine (TFE) that enables “plugging” of user- defined schedulers and customised applications or problem solving environments (e.g., ActiveSheets [24]) in place of default components. The task-farming engine is a coordination point for processes performing resource trading, scheduling, data and executable staging, remote execution, and result collation. In the past, the major focus of our project was on creating tools that help domain experts to compose their legacy serial applications for parameter studies and run them on computational clusters and manually managed grids [2][3]. Our current focus is on the use of economic principles in resource management and scheduling on the grid in order to provide some measurable quality of service to the end user. Real-world economic methods provide incentives for owners to contribute their resources to markets, and it also provides consumers with a basis for trading the quality of service they receive against cost. That is, our focus revolves within an intersection area of grid architectures, economic principles, and scheduling optimizations (see Figure 1), which is essential for pushing the grid into the mainstream computing.
การแปล กรุณารอสักครู่..
บทคัดย่อ : กริดคอมพิวเตอร์ควบคู่การกระจายทางภูมิศาสตร์ ทรัพยากร เช่น เครื่องคอมพิวเตอร์ , workstations , กลุ่ม , และอุปกรณ์ทางวิทยาศาสตร์ มีชุมนุมเป็นแพลตฟอร์มคอมพิวเตอร์รุ่นต่อไปเพื่อแก้ปัญหาขนาดใหญ่ในสาขาวิทยาศาสตร์ วิศวกรรมศาสตร์ และพาณิชย์ อย่างไรก็ตาม การใช้ การพัฒนา การจัดการทรัพยากร และการจัดตารางในสภาพแวดล้อมเหล่านี้ยังคงเป็นกิจการที่ซับซ้อนในบทความนี้เราจะหารือเกี่ยวกับความพยายามของเราในการพัฒนาระบบการจัดการทรัพยากรการจัดตารางทรัพยากรการคำนวณที่กระจายทั่วโลกแตกต่างกับคุณภาพของบริการ บริการของเราตารางการคำนวณระบบที่เรียกว่า nimrod-g จัดการการดำเนินงานทั้งหมดที่เกี่ยวข้องกับปฏิบัติการระยะไกลรวมทั้งทรัพยากรการค้นพบ ซื้อขายตารางบนพื้นฐานเศรษฐกิจและผู้ใช้กำหนดคุณภาพของความต้องการบริการ การใช้ทรัพยากร nimrod-g โบรกเกอร์ โดย leveraging เทคโนโลยีที่มีอยู่ เช่น ลูกโลก และให้บริการใหม่ที่จำเป็นสำหรับการสร้างกริดความแข็งแกร่งอุตสาหกรรมเราได้กล่าวถึงผลการทดลองเบื้องต้นในการใช้ทรัพยากรการคำนวณพารามิเตอร์บาง nimrod-g โบรกเกอร์ในทั่วโลกตาราง Name = ทดสอบ Comment ที่ครอบคลุม 5 ทวีป
1 บทนำ
การพัฒนาเร่งของระบบกริดที่มีตําแหน่งเป็นสัญญารุ่นต่อไปคอมพิวเตอร์แพลตฟอร์ม พวกเขาช่วยประสานงานกระจายทางภูมิศาสตร์การใช้ทรัพยากรมักจะเป็นเจ้าของโดยองค์กรในกำกับของรัฐ เพื่อสร้างองค์กรเสมือนจริงเพื่อแก้ปัญหาขนาดใหญ่ในสาขาวิทยาศาสตร์ วิศวกรรมศาสตร์ และพาณิชย์ [ 1 ] [ 7 ] อย่างไรก็ตาม การจัดองค์ประกอบ การจัดการทรัพยากรและการตั้งเวลาในสภาพแวดล้อมเหล่านี้เป็นกิจการที่ซับซ้อนนี้คือเนื่องจากการกระจายทางภูมิศาสตร์ของทรัพยากรที่มักจะเป็นเจ้าของโดยองค์กรต่างมีนโยบายการใช้งานที่แตกต่างกันและค่าใช้จ่ายรุ่นที่โหลดและรูปแบบการใช้งาน เพื่อรับมือกับความท้าทายการจัดการทรัพยากรเหล่านี้ เรามีการเสนอและพัฒนาแนวคิดเศรษฐกิจเชิงคำนวณสำหรับการจัดสรรทรัพยากร และระเบียบของอุปทานและอุปสงค์ของทรัพยากรกรอบใหม่ให้เพื่อจูงใจให้เจ้าของทรัพยากร เพื่อการเป็นส่วนหนึ่งของตารางและกระตุ้นให้ผู้ใช้ทรัพยากรการค้าออกระหว่างเวลาผลการจัดส่งและต้นทุนทางเศรษฐกิจ เช่น เวลาและงบประมาณ [ 5 ] .
โมเดลทางเศรษฐกิจเหล่านี้ควบคุมอุปทานและอุปสงค์ตารางทรัพยากรในองค์กรเสมือนจริงเราแสดงให้เห็นถึงพลังของโมเดลเหล่านี้ในการคำนวณการใช้ทรัพยากร nimrod-g นายหน้าซื้อขายบนตาราง Name = ทดสอบ Comment เรียกว่าโลกกว้างกริด ( wwg ) ครอบคลุมทั่วทั้งห้าทวีป ในขณะที่มันไม่ได้เป็นเป้าหมายของระบบที่จะสร้างรายได้ให้ผู้ให้บริการทรัพยากร วิธีการนี้จะให้จูงใจทางเศรษฐกิจสำหรับเจ้าของทรัพยากร การแบ่งปันทรัพยากรของพวกเขาบนตาราง เพิ่มเติมมันกระตุ้นการเกิดขึ้นของอุตสาหกรรมคอมพิวเตอร์ที่มุ่งเน้นให้บริการใหม่ ที่สำคัญ มันมีกลไกการแลกเปลี่ยนพารามิเตอร์ QoS , เวลาและค่าใช้จ่ายในการคำนวณ และมีแรงจูงใจให้ผู้ใช้เพื่อผ่อนคลายความต้องการของพวกเขา ตัวอย่างเช่นผู้ใช้อาจต้องเตรียมตัวยอมรับเส้นตายในภายหลังถ้าการคำนวณสามารถทำได้มากกว่าถูก .
2 nimrod-g :เศรษฐศาสตร์ขับเคลื่อนตารางการคำนวณสภาพแวดล้อม
2.1 . วัตถุประสงค์และเป้าหมาย
nimrod-g เป็นเครื่องมือสำหรับการสร้างแบบจำลองและการประยุกต์ใช้โดยอัตโนมัติ พารามิเตอร์ ( parameter ) กวาด ) มากกว่าโลกกริด [ 1 ] [ 2 ] [ 3 ] มันมีง่าย ๆแบบภาษาแสดงการทดลองการประกาศพารามิเตอร์พารามิเตอร์ .ผู้เชี่ยวชาญโดเมนสามารถสร้างแผนสำหรับการทดสอบพาราเมตริกและใช้ระบบนิมส่งงานสำหรับการประหารชีวิต มันใช้ทรัพยากรใหม่และขั้นตอนวิธีการตามหลักเศรษฐกิจ โดยเฉพาะสนับสนุนผู้ใช้กำหนดตารางเวลาและงบประมาณจำกัด optimisations และจัดการอุปสงค์และอุปทานของทรัพยากรในตารางโดยใช้ชุดของบริการซื้อขายทรัพยากรเรียกเกรซ ( สถาปัตยกรรมกริดสำหรับเศรษฐกิจคอมพิวเตอร์ ) [ 5 ] [ 6 ] [ 7 ] .
nimrod-g ให้ถาวรและโปรแกรมงานเกษตรเครื่องยนต์ ( TFE ) ที่ช่วยให้ " เสียบ " ของผู้ใช้ - กำหนดตารางเวลาการใช้งาน หรือแก้ไขปัญหา และปรับแต่งสภาพแวดล้อม ( เช่น activesheets [ 24 ] ) ในสถานที่ของส่วนประกอบปริยาย งานเกษตรเครื่องยนต์เป็นจุดประสานงานกระบวนการแสดงการซื้อขาย , การจัดตารางทรัพยากรข้อมูลการดำเนินการระยะไกลและปฏิบัติการทดลอง , ,แล้วเปรียบเทียบผล ในอดีต โฟกัสหลักของโครงการคือการสร้างเครื่องมือที่ช่วยให้ผู้เชี่ยวชาญโดเมนในการเขียนของพวกเขามรดกอนุกรมสำหรับพารามิเตอร์การศึกษาและเรียกพวกเขาบนคลัสเตอร์คอมพิวเตอร์และตนเองจัดการกริด [ 2 ] [ 3 ]โฟกัสในปัจจุบันของเราเกี่ยวกับการใช้หลักการทางเศรษฐศาสตร์ในการจัดการทรัพยากรและการตั้งเวลาบนตารางเพื่อให้บางวัดคุณภาพการให้บริการกับผู้ใช้ วิธีการเศรษฐกิจโลกจริงให้สิ่งจูงใจสำหรับการมีส่วนร่วมของเจ้าของทรัพยากร ตลาด และยังมีผู้บริโภคที่มีพื้นฐานสำหรับการซื้อขาย คุณภาพของการบริการที่พวกเขาได้รับกับต้นทุน นั่นคือโฟกัสของเราหมุนภายในแยกพื้นที่สถาปัตยกรรม , ตารางหลักการทางเศรษฐกิจ และการเพิ่มประสิทธิภาพ ( ดูรูปที่ 1 ) ซึ่งเป็นสิ่งจำเป็นสำหรับดันรางเป็นหลัก
คอมพิวเตอร์ .
การแปล กรุณารอสักครู่..