Efficiently utilizing off-chip DRAM

Efficiently utilizing off-chip DRAM bandwidth is a critical issue
in designing cost-effective, high-performance chip multiprocessors
(CMPs). Conventional memory controllers deliver relatively
low performance in part because they often employ fixed,
rigid access scheduling policies designed for average-case application
behavior. As a result, they cannot learn and optimize
the long-term performance impact of their scheduling decisions,
and cannot adapt their scheduling policies to dynamic workload
behavior.
We propose a new, self-optimizing memory controller design
that operates using the principles of reinforcement learning (RL)
to overcome these limitations. Our RL-based memory controller
observes the system state and estimates the long-term performance
impact of each action it can take. In this way, the controller
learns to optimize its scheduling policy on the fly to maximize
long-term performance. Our results show that an RL-based
memory controller improves the performance of a set of parallel
applications run on a 4-core CMP by 19% on average (up
to 33%), and it improves DRAM bandwidth utilization by 22%
compared to a state-of-the-art controller.

ผลลัพธ์ (ไทย) 1:

ได้อย่างมีประสิทธิภาพการใช้แบนด์วิดธ์ DRAM ออกชิป
เป็นปัญหาที่สำคัญในการออกแบบที่มีประสิทธิภาพที่มีประสิทธิภาพสูงมัลติชิป
(CMPS) ตัวควบคุมหน่วยความจำปกติส่งมอบประสิทธิภาพการทำงานที่ค่อนข้าง
ต่ำในส่วนหนึ่งเป็นเพราะพวกเขามักจะจ้างคงที่
นโยบายการจัดตารางเวลาการเข้าถึงแข็งได้รับการออกแบบสำหรับการใช้งานโดยเฉลี่ยในกรณีที่พฤติกรรม
เป็นผลให้พวกเขาไม่สามารถเรียนรู้และเพิ่มประสิทธิภาพ
ผลกระทบต่อประสิทธิภาพในระยะยาวของการตัดสินใจการจัดตารางเวลา
ของพวกเขาและไม่สามารถปรับตัวเข้ากับนโยบายการจัดตารางเวลาของพวกเขาเพื่อภาระงานแบบไดนามิก
พฤติกรรม.
เราเสนอใหม่ควบคุมหน่วยความจำในตัวเองเพิ่มประสิทธิภาพ
ออกแบบที่ทำงานโดยใช้หลักการของการเรียนรู้การเสริมแรง (RL)
ไป เอาชนะข้อ จำกัด เหล่านี้ RL-ตาม
ควบคุมหน่วยความจำของเราตั้งข้อสังเกตสถานะของระบบและประเมินผลการดำเนินงานในระยะยาว
ผลกระทบของการดำเนินการในแต่ละก็สามารถใช้เวลา ในลักษณะนี้
ควบคุมการเรียนรู้ที่จะเพิ่มประสิทธิภาพของนโยบายการจัดตารางการบินเพื่อเพิ่มประสิทธิภาพการทำงาน
ระยะยาว ผลของเราแสดงให้เห็นว่า RL ที่ใช้ควบคุมหน่วยความจำ
ช่วยเพิ่มประสิทธิภาพของชุดของการใช้งาน
ขนานวิ่งบน 4-core cmp 19% โดยเฉลี่ย (
ขึ้นถึง 33%) และจะช่วยเพิ่มการใช้แบนด์วิธ DRAM 22%
เมื่อเทียบกับการควบคุมรัฐ-of-the-art

ผลลัพธ์ (ไทย) 2:

มีประสิทธิภาพการใช้แบนด์วิธออกชิป DRAM เป็นปัญหาสำคัญ
ในการออกแบบ multiprocessors
(CMPs) ชิคุ้มค่า ประสิทธิภาพสูง ตัวควบคุมหน่วยความจำปกติส่งค่อนข้าง
ต่ำประสิทธิภาพการทำงานบางส่วนเนื่องจากพวกเขามักจะจ้างถาวร,
แข็งเข้าแผนนโยบายที่ออกแบบมาสำหรับค่าเฉลี่ยกรณี
ลักษณะการทำงาน ผล พวกเขาไม่สามารถเรียนรู้ และปรับ
ระยะยาวประสิทธิภาพผลของการตัดสินใจการจัดกำหนดการ,
และไม่สามารถปรับเปลี่ยนนโยบายการจัดกำหนดการให้ปริมาณแบบไดนามิก
ทำ
เราเสนอการออกแบบตัวควบคุมหน่วยความจำใหม่ ประสิทธิภาพตนเอง
ที่ดำเนินงานโดยใช้หลักการเสริมสร้างการเรียนรู้ (RL)
เพื่อเอาชนะข้อจำกัดเหล่านี้ ตัวควบคุมหน่วยความจำที่ใช้ RL ของเรา
คำนึงถึงสถานะของระบบ และประเมินผลการดำเนินงานระยะยาว
ผลกระทบของการกระทำแต่ละมันจะ วิธีนี้ ตัวควบคุม
เรียนรู้ที่จะปรับนโยบายการจัดตารางเวลาในการบินเพื่อเพิ่ม
ประสิทธิภาพระยะยาว ผลของเราแสดงว่ามี RL ตาม
หน่วยความจำในการควบคุมปรับปรุงประสิทธิภาพการทำงานของชุดขนาน
เรียกโปรแกรมประยุกต์ใช้ CMP 4 หลัก 19% โดยเฉลี่ย (ค่า
33%), และเป็นการปรับปรุงใช้แบนด์วิดท์ DRAM โดย 22%
เมื่อเทียบกับสมัยของตัวควบคุม

ผลลัพธ์ (ไทย) 3:

ได้อย่างมี ประสิทธิภาพ ด้วยการใช้ประโยชน์จาก Bandwidth DRAM ปิด - chip คือปัญหาที่สำคัญ
ซึ่งจะช่วยในการออกแบบมี ประสิทธิภาพ สูงราคาประหยัดชิปได้
( cmps ) คอนโทรลเลอร์หน่วยความจำแบบทั่วไป
ซึ่งจะช่วยให้มี ประสิทธิภาพ การทำงานต่ำในส่วนหนึ่งเป็นเพราะพวกเขามักใช้แบบถาวร
นโยบายการจัดตารางเวลาการเข้าถึงตัวแข็งได้รับการออกแบบสำหรับกรณีแอปพลิเคชัน
ลักษณะการทำงาน ทำให้ไม่สามารถเรียนรู้และเพิ่ม ประสิทธิภาพ
ตามมาตรฐานส่งผลกระทบต่อ ประสิทธิภาพ การทำงานระยะยาวในการตัดสินใจการจัดตารางเวลาของเขา
และไม่สามารถปรับนโยบายการจัดตารางเวลาของการทำงานแบบไดนามิก
พฤติกรรม.
เราเสนอการออกแบบคอนโทรลเลอร์หน่วยความจำแบบบริการตัวเอง - การปรับแต่งใหม่
ซึ่งจะช่วยให้ทำงานโดยใช้หลักการของการเรียนรู้เสริม( RL )
จะสามารถเอาชนะข้อจำกัดเหล่านี้ คอนโทรลเลอร์หน่วยความจำ RL - ใช้ของเรา
แอบดูสถานะของระบบและประเมิน ประสิทธิภาพ การทำงานระยะยาวที่
ผลกระทบของการดำเนินการอาจจะต้องใช้เวลา ในลักษณะนี้คอนโทรลเลอร์ที่
ซึ่งจะช่วยเพิ่ม ประสิทธิภาพ ในการเรียนรู้การกำหนดตารางเวลาการดำเนินนโยบายที่จะบินเพื่อเพิ่ม ประสิทธิภาพ
ระยะยาว ผลการค้นหาของเราแสดงให้เห็นว่าคอนโทรลเลอร์หน่วยความจำ RL
ซึ่งจะช่วยปรับปรุง ประสิทธิภาพ การทำงานแบบขนาน
รันแอพพลิเคชั่นบนโดย IACC 4 - core ที่โดย 19% โดยเฉลี่ยแล้ว(
ซึ่งจะช่วยเพิ่มขึ้น 33% )และปรับปรุงการใช้งานแบนด์วิดธ์ DRAM โดย 22%
เมื่อเทียบกับคอนโทรลเลอร์ในแบบที่ทันสมัย.