MisSPECulation: Partial and Mislead

MisSPECulation: Partial and Misleading Use of SPEC CPU2000 in Computer
Architecture Conferences
Daniel Citron
IBM Haifa Labs
Haifa University Campus
Haifa 31905, Israel
[e-mail]
A majority of the papers published in leading computer architecture conferences use SPEC CPU2000, or its predecessor SPEC CPU95, which has become the de facto stan-dard for measuring processor and/or memory-hierarchy performance. However, in most cases a subset of the suite’s benchmarks are simulated. For example: 27 papers were published in ISCA 2002, 16 used SPECINT2000, 4 used the whole suite, and only 3 papers explained their omis-sions.

This paper quantifies the extent of this phenomenon in the ISCA, Micro, and HPCA conferences: 173 papers were surveyed, 115 used benchmarks from SPEC CINT, but only 23 used the whole suite. If this current trend continues, by the year 2005 80% of the papers will use the full CINT2000 suite, a year after CPU2004 shall be announced.

We claim that results based upon a subset of a bench-mark suite are speculative and conflict with Amdahl’s Law.The law implies that we must present the speedup of using the proposed technique on the whole suite.Projecting the law (by statistically supplying values for the missing bench-marks) to several published papers reduces promising re-sults to average ones. Speedups are reduced from 1.42 to1.16 in one case, from 1.43 to 1.13 in another, and from 1.76 to 1.15 in a third.Finally, we have found that the disregard for CFP2000 is unwarranted in papers that explore the data cache do- main, the suite displays a higher data cache miss rate than CINT2000, which is used more frequently.

ผลลัพธ์ (ไทย) 1:

MisSPECulation: บางส่วนและ CPU2000 หลอกลวงใช้ของสเปคคอมพิวเตอร์
สัมมนาสถาปัตยกรรม
Daniel Citron
IBM ฟา Labs
ฟามหาวิทยาลัยวิทยาเขต
ฟา 31905 อิสราเอล
[e-mail]
ส่วนใหญ่เอกสารเผยแพร่นำคอมพิวเตอร์สถาปัตยกรรมประชุมใช้ข้อมูลจำเพาะ CPU2000 หรือบรรพบุรุษ CPU95 ข้อมูลจำเพาะ ซึ่งได้กลายเป็นสแตน-dard เดิมสำหรับการวัดประสิทธิภาพของตัวประมวลผลและ/หรือลำดับชั้นหน่วยความจำ อย่างไรก็ตาม ในกรณีส่วนใหญ่ ชุดย่อยของเกณฑ์มาตรฐานของห้องระบบจะจำลอง ตัวอย่าง: 27 เอกสารเผยแพร่ในปี 2002 ISCA, SPECINT2000 ใช้ 16, 4 ใช้ห้องทั้งหมด และเอกสารเพียง 3 อธิบาย sions omis ของพวกเขา

นี้กระดาษ quantifies ขอบเขตของปรากฏการณ์นี้ใน ISCA ไมโคร HPCA สัมมนา: 173 เอกสารถูกสำรวจ 115 ใช้เกณฑ์มาตรฐานจากข้อมูลจำเพาะ CINT แต่เพียง 23 ใช้ห้องทั้งหมด ถ้าแนวโน้มนี้ปัจจุบันยังคง โดยปี 2548 80% ของเอกสารจะใช้ชุดเต็มของ CINT2000 ปีหลังจาก CPU2004 จะมีประกาศ

เราอ้างผลลัพธ์ขึ้นอยู่กับชุดย่อยของชุดเครื่องหมายม้าเก็ง และ conflict กับ Amdahl ของกฎหมายกฎหมายหมายความว่า เราต้องนำเสนอ speedup ของการใช้เทคนิคการนำเสนอในห้องทั้งหมดProjecting กฎหมาย (โดยทางสถิติขายค่าม้าเครื่องหมายสูญหาย) เพื่อเผยแพร่เอกสารต่าง ๆ ลดสัญญาใหม่-sults ให้คนเฉลี่ย Speedups จะลดลง จาก to1.16 1.42 ในกรณีหนึ่ง จาก 1.43 ถึง 1.13 ในอีก และ 1.76 ไป 1.15 ในสามสุดท้าย เราพบว่า ไม่สนใจ CFP2000 unwarranted ในเอกสารที่สำรวจข้อมูลแคทำหลัก ชุดแสดงการข้อมูลแคนางสาวอัตราสูงกว่า CINT2000 ที่ใช้บ่อย

ผลลัพธ์ (ไทย) 2:

MisSPECulation: ใช้บางส่วนและทำให้เข้าใจผิดของ CPU2000 SPEC ในคอมพิวเตอร์
ประชุมสถาปัตยกรรม
แดเนียลมะนาว
ไอบีเอ็มไฮฟา Labs
วิทยาเขตมหาวิทยาลัยไฮฟา
ไฮฟา 31905, อิสราเอล
[e-mail]
ส่วนใหญ่ของเอกสารที่ตีพิมพ์ในการประชุมชั้นนำสถาปัตยกรรมคอมพิวเตอร์ใช้ SPEC CPU2000 หรือก่อนหน้านั้น SPEC CPU95 ซึ่งได้กลายเป็นพฤตินัยสแตนดาดสำหรับการวัดประสิทธิภาพของโปรเซสเซอร์และ / หรือหน่วยความจำลำดับชั้น อย่างไรก็ตามในกรณีส่วนใหญ่ส่วนหนึ่งของมาตรฐานชุดที่มีการจำลอง ตัวอย่างเช่น: 27 เอกสารที่ถูกตีพิมพ์ใน ISCA 2002 16 ใช้ SPECINT2000 4 ใช้ชุดทั้งหมดและเพียง 3 เอกสารอธิบายของพวกเขา Omis-sions บทความนี้ quanti ไฟ es ขอบเขตของปรากฏการณ์นี้ใน ISCA ไมโครและการประชุม HPCA: 173 เอกสารที่ได้รับการสำรวจมาตรฐานที่ใช้ 115 จาก SPEC CInt แต่เพียง 23 ใช้ชุดทั้ง หากแนวโน้มในปัจจุบันนี้ยังคงโดยในปี 2005 80% ของเอกสารที่จะใช้ชุด CINT2000 เต็มปีหลังจากที่ CPU2004 จะได้รับการประกาศเราอ้างว่าผลขึ้นอยู่กับส่วนหนึ่งของชุดม้านั่งเครื่องหมายเป็นเก็งกำไรและ con ICT ชั้นกับดาห์ลของ กฎหมาย Law.The หมายความว่าเราจะต้องนำเสนอการเร่งความเร็วของการใช้เทคนิคที่นำเสนอใน suite.Projecting ทั้งกฎหมาย (โดยสถิติการจัดส่งค่าหายไปที่ม้านั่งรอย) ไปหลายเอกสารเผยแพร่ลดสัญญาใหม่ sults กับคนโดยเฉลี่ย speedups จะลดลงจาก 1.42 to1.16 ในกรณีหนึ่ง 1.43-1.13 ในอื่นและ 1.76-1.15 ใน third.Finally เราได้พบว่าการไม่นำพาต่อ CFP2000 เป็นเหตุผลในเอกสารที่สำรวจแคชข้อมูล do, หลัก , ชุดแสดงอัตราที่สูงขึ้นแคชข้อมูลพลาดกว่า CINT2000 ซึ่งถูกนำมาใช้บ่อยครั้งมากขึ้น

ผลลัพธ์ (ไทย) 3:

misspeculation บางส่วนเข้าใจผิดและใช้สเป็ค cpu2000 ในการประชุมสถาปัตยกรรมคอมพิวเตอร์

แดเนียลมะนาว
IBM Haifa Labs

31905 ไฮมหาวิทยาลัย Haifa อิสราเอล
มะนาว @ อิล ไอบีเอ็ม . com
ส่วนใหญ่ของเอกสารตีพิมพ์ในการประชุมสถาปัตยกรรมคอมพิวเตอร์ชั้นนำใช้สเป็ค cpu2000 หรือบรรพบุรุษของ cpu95 spec ,ซึ่งได้กลายเป็นพฤตินัย Stan dard เพื่อวัดประสิทธิภาพของโปรเซสเซอร์และ / หรือลำดับชั้นของหน่วยความจำ อย่างไรก็ตาม ในกรณีส่วนใหญ่ เป็นส่วนหนึ่งของชุดของมาตรฐานความ . ตัวอย่าง : 27 เอกสารถูกตีพิมพ์ใน Isca 2002 16 ใช้ specint2000 4 ใช้ห้องสวีททั้งหมดและมีเพียง 3 เอกสารอธิบาย sions omis .

นี้กระดาษการไฟฟ้าจึงและขอบเขตของปรากฏการณ์นี้ใน Isca ไมโครและ hpca การประชุม : 173 เอกสารโดยใช้ 115 ใช้มาตรฐานจากสเป็ค cint แต่เพียง 23 ใช้แต่งงานทั้งหมด หากแนวโน้มปัจจุบันยังคงดำเนินต่อไป โดยปี 2548 ร้อยละ 80 ของเอกสาร จะใช้ชุด cint2000 เต็มปีหลังจากที่ cpu2004 จะประกาศ

เราอ้างว่าผลขึ้นอยู่กับเซตย่อยของ Bench Mark แต่งงานจะเก็ง และคอนfl ICT กับ amdahl คือกฎหมายกฎหมายแสดงให้เห็นว่าเราต้องนำเสนอการเร่งความเร็วของการใช้เทคนิคที่นำเสนอในชุดทั้งหมด ยื่นกฎหมาย ( โดยสถิติการขายค่าหายไปม้านั่งเครื่องหมาย ) หลายเอกสารเผยแพร่ลดสัญญาอีกครั้ง sults เพื่อคนเฉลี่ย speedups ลดลงจาก 1.42 to1.16 ในกรณีหนึ่งจาก 1.43 ถึง 1.13 ในอื่น และจาก 1.76 1.15 ในที่สาม ในที่สุดเราได้พบว่า cfp2000 คือไม่เคารพในเอกสารที่สำรวจข้อมูลแคช - หลัก , ชุดแสดงข้อมูลที่สูงกว่าอัตรากว่าแคชมิส cint2000 ซึ่งใช้บ่อย