First, despite the increased comple

First, despite the increased complexity of the query, the performance of Hadoop is yet again limited by the speed with which the
large UserVisits table (20GB/node) can be read off disk. The MR
program has to perform a complete table scan, while the parallel
database systems were able to take advantage of clustered indexes
on UserVisits.visitDate to significantly reduce the amount of data
that needed to be read. When breaking down the costs of the different parts of the Hadoop query, we found that regardless of the
number of nodes in the cluster, phase 2 and phase 3 took on average 24.3 seconds and 12.7 seconds, respectively. In contrast, phase
1, which contains the Map task that reads in the UserVisits and
Rankings tables, takes an average of 1434.7 seconds to complete.
Interestingly, it takes approximately 600 seconds of raw I/O to read
the UserVisits and Rankings tables off of disk and then another 300 seconds to split, parse, and deserialize the various attributes. Thus,
the CPU overhead needed to parse these tables on the fly is the limiting factor for Hadoop.

ผลลัพธ์ (ไทย) 1:

ครั้งแรก แม้ มีความซับซ้อนมากขึ้นของแบบสอบถาม ประสิทธิภาพของอย่างไร Hadoop อีกยังจำกัดอยู่ ด้วยความเร็วที่การUserVisits โต๊ะ (โหน 20GB) สามารถอ่านจากดิสก์ นายแบบโปรแกรมมีการทำให้สมบูรณ์ ในขณะควบคู่กันระบบฐานข้อมูลมีความสามารถในการใช้ประโยชน์จากดัชนีคลัสเตอร์ใน UserVisits.visitDate เพื่อลดจำนวนของข้อมูลที่ต้องอ่าน เมื่อแบ่งต้นทุนของส่วนต่าง ๆ ของแบบสอบถามอย่างไร Hadoop เราพบว่าไม่ว่าจะหมายเลขของโหนในคลัสเตอร์ เฟส 2 และเฟส 3 เอาเฉลี่ย 24.3 วินาทีและ 12.7 วินาที ตามลำดับ ในทางตรงกันข้าม ระยะ1 ซึ่งประกอบด้วยงานแผนที่ที่อ่านใน UserVisits การ และตารางอันดับ เวลาที่เฉลี่ย 1434.7 วินาทีให้เสร็จสมบูรณ์เป็นเรื่องน่าสนใจ ใช้ I/O ดิบอ่านประมาณ 600 วินาทีตาราง UserVisits และจัดอันดับออกจากดิสก์และอีก 300 วินาทีแบ่ง แยก และคุณลักษณะต่าง ๆ การดีซีเรียลไลซ์ ดังนั้นCPU ที่จ่ายต้องแยกตารางเหล่านี้ในการบินเป็นปัจจัยจำกัดสำหรับอย่างไร Hadoop

ผลลัพธ์ (ไทย) 2:

ครั้งแรกแม้จะมีความซับซ้อนที่เพิ่มขึ้นของแบบสอบถามประสิทธิภาพการทำงานของ Hadoop ยัง จำกัด
อีกครั้งโดยความเร็วที่ที่ตารางUserVisits ขนาดใหญ่ (20GB / โหนด) สามารถอ่านออกดิสก์ นายฮโปรแกรมที่มีการดำเนินการตารางการสแกนที่สมบูรณ์แบบในขณะที่คู่ขนานระบบฐานข้อมูลก็สามารถที่จะใช้ประโยชน์จากดัชนีคลัสเตอร์ในUserVisits.visitDate เพื่อลดปริมาณของข้อมูลที่จะต้องอ่าน เมื่อทำลายลดค่าใช้จ่ายในส่วนที่แตกต่างกันของแบบสอบถาม Hadoop เราพบว่าไม่คำนึงถึงจำนวนโหนดในคลัสเตอร์ระยะที่2 และระยะที่ 3 ใช้เวลาโดยเฉลี่ย 24.3 วินาทีและ 12.7 วินาทีตามลำดับ ในทางตรงกันข้ามเฟส1 ซึ่งมีงานแผนที่ที่อ่านใน UserVisits และตารางการจัดอันดับจะใช้เวลาเฉลี่ย1,434.7 วินาทีให้เสร็จสมบูรณ์. ที่น่าสนใจก็จะใช้เวลาประมาณ 600 วินาทีของผมดิบ / O ที่จะอ่านUserVisits และตารางการจัดอันดับออกจาก ดิสก์และจากนั้นอีก 300 วินาทีในการแยก, แยกและ deserialize คุณลักษณะต่างๆ ดังนั้นCPU ค่าใช้จ่ายที่จำเป็นในการที่จะแยกตารางเหล่านี้ในการบินเป็นปัจจัยที่ จำกัด สำหรับ Hadoop

ผลลัพธ์ (ไทย) 3:

แรก แม้จะมีความซับซ้อนที่เพิ่มขึ้นของแบบสอบถามการปฏิบัติ Hadoop เป็นอีกครั้งที่ จำกัด โดยความเร็วที่
โต๊ะ uservisits ขนาดใหญ่ ( 20GB / โหนด ) สามารถอ่านดิสก์ โปรแกรม MR
มีการดำเนินการสมบูรณ์ตารางการสแกนในขณะที่ระบบฐานข้อมูลแบบขนาน
สามารถใช้ประโยชน์จากการจัดกลุ่มดัชนี
บน uservisits.visitdate เพื่อลดปริมาณของข้อมูล
ที่ต้องอ่าน เมื่อแบ่งต้นทุนของชิ้นส่วนที่แตกต่างกันของ Hadoop แบบสอบถาม เราพบว่า ไม่ว่า
โหนดในคลัสเตอร์ ระยะที่ 2 และระยะที่ 3 ใช้เวลาเฉลี่ย 24.3 วินาทีและ 12.7 วินาที ตามลำดับ ในทางตรงกันข้ามเฟส
1 ซึ่งประกอบด้วยแผนที่งานที่อ่านใน uservisits และ
อันดับตาราง ใช้เวลาเฉลี่ย 1434.7
วินาทีให้เสร็จสมบูรณ์น่าสนใจ มันใช้เวลาประมาณ 600 วินาทีดิบ I / O อ่าน
uservisits และอันดับตารางของดิสก์และจากนั้นอีก 300 วินาทีในการแยก , แยก , และอุปกรณ์ต่อแบบขนานคุณลักษณะต่าง ๆ ดังนั้นต้องแยกค่าใช้จ่าย
CPU ตารางเหล่านี้ในการบินเป็นปัจจัยจำกัด Hadoop .