pageRank as a new key/value pair if

pageRank as a new key/value pair if the predicate succeeds. This
task does not require a Reduce function.
HadoopDB’s SMS planner pushes the selection and projection
clauses into the PostgreSQL instances.
The performance of each system is presented in Fig. 6. Hadoop
(with and without Hive) performs a brute-force, complete scan of
all data in a file. The other systems, however, benefit from using
clustered indices on the pageRank column. Hence, in general
HadoopDB and the parallel DBMSs are able to outperform Hadoop.
Since data is partitioned by UserVisits destinationURL, the foreign
key relationship between Rankings pageURL and UserVisits
destinationURL causes the Global and Local Hasher to repartition
Rankings by pageURL. Each Rankings chunk is only 50 MB (collocated
with the corresponding 1GB UserVisits chunk). The overhead
of scheduling twenty Map tasks to process only 1GB of data
per node significantly decreases HadoopDB’s performance.
We, therefore, maintain an additional, non-chunked copy of
the Rankings table containing the entire 1GB. HadoopDB on this
data set outperforms Hadoop because the use of a clustered index
on pageRank eliminates the need to sequentially scan the entire
data set. HadoopDB scales better relative to DBMS-X and Vertica
mainly due to increased network costs of these systems which
dominate when query time is otherwise very low.
6.2.4 Aggregation Task
The next task involves computing the total adRevenue generated
from each sourceIP in the UserVisits table, grouped by either the
seven-character prefix of the sourceIP column or the entire sourceIP
column. Unlike the previous tasks, this task requires intermediate
results to be exchanged between different nodes in the cluster (so
that the final aggregate can be calculated). When grouping on the
seven-character prefix, there are 2000 unique groups. When grouping
on the entire sourceIP, there are 2,500,000 unique groups.
Vertica, DBMS-X, HadoopDB, and Hadoop(Hive) all executed
the identical SQL:
Smaller query:
SELECT SUBSTR(sourceIP, 1, 7), SUM(adRevenue)
FROM UserVisits GROUP BY SUBSTR(sourceIP, 1, 7);
Larger query:
SELECT sourceIP, SUM(adRevenue) FROM UserVisits
GROUP BY sourceIP;
Hadoop (hand-coded) was executed identically to [23]: a Map
function outputs the adRevenue and the first seven characters of the
sourceIP field (or the whole field in the larger query) which gets
sent to a Reduce function which performs the sum aggregation for
each prefix (or sourceIP).
The SMS planner for HadoopDB pushes the entire SQL query
into the PostgreSQL instances. The output is then sent to Reduce
jobs inside of Hadoop that perform the final aggregation (after collecting
all pre-aggregated sums from each PostgreSQL instance).

ผลลัพธ์ (ไทย) 1:

รถเข้าเป็นคู่ค่าคีย์ใหม่ถ้าเพรดิเคตการสำเร็จ นี้งานไม่จำเป็นต้องเป็นฟังก์ชันลดของ HadoopDB SMS วางแผนผลักดันการเลือกและการคาดการณ์ส่วนในกรณี PostgreSQLFig. 6 จะแสดงประสิทธิภาพของแต่ละระบบ อย่างไร Hadoop(มี และไม่ มีกลุ่ม) ดำเนินการสแกนบังคับ สมบูรณ์ของข้อมูลทั้งหมดในแฟ้ม ระบบอื่น ๆ อย่างไรก็ตาม ได้รับประโยชน์จากการใช้ดัชนีคลัสเตอร์ในคอลัมน์รถเข้า ดังนั้น ในทั่วไปHadoopDB และ DBMSs แบบขนานจะมีประสิทธิภาพสูงกว่าอย่างไร Hadoopเนื่องจากข้อมูลจะแบ่งพาร์ติชัน โดย UserVisits destinationURL การต่างประเทศความสัมพันธ์ที่สำคัญระหว่างจัดอันดับของ pageURL และ UserVisitsdestinationURL ทำให้ทั่วโลกและ Hasher ท้องถิ่นเพื่อ repartitionจัดอันดับ โดย pageURL แต่ละกลุ่มการจัดอันดับเป็นเพียง 50 MB (collocatedมีเกี่ยวข้อง 1 GB UserVisits กลุ่ม) ค่าใช้จ่ายในการกำหนดการ 20 แผนที่งานประมวลผลข้อมูลเพียง 1GBอย่างมีนัยสำคัญลดประสิทธิภาพของ HadoopDB ต่อโหนดเรา ดังนั้น รักษาการสำเนาเพิ่มเติม ไม่ใช่เป็นของตารางการจัดอันดับที่ประกอบด้วย 1GB ทั้งหมด HadoopDB นี้ชุดข้อมูล outperforms อย่างไร Hadoop เนื่องจากการใช้ดัชนีกลุ่มบนรถเข้ากำจัดต้องสแกนทั้งหมดตามลำดับชุดข้อมูล HadoopDB ปรับขนาดดีเทียบ DBMS X และ Verticaส่วนใหญ่เนื่องจากต้นทุนเพิ่มเครือข่ายของระบบเหล่านี้ที่ครองเมื่อเวลาสอบถามหรือต่ำมาก6.2.4 รวมงานงานถัดไปเกี่ยวข้องกับการใช้งาน adRevenue รวมที่สร้างขึ้นจาก sourceIP ในตาราง UserVisits การจัดกลุ่ม ด้วยการคำนำหน้าอักขระเจ็ดคอลัมน์ sourceIP หรือ sourceIP ทั้งหมดคอลัมน์ ซึ่งแตกต่างจากงานก่อนหน้านี้ งานนี้ต้องการระดับกลางผลการแลกเปลี่ยนกันระหว่างโหนอื่นในคลัสเตอร์ (ดังนั้นที่รวมขั้นสุดท้ายสามารถคำนวณ) เมื่อจัดกลุ่มในการคำนำหน้าอักขระเจ็ด มี 2000 เฉพาะกลุ่ม เมื่อจัดกลุ่มใน sourceIP ทั้งหมด มีเฉพาะกลุ่ม 2,500,000Vertica, DBMS X, HadoopDB และ Hadoop(Hive) ปฏิบัติการทั้งหมดเหมือนของ SQL:สอบถามขนาดเล็ก:เลือก SUBSTR (sourceIP, 1, 7), SUM(adRevenue)จาก UserVisits กลุ่มด้วย SUBSTR (sourceIP, 1, 7);สอบถามขนาดใหญ่:เลือก sourceIP, SUM(adRevenue) จาก UserVisitsกลุ่มโดย sourceIPมีดำเนินการอย่างไร Hadoop (แบบมือ) ตรงกับ [23]: แผนที่ฟังก์ชันแสดงผล adRevenue และตัวอักษรเจ็ดครั้งแรกของการsourceIP ฟิลด์ (หรือฟิลด์ทั้งหมดในแบบสอบถามที่มีขนาดใหญ่) ที่ได้รับส่งไปยังฟังก์ชันลดที่ดำเนินการรวมผลรวมสำหรับแต่ละคำนำหน้า (หรือ sourceIP)แบบสอบถาม SQL ทั้งหมดผลักดันวางแผน SMS สำหรับ HadoopDBเป็นอินสแตนซ์ PostgreSQL จากนั้นมีส่งออกเพื่อลดงานภายในอย่างไร Hadoop ที่ทำรวมขั้นสุดท้าย (หลังจากการเก็บรวบรวมทั้งหมดรวมล่วงหน้าผลจากแต่ละอินสแตนซ์ PostgreSQL)

ผลลัพธ์ (ไทย) 2:

PageRank เป็นคีย์ใหม่ / คู่ค่าถ้ากริยาประสบความสำเร็จ
นี้งานไม่จำเป็นต้องมีฟังก์ชั่นลด.
วางแผน SMS HadoopDB
ผลักดันของการเลือกและการฉายคำสั่งลงในกรณีPostgreSQL ได้.
ประสิทธิภาพการทำงานของแต่ละระบบจะนำเสนอในรูป 6. Hadoop
(ที่มีและไม่มีไฮฟ์)
ดำเนินการแรงเดรัจฉานสแกนสมบูรณ์ของข้อมูลทั้งหมดในแฟ้ม ระบบอื่น ๆ
แต่ประโยชน์จากการใช้ดัชนีคลัสเตอร์ในคอลัมน์แท่น ดังนั้นโดยทั่วไป
HadoopDB และ DBMSs ขนานสามารถที่จะมีประสิทธิภาพสูงกว่า Hadoop.
เนื่องจากข้อมูลถูกแบ UserVisits destinationURL ที่ต่างประเทศมีความสัมพันธ์ที่สำคัญระหว่างการจัดอันดับ pageURL และ UserVisits destinationURL ทำให้ทั่วโลกและท้องถิ่น Hasher การแบ่งพาร์ติชันการจัดอันดับโดยpageURL แต่ละก้อนที่อยู่ในระดับเพียง 50 MB (collocated กับก้อนที่สอดคล้องกัน 1GB UserVisits) ค่าใช้จ่ายของการตั้งเวลายี่สิบงานแผนที่ในการประมวลผลเพียง 1GB ของข้อมูลต่อโหนดอย่างมีนัยสำคัญลดประสิทธิภาพการทำงานของHadoopDB. ดังนั้นเราจึงรักษาเพิ่มสำเนาที่ไม่ chunked ของตารางการจัดอันดับที่มี1GB ทั้งหมด HadoopDB นี้ชุดข้อมูลที่มีประสิทธิภาพดีกว่าHadoop เพราะการใช้ดัชนีคลัสเตอร์ในPageRank ไม่จำเป็นต้องเรียงตามลำดับสแกนทั้งชุดข้อมูล HadoopDB ชั่งญาติดีกว่าที่จะ DBMS-X และ Vertica ส่วนใหญ่เนื่องจากค่าใช้จ่ายที่เพิ่มขึ้นของเครือข่ายระบบเหล่านี้ซึ่งครองเมื่อเวลาแบบสอบถามเป็นอย่างอื่นที่ต่ำมาก. 6.2.4 การรวมงานงานต่อไปเกี่ยวข้องกับคอมพิวเตอร์รวมadRevenue สร้างจากแต่ละsourceIP ในตาราง UserVisits จัดกลุ่มโดยทั้งคำนำหน้าเจ็ดตัวอักษรของคอลัมน์sourceIP หรือ sourceIP ทั้งคอลัมน์ ซึ่งแตกต่างจากงานที่ผ่านมางานนี้ต้องกลางผลที่จะแลกเปลี่ยนระหว่างโหนดที่แตกต่างกันในคลัสเตอร์(เพื่อว่ารวมสุดท้ายสามารถคำนวณ) เมื่อจัดกลุ่มในคำนำหน้าเจ็ดตัวอักษรมีกลุ่มที่ไม่ซ้ำกัน 2000 เมื่อจัดกลุ่ม. ใน sourceIP ทั้งหมดมี 2,500,000 กลุ่มที่ไม่ซ้ำกัน Vertica, DBMS-X HadoopDB และ Hadoop (ไฮฟ์) ทั้งหมดดำเนินการเหมือนกันSQL: แบบสอบถามที่มีขนาดเล็ก: SELECT SUBSTR (sourceIP, 1, 7), SUM (adRevenue) จาก กลุ่ม UserVisits จำแนก SUBSTR (sourceIP, 1, 7); แบบสอบถามขนาดใหญ่: SELECT sourceIP, SUM (adRevenue) จาก UserVisits กลุ่มตาม sourceIP; Hadoop (มือเขียน) กำลังดำเนินการเหมือนกันกับ [23]: แผนที่ฟังก์ชั่นผลadRevenue และ เจ็ดครั้งแรกตัวละครของสนามsourceIP (หรือทั้งสนามในแบบสอบถามที่มีขนาดใหญ่) ที่ได้รับการส่งไปยังลดการทำงานที่มีประสิทธิภาพรวมผลรวมสำหรับแต่ละคำนำหน้า(หรือ sourceIP). วางแผน SMS สำหรับ HadoopDB ผลักดันให้ทั้งแบบสอบถาม SQL เข้า PostgreSQL กรณี การส่งออกจะถูกส่งไปเพื่อลดงานภายในของ Hadoop ที่ดำเนินการรวมตัวสุดท้าย (หลังจากเก็บผลรวมทั้งหมดก่อนรวบรวมจากแต่ละเช่นPostgreSQL)

ผลลัพธ์ (ไทย) 3:

PageRank เป็นใหม่คีย์ / ค่าคู่ถ้าเป็นความสำเร็จ งานนี้ไม่ต้องใช้ฟังก์ชันลด
.
hadoopdb SMS ของแผนผลักดันการส่วนฉาย
ใน PostgreSQL กรณีที่ .
ประสิทธิภาพของแต่ละระบบที่แสดงในรูปที่ 6 Hadoop
( ที่มีและไม่มีรังผึ้ง ) ดำเนินการบังคับเดรัจฉาน , สมบูรณ์สแกน
ข้อมูลทั้งหมดในแฟ้ม ระบบอื่น ๆ แต่ประโยชน์จากการใช้
กลุ่มดัชนี PageRank คอลัมน์ ดังนั้น ใน hadoopdb ทั่วไป
และ DBMSs ขนานสามารถ outperform Hadoop .
เนื่องจากข้อมูลถูกแบ่งโดย uservisits destinationurl , คีย์ต่างประเทศ

และความสัมพันธ์ระหว่างอันดับ pageurl uservisits destinationurl สาเหตุ ส่วนกลาง และท้องถิ่น hasher จะ repartition
อันดับโดย pageurl . การจัดอันดับแต่ละก้อนเป็นเพียง 50 MB ( วางไว้
ที่สอดคล้องกับ 1GB uservisits ก้อน ) ค่าใช้จ่ายของตารางภารกิจ 20
แผนที่กระบวนการ 1GB ของข้อมูลต่อโหนดอย่างมีนัยสำคัญลดประสิทธิภาพ hadoopdb
.
เราจึงรักษาเพิ่มเติม ไม่ chunked สำเนา
อันดับตารางที่มี 1GB ทั้งหมด hadoopdb นี้
ชุดข้อมูลมีประสิทธิภาพดีกว่าเพราะใช้ Hadoop ของการจัดกลุ่มดัชนี
บนเพจไม่ต้องโดดเด่น สแกนข้อมูลทั้งหมด
ชุด hadoopdb เกล็ดดีขึ้นเมื่อเทียบกับ dbms-x ฐาน
และส่วนใหญ่เนื่องจากการเพิ่มขึ้นของค่าใช้จ่ายเครือข่ายระบบเหล่านี้ซึ่ง
ครองเมื่อเวลาแบบสอบถามอื่น มากน้อย 6.2.4

รวมงานงานต่อไปจะเกี่ยวข้องกับการคำนวณทั้งหมดที่สร้างขึ้น adrevenue
จากแต่ละ sourceip ใน uservisits ตารางจัดกลุ่มด้วย
เจ็ดตัวอักษรคำนำหน้าของ sourceip คอลัมน์หรือคอลัมน์ sourceip
ทั้งหมด ซึ่งแตกต่างจากงานก่อนหน้านี้ งานนี้ต้องมีการแลกเปลี่ยนระหว่างกลาง
เป็นโหนดต่าง ๆ ในกลุ่ม ( ดังนั้น
ว่าสรุปสุดท้ายสามารถคำนวณได้ ) เมื่อจัดกลุ่มใน
7 ตัว คือ มี 2 กลุ่มที่ไม่ซ้ำกัน เมื่อจัดกลุ่ม
บน sourceip ทั้งหมด มี 2500000
กลุ่มพิเศษฐาน dbms-x hadoopdb , , , และ Hadoop ( รัง ) ทั้งหมดดำเนินการแบบสอบถาม SQL ที่เหมือนกัน :


เลือกขนาดเล็ก : substr ( sourceip 1 , 7 ) , เงิน ( adrevenue )
จากกลุ่ม uservisits โดย substr ( sourceip 1 , 7 ) ;

เลือกแบบสอบถามขนาดใหญ่ : sourceip ผลรวม ( adrevenue ) จาก กลุ่ม uservisits
โดย sourceip ;
Hadoop มือ ( รหัส ) ถูกประหารชีวิตเหมือนกัน [ 23 ] : แผนที่
ฟังก์ชันผล adrevenue และเจ็ดตัวอักษรแรกของ
sourceip ฟิลด์ ( หรือทั้งสนามขนาดใหญ่ซึ่งได้รับแบบสอบถาม )
ส่งไปยังฟังก์ชันลด ซึ่งการรวมผลรวม
แต่ละคำนำหน้า ( หรือ sourceip ) .
วางแผน SMS สำหรับ hadoopdb ผลักดันทั้งหมดแบบสอบถาม SQL PostgreSQL
เป็นกรณี ออกแล้วส่ง ลด
งานภายในของ Hadoop ที่ดำเนินการรวมสุดท้าย ( หลังจากรวบรวม
ทั้งหมดก่อนรวมผลบวกจากแต่ละ PostgreSQL เป็นต้น )