phases of a query plan. The Hive op

phases of a query plan. The Hive optimizer is a simple, na¨ıve, rulebased
optimizer. It does not use cost-based optimization techniques.
Therefore, it does not always generate efficient query plans. This is
another advantage of pushing as much as possible of the query processing
logic into DBMSs that have more sophisticated, adaptive or
cost-based optimizers.
(5) Finally, the physical plan generator converts the logical query
plan into a physical plan executable by one or more MapReduce
jobs. The first and every other Reduce Sink operator marks a transition
from a Map phase to a Reduce phase of a MapReduce job and
the remaining Reduce Sink operators mark the start of new MapReduce
jobs. The above SQL query results in a single MapReduce
job with the physical query plan illustrated in Fig. 2(a). The boxes
stand for the operators and the arrows represent the flow of data.
(6) Each DAG enclosed within a MapReduce job is serialized
into an XML plan. The Hive driver then executes a Hadoop job.
The job reads the XML plan and creates all the necessary operator
objects that scan data from a table in HDFS, and parse and process
one tuple at a time.
The SMS planner modifies Hive. In particular we intercept the
normal Hive flow in two main areas:
(i) Before any query execution, we update the MetaStore with
references to our database tables. Hive allows tables to exist externally,
outside HDFS. The HadoopDB catalog, Section 5.2.2, provides
information about the table schemas and required Deserializer
and InputFormat classes to the MetaStore. We implemented
these specialized classes.
(ii) After the physical query plan generation and before the execution
of the MapReduce jobs, we perform two passes over the
physical plan. In the first pass, we retrieve data fields that are actually
processed by the plan and we determine the partitioning keys
used by the Reduce Sink (Repartition) operators. In the second
pass, we traverse the DAG bottom-up from table scan operators to
the output or File Sink operator. All operators until the first repartition
operator with a partitioning key different from the database’s
key are converted into one or more SQL queries and pushed into
the database layer. SMS uses a rule-based SQL generator to recreate
SQL from the relational operators. The query processing logic
that could be pushed into the database layer ranges from none (each

ผลลัพธ์ (ไทย) 1:

ขั้นตอนของแผนการสอบถาม เพิ่มประสิทธิภาพของกลุ่มได้ง่าย na¨ıve, rulebasedเพิ่มประสิทธิภาพการ มันไม่ได้ใช้เทคนิคการปรับให้เหมาะสมตามต้นทุนดังนั้น มันไม่เสมอสร้างแผนแบบสอบถามมีประสิทธิภาพ นี่คือประโยชน์อีกประการหนึ่งของการผลักดันมากที่สุดของการประมวลผลแบบสอบถามตรรกะเป็น DBMSs ที่มีซับซ้อน เหมาะสม หรือใช้ต้นทุนเพิ่มประสิทธิภาพการ(5) สุดท้าย เครื่องกำเนิดไฟฟ้าทางกายภาพแผนแปลงแบบสอบถามทางตรรกะวางแผนเข้าปฏิบัติแผนทางกายภาพโดย MapReduce น้อยงาน แรก และเปลี่ยนเครื่องทุกอื่น ๆ ลดจมตัวจากแผนผังขั้นตอนการลดขั้นตอนของงาน MapReduce และผู้ประกอบการลดจมเหลือเครื่องหมายเริ่มต้นใหม่ MapReduceงาน ผลการสอบถาม SQL ข้างใน MapReduce เดียวงาน มีแผนการสอบถามทางกายภาพที่แสดงใน Fig. 2(a) กล่องกาเครื่องหมายยืนสำหรับตัวดำเนินการ และลูกศรแสดงถึงการไหลของข้อมูล(6) ในแต่ละพื้นที่อยู่ใน MapReduce เป็นงานทำให้เป็นอนุกรมเป็นแผนการ XML โปรแกรมควบคุมของกลุ่มแล้วดำเนินงานอย่างไร Hadoopงานอ่านแผน XML และสร้างผู้ประกอบการที่จำเป็นวัตถุที่สแกนข้อมูลจากตารางใน HDFS และกระบวนการในการแยกวิเคราะห์ทูเพิลหนึ่งครั้งวางแผนการ SMS ปรับเปลี่ยนกลุ่ม โดยเฉพาะอย่างยิ่ง เราดักขั้นตอนกลุ่มปกติในพื้นที่หลักที่สอง:(i) ก่อนการดำเนินการแบบสอบถามใด ๆ เราอัพเด MetaStore ด้วยการอ้างอิงฐานข้อมูลของเรา กลุ่มช่วยให้ตารางอยู่ภายนอกHDFS ภายนอก แค็ตตาล็อก HadoopDB, 5.2.2 ส่วนแสดงข้อมูลเกี่ยวกับเค้าร่างของตารางและต้อง Deserializerและคลา InputFormat ไป MetaStore เรานำมาใช้ห้องเรียนพิเศษเหล่านี้(ii) หลัง จากสร้างแผนแบบสอบถามที่มีอยู่จริง และ ก่อนการดำเนินการงาน MapReduce เราทำสองผ่านผ่านการแผนทางกายภาพ ในครั้งแรก เราเรียกเขตข้อมูลที่เป็นจริงดำเนินการตามแผน และเรากำหนดคีย์แบ่งพาร์ติชันใช้ โดยผู้ประกอบการลดจม (Repartition) ในที่สองผ่าน เราข้ามพื้นที่ล่างขึ้นจากดำเนินการสแกนตารางเพื่อผลผลิตหรือการดำเนินการแฟ้มจม ตัวดำเนินการทั้งหมดจนถึง repartition แรกดำเนินการคีย์แบ่งพาร์ติชันที่แตกต่างจากของฐานข้อมูลคีย์จะถูกแปลงเป็นแบบสอบถาม SQL อย่าง น้อยหนึ่ง และผลักเข้าชั้นฐานข้อมูล SMS ใช้ SQL สร้างตามกฎเพื่อสร้างSQL จากตัวดำเนินการเชิงสัมพันธ์ ตรรกะการประมวลผลแบบสอบถามที่อาจจะตกอยู่ในช่วงชั้นฐานข้อมูลจากไม่มี (แต่ละ

ผลลัพธ์ (ไทย) 2:

ขั้นตอนของแผนแบบสอบถาม เพิ่มประสิทธิภาพรังเป็นง่ายไร้เดียงสา rulebased
เพิ่มประสิทธิภาพ มันไม่ได้ใช้ค่าใช้จ่ายที่ใช้เทคนิคการเพิ่มประสิทธิภาพ.
ดังนั้นจึงไม่เคยสร้างแผนการค้นหาที่มีประสิทธิภาพ นี่คือประโยชน์ของการผลักดันมากที่สุดเท่าที่เป็นไปได้ของการประมวลผลแบบสอบถามอีกตรรกะเข้าDBMSs ที่มีความซับซ้อนมากขึ้นการปรับตัวหรือค่าใช้จ่ายที่ใช้เพิ่มประสิทธิภาพ. (5) สุดท้ายกำเนิดแผนทางกายภาพแปลงแบบสอบถามตรรกะแผนเป็นแผนปฏิบัติการทางกายภาพโดยหนึ่งหรือมากกว่า MapReduce งาน ที่แรกและที่อื่น ๆ ทุกผู้ประกอบการจมลดเครื่องหมายการเปลี่ยนแปลงจากระยะแผนที่ไปยังขั้นตอนของงานMapReduce ลดและที่เหลือผู้ประกอบการลดอ่างล้างจานทำเครื่องหมายจุดเริ่มต้นของ MapReduce ใหม่งาน ดังกล่าวข้างต้นส่งผลแบบสอบถาม SQL ใน MapReduce เดียวงานกับแผนการสอบถามทางกายภาพที่แสดงในรูป 2 (ก) กล่องยืนสำหรับผู้ประกอบการและลูกศรแทนการไหลของข้อมูล. (6) DAG แต่ละล้อมรอบภายในงาน MapReduce จะต่อเนื่องกันในการวางแผนXML ที่ คนขับรถไฮฟ์แล้วดำเนินงาน Hadoop. งานอ่านแผน XML และสร้างผู้ประกอบการทั้งหมดที่จำเป็นวัตถุที่สแกนข้อมูลจากตารางในHDFS และแยกและประมวลผลอย่างใดอย่างหนึ่งtuple ในเวลา. วางแผน SMS ปรับแต่งไฮฟ์ โดยเฉพาะอย่างยิ่งที่เราสกัดกั้นการไหลของไฮฟ์ปกติในสองพื้นที่หลัก: (i) ก่อนที่จะดำเนินการแบบสอบถามใด ๆ เราปรับปรุง MetaStore ที่มีการอ้างอิงถึงตารางฐานข้อมูลของเรา ไฮฟ์ช่วยให้ตารางมีอยู่ภายนอกHDFS นอก แคตตาล็อก HadoopDB มาตรา 5.2.2 ให้ข้อมูลเกี่ยวกับแบบแผนตารางและต้องdeserializer และ InputFormat เรียนการ MetaStore เราดำเนินการเรียนพิเศษเหล่านี้. (ii) หลังจากการสร้างแผนการสอบถามทางกายภาพและก่อนที่จะดำเนินการในงานMapReduce เราดำเนินการทั้งสองผ่านไปกว่าแผนทางกายภาพ ในครั้งแรกผ่านที่เราเรียกเขตข้อมูลที่เป็นจริงการประมวลผลโดยแผนและเราตรวจสอบคีย์แบ่งใช้โดยลดอ่างล้างจาน(Repartition) ผู้ประกอบการ ในครั้งที่สองผ่านเราสำรวจ DAG ด้านล่างขึ้นจากผู้ประกอบการตารางการสแกนไปยังการส่งออกหรือผู้ประกอบการไฟล์อ่างล้างจาน ผู้ประกอบการทั้งหมดจนกว่า repartition แรกผู้ประกอบการที่มีการแบ่งพาร์ทิชันที่สำคัญจากฐานข้อมูลที่แตกต่างกันของที่สำคัญจะถูกแปลงเป็นหนึ่งหรือมากกว่าหนึ่งคำสั่งSQL และผลักดันให้เป็นชั้นฐานข้อมูล SMS ใช้เครื่องกำเนิดไฟฟ้า SQL ตามกฎที่จะสร้างSQL จากผู้ประกอบการเชิงสัมพันธ์ ตรรกะประมวลผลแบบสอบถามที่สามารถผลักดันให้เป็นชั้นฐานข้อมูลตั้งแต่ไม่มี (แต่ละ

ผลลัพธ์ (ไทย) 3:

ขั้นตอนของแผนแบบสอบถาม . กลุ่ม Optimizer เป็นง่ายนา ¨ı VE rulebased
เพิ่มประสิทธิภาพ . มันไม่ใช้ต้นทุนโดยใช้เทคนิคการเพิ่มประสิทธิภาพ .
ดังนั้น มันไม่เสมอสร้างแผนการแบบสอบถามที่มีประสิทธิภาพ นี่คือ
อีกประโยชน์ของการผลักดันให้มากที่สุดของแบบสอบถามการประมวลผล
ตรรกะเป็น DBMSs ที่มีความซับซ้อนมากขึ้น , ปรับหรือค่าใช้จ่าย optimizers
.
( 5 ) สุดท้ายแผนการสร้างแปลงทางกายภาพแผนแบบสอบถาม
ตรรกะในแผนปฏิบัติการทางกายภาพโดยหนึ่งหรือมากกว่าหนึ่งงาน mapreduce

ครั้งแรก และทุก ๆลดรอยจมผู้ประกอบการเปลี่ยน
จากแผนที่เพื่อลดระยะขั้นตอนของงานและลด mapreduce
เหลือผู้ประกอบการจมเครื่องหมายจุดเริ่มต้นของงาน mapreduce
ใหม่ ข้างต้นแบบสอบถาม SQL ผลลัพธ์ใน
mapreduce เดี่ยวงานกับแบบสอบถามทางกายภาพแผนแสดงในรูปที่ 2 ( ก ) ขาตั้งกล่อง
สำหรับผู้ประกอบการและลูกศรแสดงการไหลของข้อมูล .
( 6 ) แต่ละวันที่ล้อมรอบ ภายในงานมี mapreduce ต่อเนื่อง
เป็น XML แผน รังผึ้งไดรเวอร์แล้วรัน Hadoop งาน .
งานอ่านแผน XML และสร้างวัตถุที่จำเป็นทั้งหมดโอเปอเรเตอร์
สแกนข้อมูลจากตารางใน hdfs และแยกและกระบวนการ
หนึ่ง tuple ในเวลา .
SMS วางแผนปรับเปลี่ยนรังผึ้ง โดยเฉพาะอย่างยิ่งเราสกัดกั้น
ไหลรังปกติในสองพื้นที่หลัก :
( i ) ก่อนที่แบบสอบถามใด ๆบังคับ เราปรับปรุง metastore กับ
อ้างอิงจากตารางฐานข้อมูลของเรา รังผึ้งช่วยให้ตารางอยู่ภายนอก
นอก hdfs . การ hadoopdb แคตตาล็อกส่วน 5.2.2 ให้
ข้อมูลเกี่ยวกับตารางแผนผัง และต้อง deserializer
inputformat ชั้นเรียนและการ metastore . เราใช้เหล่านี้ผู้เชี่ยวชาญเรียน
.
( II ) หลังจากการทางกายภาพ แผนการสร้างและก่อนการประหาร
ของ mapreduce งานเราทำสองผ่านไป
วางแผนทางกายภาพ ในผ่านแรก เราดึงข้อมูลในเขตข้อมูลที่เป็นจริง
ประมวลผลตามแผนแล้วเราตรวจสอบการใช้ปุ่ม
โดยลดจม ( repartition ) ผู้ประกอบการในผ่านสอง
เราเดินทางวันที่จากล่างขึ้นบน จากตารางสแกน (
ผลผลิตหรือผู้ประกอบการซิงค์ไฟล์ ทั้งหมดผู้ประกอบการจนกว่า repartition
ผู้ประกอบการครั้งแรกกับพาร์ทิชันหลักแตกต่างจากกุญแจ
ฐานข้อมูลจะถูกแปลงเป็นหนึ่งหรือมากกว่าของ SQL แบบสอบถาม และผลักดันให้เป็น
ฐานข้อมูลชั้น SMS ใช้เครื่องกำเนิดไฟฟ้า SQL เพื่อสร้างกฎ
SQL จากผู้ประกอบการสัมพันธ์แบบสอบถามการประมวลผลตรรกะ
ที่อาจถูกผลักเข้าสู่ฐานข้อมูลจากแต่ละช่วงชั้นไม่มี