Given a query, Shark uses the Hive

Given a query, Shark uses the Hive query compiler to parse the
query and generate an abstract syntax tree. The tree is then turned
into a logical plan and basic logical optimization, such as predicate
pushdown, is applied. Up to this point, Shark and Hive share
an identical approach. Hive would then convert the operator into a
physical plan consisting of multiple MapReduce stages. In the case
of Shark, its optimizer applies additional rule-based optimizations,
such as pushing LIMIT down to individual partitions, and creates
a physical plan consisting of transformations on RDDs rather than
MapReduce jobs. We use a variety of operators already present in
Spark, such as map and reduce, aswell as newoperatorswe implemented
for Shark, such as broadcast joins. Spark’s master then executes
this graph using standard MapReduce scheduling techniques,
such as placing tasks close to their input data, rerunning lost tasks,
and performing straggler mitigation [39].

ผลลัพธ์ (ไทย) 2:

ได้รับแบบสอบถามฉลามใช้คอมไพเลอร์ไฮฟ์แบบสอบถามเพื่อแยกแบบสอบถามและสร้างต้นไม้ไวยากรณ์นามธรรม ต้นไม้ที่มีการเปิดแล้วเป็นแผนเชิงตรรกะและการเพิ่มประสิทธิภาพตรรกะพื้นฐานเช่นกริยาแบบขยายลงถูกนำไปใช้ ถึงจุดนี้ฉลามและ Hive แบ่งปันวิธีการที่เหมือนกัน ไฮฟ์จากนั้นก็จะดำเนินการแปลงเป็นแผนทางกายภาพประกอบด้วยขั้นตอน MapReduce หลาย ในกรณีของปลาฉลาม, เพิ่มประสิทธิภาพของการเพิ่มประสิทธิภาพใช้ตามกฎเพิ่มเติมเช่นการผลักดันขอบเขตจำกัด ลงไปแต่ละพาร์ทิชันและสร้างแผนทางกายภาพประกอบด้วยการเปลี่ยนแปลงในRDDs มากกว่างานMapReduce เราใช้ความหลากหลายของผู้ประกอบการอยู่แล้วในSpark เช่นแผนที่และลด newoperatorswe ตลอดจนการดำเนินการสำหรับฉลามเช่นออกอากาศร่วม ต้นแบบจุดประกายแล้วรันกราฟนี้ใช้เทคนิคการตั้งเวลา MapReduce มาตรฐานเช่นการวางงานใกล้เคียงกับการป้อนข้อมูลของพวกเขาrerunning งานที่หายไปและมีประสิทธิภาพการลดล้าหลัง[39]

ผลลัพธ์ (ไทย) 3:

ได้รับแบบสอบถาม ปลาฉลาม ใช้แบบสอบถามรวบรวมแยกรัง
แบบสอบถามและสร้างต้นไม้ไวยากรณ์นามธรรม ต้นไม้ที่ถูกเปิดแล้ว
เป็นแผนเชิงตรรกะและตรรกะพื้นฐานที่เหมาะสม เช่น จมื่น
พุชดาวน์ คือ ใช้ ถึงจุดนี้ ฉลาม และรังแบ่งปัน
แนวทางเหมือนกัน รังผึ้งจะแปลงผู้เข้า
ทางกายภาพแผนประกอบด้วยขั้นตอน mapreduce หลาย ในกรณี
ฉลาม , เพิ่มประสิทธิภาพการเพิ่มประสิทธิภาพตามกฎการใช้เพิ่มเติม เช่น ผลักดันให้วงเงินลง
, พาร์ทิชันของแต่ละบุคคลและสร้าง
ทางกายภาพประกอบด้วยการแปลงแผนใน rdds มากกว่า
งาน mapreduce . เราใช้ความหลากหลายของผู้ประกอบการอยู่แล้วใน
หัวเทียน เช่นแผนที่และลดและใช้
newoperatorswe ฉลาม เช่นออกอากาศร่วม . อาจารย์ประกาย แล้วรัน
นี้โดยใช้มาตรฐาน mapreduce ตารางกราฟเทคนิค เช่น การวางงาน
ใกล้ชิดป้อนข้อมูลของพวกเขา rerunning สูญเสียงาน
และการแสดงคนล้าหลังบรรเทา [ 39 ]