Oracle in-database hadoop: when map

Oracle in-database hadoop: when mapreduce meets RDBMS



Big data is the tar sands of the data world: vast reserves of raw gritty data whose valuable information content can only be extracted at great cost. MapReduce is a popular parallel programming paradigm well suited to the programmatic extraction and analysis of information from these unstructured Big Data reserves. The Apache Hadoop implementation of MapReduce has become an important player in this market due to its ability to exploit large networks of inexpensive servers. The increasing importance of unstructured data has led to the interest in MapReduce and its Apache Hadoop implementation, which has led to the interest of data processing vendors in supporting this programming style.

Oracle RDBMS has had support for the MapReduce paradigm for many years through the mechanism of user defined pipelined table functions and aggregation objects. However, such support has not been Hadoop source compatible. Native Hadoop programs needed to be rewritten before becoming usable in this framework. The ability to run Hadoop programs inside the Oracle database provides a versatile solution to database users, allowing them use programming skills they may already possess and to exploit the growing Hadoop eco-system.

In this paper, we describe a prototype of Oracle In-Database Hadoop that supports the running of native Hadoop applications written in Java. This implementation executes Hadoop applications using the efficient parallel capabilities of the Oracle database and a subset of the Apache Hadoop infrastructure. This system's target audience includes both SQL and Hadoop users. We discuss the architecture and design, and in particular, demonstrate how MapReduce functionalities are seamlessly integrated within SQL queries. We also share our experience in building such a system within Oracle database and follow-on topics that we think are promising areas for exploration.

ผลลัพธ์ (ไทย) 1:

อย่างไร hadoop ในฐานข้อมูล oracle: เมื่อ mapreduce ตรงกับ RDBMSข้อมูลขนาดใหญ่มีหาดทรายทาร์ของโลกข้อมูล: สำรองมากมายถึงข้อมูลดิบที่ถูกแยกเนื้อหาข้อมูลดีมีต้นทุนเท่ากัน MapReduce เป็นกระบวนทัศน์พร้อมโปรแกรมยอดนิยมดีเหมาะไปสกัดทางโปรแกรม และการวิเคราะห์ข้อมูลจากข้อมูลขนาดใหญ่เหล่านี้ไม่มีโครงสร้างขอสงวน ปฏิบัติ Apache อย่างไร Hadoop MapReduce ได้กลายเป็น ผู้เล่นที่สำคัญในตลาดนี้เนื่องจากความสามารถในการใช้เครือข่ายขนาดใหญ่ของเซิร์ฟเวอร์ราคาไม่แพง ความสำคัญเพิ่มขึ้นไม่มีโครงสร้างข้อมูลได้นำไปสนใจใน MapReduce และดำเนินการอย่างไร Hadoop Apache ซึ่งได้นำไปสู่ผลประโยชน์ของผู้ประมวลผลข้อมูลในลักษณะนี้โปรแกรมการสนับสนุนOracle RDBMS มีสนับสนุนกระบวนทัศน์ MapReduce สำหรับหลายปีผ่านกลไกของผู้ใช้กำหนด pipelined ตารางฟังก์ชันและวัตถุรวม อย่างไรก็ตาม สนับสนุนดังกล่าวไม่ได้เข้ากันได้อย่างไร Hadoop แหล่ง โปรแกรมอย่างไร Hadoop ดั้งเดิมต้องเป็นจิตก่อนที่จะเป็นได้ในกรอบนี้ ความสามารถในการเรียกใช้โปรแกรมอย่างไร Hadoop ภายในฐานข้อมูล Oracle ให้โซลูชันที่หลากหลายผู้ ใช้ฐานข้อมูล ช่วยให้พวกเขาใช้ทักษะที่พวกเขาอาจมีการเขียนโปรแกรม และ การใช้ประโยชน์การเติบโตอย่างไร Hadoop eco ระบบในเอกสารนี้ เราอธิบายต้นของ Oracle อย่างไร Hadoop ในฐานข้อมูลที่สนับสนุนการทำงานของโปรแกรมประยุกต์อย่างไร Hadoop ภาษาที่เขียนใน Java งานนี้ดำเนินการอย่างไร Hadoop ประยุกต์ใช้ความสามารถพร้อมประสิทธิภาพของฐานข้อมูล Oracle และชุดย่อยของโครงสร้างพื้นฐานอย่างไร Hadoop Apache กลุ่มเป้าหมายของระบบนี้มีผู้ใช้ SQL และอย่างไร Hadoop เรากล่าวถึงสถาปัตยกรรมและการออกแบบ และโดยเฉพาะอย่างยิ่ง แสดงให้เห็นว่าฟังก์ชัน MapReduce อย่างกลมกลืนรวมในแบบสอบถาม SQL นอกจากนี้เรายังใช้ประสบการณ์ของเราในการสร้างระบบดังกล่าวภายในฐานข้อมูล Oracle และ follow-on หัวข้อที่เราคิดว่า เป็นพื้นที่สัญญาสำรวจ

ผลลัพธ์ (ไทย) 2:

ออราเคิลในฐานข้อมูล Hadoop: เมื่อ MapReduce ตรงกับ RDBMS ข้อมูลขนาดใหญ่เป็นทรายน้ำมันของโลกข้อมูล: สำรองมากมายของข้อมูลทรายดิบที่มีเนื้อหาข้อมูลที่มีคุณค่าสามารถในการสกัดที่ค่าใช้จ่ายที่ดี MapReduce เป็นกระบวนทัศน์การเขียนโปรแกรมแบบขนานที่นิยมเหมาะกับการสกัดการเขียนโปรแกรมและการวิเคราะห์ข้อมูลที่ไม่มีโครงสร้างจากนี้สำรองข้อมูลขนาดใหญ่ Apache Hadoop การดำเนินการของ MapReduce ได้กลายเป็นผู้เล่นที่สำคัญในตลาดนี้เนื่องจากความสามารถในการใช้ประโยชน์จากเครือข่ายขนาดใหญ่ของเซิร์ฟเวอร์ที่ราคาไม่แพง เพิ่มความสำคัญของข้อมูลที่ไม่มีโครงสร้างได้นำไปสู่ความสนใจใน MapReduce และ Apache Hadoop ของการดำเนินงานซึ่งได้นำไปสู่ความสนใจของผู้ขายการประมวลผลข้อมูลในการสนับสนุนรูปแบบการเขียนโปรแกรมนี้. ออราเคิล RDBMS มีการสนับสนุนสำหรับกระบวนทัศน์ MapReduce เป็นเวลาหลายปีผ่านกลไก ของผู้ใช้กำหนดฟังก์ชันตารางไปป์ไลน์และวัตถุการรวม อย่างไรก็ตามการสนับสนุนดังกล่าวยังไม่ได้รับแหล่งที่มาเข้ากันได้ Hadoop โปรแกรมพื้นเมือง Hadoop จำเป็นจะต้องเขียนใหม่ก่อนที่จะกลายสามารถใช้งานได้ในกรอบนี้ ความสามารถในการเรียกใช้โปรแกรม Hadoop ภายในฐานข้อมูลของออราเคิลให้โซลูชั่นที่หลากหลายให้กับผู้ใช้ฐานข้อมูลที่ช่วยให้พวกเขาใช้ทักษะการเขียนโปรแกรมที่พวกเขาอาจมีและการใช้ประโยชน์จากการเติบโต Hadoop ระบบนิเวศ. ในบทความนี้เราจะอธิบายต้นแบบของออราเคิลในฐานข้อมูล Hadoop ที่สนับสนุนการทำงานของ Hadoop พื้นเมืองที่เขียนใน Java การดำเนินการนี้ดำเนินการใช้งาน Hadoop โดยใช้ความสามารถในการขนานที่มีประสิทธิภาพของฐานข้อมูล Oracle และย่อยของโครงสร้างพื้นฐาน Apache Hadoop กลุ่มเป้าหมายของระบบนี้รวมทั้ง SQL และผู้ใช้ Hadoop เราหารือสถาปัตยกรรมและการออกแบบและโดยเฉพาะอย่างยิ่งแสดงให้เห็นว่าฟังก์ชัน MapReduce มีการบูรณาการต่อเนื่องภายในแบบสอบถาม SQL นอกจากนี้เรายังแบ่งปันประสบการณ์ของเราในการสร้างระบบดังกล่าวภายในฐานข้อมูล Oracle และติดตามในหัวข้อที่เราคิดว่าจะมีพื้นที่ที่มีแนวโน้มสำหรับการสำรวจ

ผลลัพธ์ (ไทย) 3:

ในฐานข้อมูล Oracle Hadoop เมื่อ mapreduce ตามรูป



ใหญ่ข้อมูลน้ำมันดินของข้อมูลทั่วโลก : สงวนกว้างใหญ่ของข้อมูลทรายดิบที่มีข้อมูลที่มีคุณค่า เนื้อหาสามารถสกัดที่ใหญ่หลวง mapreduce เป็นที่นิยมกระบวนทัศน์การเขียนโปรแกรมขนานดีเหมาะกับการสกัดการเขียนโปรแกรมและการวิเคราะห์ข้อมูลเหล่านี้ไม่มีโครงสร้างใหญ่ข้อมูลสำรองApache Hadoop ใช้ mapreduce ได้กลายเป็นผู้เล่นสำคัญในตลาดนี้ เนื่องจากความสามารถในการใช้ประโยชน์จากเครือข่ายขนาดใหญ่ของเซิร์ฟเวอร์ที่ไม่แพง การเพิ่มความสำคัญของข้อมูลที่ไม่มีโครงสร้างได้นำไปสู่ความสนใจใน mapreduce และ Apache Hadoop หลักสูตร ซึ่งได้นำไปสู่ความสนใจของผู้ขาย การประมวลผลข้อมูล และสนับสนุนรูปแบบการเขียนโปรแกรมนี้

Oracle RDBMS ได้สนับสนุนกระบวนทัศน์ mapreduce หลายปีผ่านกลไกของผู้ใช้กำหนด pipelined ฟังก์ชันตารางและการรวมวัตถุ แต่การสนับสนุนดังกล่าวยังไม่ได้รับแหล่ง Hadoop ที่เข้ากันได้ โปรแกรม Hadoop พื้นเมืองต้องเขียนใหม่ก่อนที่จะกลายเป็นใช้ได้ในกรอบนี้ความสามารถในการเรียกใช้โปรแกรม Hadoop ในฐานข้อมูล Oracle ให้โซลูชั่นที่หลากหลายสำหรับผู้ใช้ฐานข้อมูลที่ช่วยให้พวกเขาใช้ทักษะการเขียนโปรแกรมที่พวกเขาอาจมีอยู่แล้วและจะใช้ประโยชน์จากการเติบโตของระบบ Hadoop โค

ในกระดาษนี้เราอธิบายต้นแบบของ Oracle ในฐานข้อมูล Hadoop ที่สนับสนุนการทํางานของพื้นเมือง Hadoop โปรแกรมที่เขียนใน Javaการใช้โปรแกรมนี้รัน Hadoop มีประสิทธิภาพคู่ขนานความสามารถของฐานข้อมูล Oracle และย่อยของ Apache Hadoop โครงสร้างพื้นฐาน ผู้ชมเป้าหมาย ระบบนี้ประกอบด้วยทั้ง SQL และผู้ใช้ Hadoop . เราได้กล่าวถึงสถาปัตยกรรมและการออกแบบ และโดยเฉพาะอย่างยิ่ง แสดงให้เห็นถึงวิธีที่ mapreduce ฟังก์ชันจะบูรณาการใน SQL แบบสอบถามนอกจากนี้เรายังร่วมแบ่งปันประสบการณ์ของเราในการสร้างระบบดังกล่าวในฐานข้อมูล Oracle และตามหัวข้อที่เราคิดว่ามีพื้นที่แนวโน้ม
สำหรับการสำรวจ