Big Data is a term defining data th

Big Data is a term defining data that has three main characteristics. First, it involves a great volume of data. Second, the data cannot be structured into regular database tables and third, the data is produced with great velocity and must be captured and processed rapidly. Oracle adds a fourth characteristic for this kind of data and that is low value density, meaning that sometimes there is a very big volume of data to process before finding valuable needed information. Big Data is a relatively new term that came from the need of big companies like Yahoo, Google, Facebook to analyze big amounts of unstructured data, but this need could be identified in a number of other big enterprises as well in the research and development field. The framework for processing Big Data consists of a number of software tools that will be presented in the paper, and briefly listed here. There is Hadoop, an open source platform that consists of the Hadoop kernel, Hadoop Distributed File System (HDFS), MapReduce and several related instruments. Two of the main problems that occur when studying Big Data are the storage capacity and the processing power. That is the area where using Grid Technologies can provide help. Grid Computing refers to a special kind of distributed computing. A Grid computing system must contain a Computing Element (CE), and a number of Storage Elements (SE) and Worker Nodes (WN). The CE provides the connection with other GRID networks and uses a Workload Management System to dispatch jobs on the Worker Nodes. The Storage Element is in charge with the storage of the input and the output of the data needed for the job execution. The main purpose of this article is to present a way of processing Big Data using Grid Technologies. For that, the framework for managing Big Data will be presented along with the way to implement it around a grid architecture.

Published in:
Roedunet International Conference (RoEduNet), 2013 11th
Date of Conference:
17-19 Jan. 2013
Page(s):
1 - 4
ISSN :
2068-1038
Print ISBN:
978-1-4673-6114-9
INSPEC Accession Number:
13500804
Conference Location :
Sinaia
DOI:
10.1109/RoEduNet.2013.6511732
Publisher:
IEEE

ผลลัพธ์ (ไทย) 1:

ข้อมูลเป็นคำกำหนดข้อมูลที่มีลักษณะหลักสาม ครั้งแรก มันเกี่ยวข้องกับเสียงดีของข้อมูล ที่สอง ข้อมูลไม่มีโครงสร้างตารางฐานข้อมูลปกติ และสาม ข้อมูลผลิต ด้วยความเร็วที่ดี และต้องถูกจับ และประมวลผลอย่างรวดเร็ว ออราเคิลเพิ่มเป็นลักษณะสี่สำหรับชนิดของข้อมูล และที่เป็นค่าต่ำความหนาแน่น ซึ่งหมายความ ว่า บางครั้งเป็นเสียงใหญ่มากของข้อมูลการประมวลผลก่อนที่มีค่าหาข้อมูลที่จำเป็น ข้อมูลเป็นคำค่อนข้างใหม่ที่มาจากความต้องการของบริษัทขนาดใหญ่เช่น Yahoo, Google, Facebook การวิเคราะห์ข้อมูลไม่มีโครงสร้างขนาดใหญ่ แต่ต้องสามารถระบุได้ในจำนวนองค์กรใหญ่อื่น ๆ ในเขตข้อมูลการวิจัยและพัฒนา กรอบงานสำหรับการประมวลผลข้อมูลขนาดใหญ่ประกอบด้วยเครื่องมือซอฟต์แวร์ที่จะนำเสนอในกระดาษ และสั้น ๆ แสดงที่นี่ มี Hadoop เป็นแพลตฟอร์มเปิดแหล่งที่ประกอบไปด้วยเคอร์เนล Hadoop, Hadoop กระจายแฟ้มระบบ (HDFS), MapReduce และเครื่องมือที่เกี่ยวข้องหลาย สองปัญหาหลักที่เกิดขึ้นเมื่อศึกษาข้อมูลมีความจุและพลังการประมวลผล ที่เป็นพื้นที่ที่การใช้เทคโนโลยีกริดสามารถให้ความช่วยเหลือ คอมพิวเตอร์กริดหมายถึงชนิดพิเศษระบบคอมพิวเตอร์แบบกระจาย ระบบใช้คอมพิวเตอร์ต้องประกอบด้วยการประมวลผลองค์ประกอบ (CE), และจัดเก็บองค์ประกอบ (SE) และผู้ปฏิบัติงานโหน (ดับเบิ้ลยูเอ็น) CE เชื่อมต่อกับเครือข่ายอื่นตาราง และใช้ระบบการจัดการปริมาณงานส่งงานบนโหนผู้ปฏิบัติ องค์ประกอบที่จัดเก็บเป็นค่าการเก็บข้อมูลของการป้อนข้อมูลและผลลัพธ์ของข้อมูลที่จำเป็นสำหรับการดำเนินงาน จุดประสงค์หลักของบทความนี้จะแสดงวิธีการประมวลผลข้อมูลขนาดใหญ่ที่ใช้เทคโนโลยีกริด กรอบงานสำหรับการจัดการข้อมูลขนาดใหญ่จะแสดงพร้อมวิธีการใช้รอบสถาปัตยกรรมตารางที่ประกาศ:Roedunet การประชุมนานาชาติ (RoEduNet), 11 2013วันประชุม:17-19 2013 ม.ค.หน้า:1 - 4นอก:2068-1038พิมพ์ ISBN:978-1-4673-6114-9เลขทะเบียน INSPEC:13500804สถานที่ประชุม:ซินเนียดอย:10.1109/RoEduNet.2013.6511732ผู้เผยแพร่:มาตรฐาน IEEE

ผลลัพธ์ (ไทย) 2:

ข้อมูลขนาดใหญ่เป็นข้อมูลกำหนดระยะที่มีสามลักษณะหลัก ครั้งแรกที่มันเกี่ยวข้องกับปริมาณของข้อมูลที่ดี ประการที่สองข้อมูลที่ไม่สามารถจะมีโครงสร้างในตารางฐานข้อมูลปกติและสามข้อมูลจะถูกผลิตด้วยความเร็วที่ดีและต้องได้รับการบันทึกและประมวลผลอย่างรวดเร็ว ออราเคิลเพิ่มลักษณะที่สี่สำหรับชนิดของข้อมูลนี้และนั่นคือความหนาแน่นของค่าต่ำหมายความว่าบางครั้งมีปริมาณที่ใหญ่มากของข้อมูลในการประมวลผลก่อนที่จะหาข้อมูลที่จำเป็นที่มีคุณค่า ข้อมูลขนาดใหญ่เป็นคำที่ค่อนข้างใหม่ที่มาจากความต้องการของ บริษัท ใหญ่ ๆ เช่น Yahoo, Google, Facebook ในการวิเคราะห์จำนวนมากของข้อมูลที่ไม่มีโครงสร้าง แต่ความต้องการนี้อาจจะมีการระบุไว้ในจำนวนของผู้ประกอบการขนาดใหญ่อื่น ๆ เช่นกันในการวิจัยและพัฒนาสนาม . กรอบการทำงานสำหรับการประมวลผลข้อมูลขนาดใหญ่ประกอบด้วยจำนวนของเครื่องมือซอฟต์แวร์ที่จะนำเสนอในกระดาษและสั้น ๆ ไว้ที่นี่ มี Hadoop ซึ่งเป็นแพลตฟอร์มที่มาเปิดที่ประกอบด้วยเคอร์เนล Hadoop, Hadoop Distributed File System (HDFS) MapReduce และเครื่องมือต่างๆที่เกี่ยวข้องคือ สองในปัญหาหลักที่เกิดขึ้นเมื่อศึกษาข้อมูลขนาดใหญ่ที่มีความจุและพลังการประมวลผล ที่เป็นพื้นที่ที่ใช้เทคโนโลยีกริดสามารถให้ความช่วยเหลือ กริดคอมพิวหมายถึงชนิดพิเศษของการคำนวณแบบกระจาย ระบบคอมพิวเตอร์กริดจะต้องมีคอมพิวเตอร์ธาตุ (CE) และจำนวนขององค์ประกอบการจัดเก็บ (SE) และคนทำงานโหนด (WN) ซีอีให้การเชื่อมต่อกับเครือข่ายอื่น ๆ GRID และใช้ระบบการจัดการภาระงานที่จัดส่งในโหนดคนทำงาน การจัดเก็บธาตุเป็นค่าใช้จ่ายกับการจัดเก็บของเข้าและการส่งออกของข้อมูลที่จำเป็นสำหรับการดำเนินงานที่ วัตถุประสงค์หลักของบทความนี้คือจะนำเสนอวิธีการประมวลผลข้อมูลขนาดใหญ่โดยใช้เทคโนโลยีกริด สำหรับว่ากรอบการทำงานสำหรับการจัดการข้อมูลขนาดใหญ่จะนำเสนอพร้อมกับวิธีการที่จะใช้มันไปรอบ ๆ สถาปัตยกรรมตาราง. ตีพิมพ์ใน: Roedunet ประชุมนานาชาติ (RoEduNet) 2013 ครั้งที่ 11 วันที่ของการประชุม: 17-19 มกราคม 2013 หน้า (s) : 1-4 ISSN: 2068-1038 พิมพ์ ISBN: 978-1-4673-6114-9 INSPEC Accession Number: 13500804 ประชุมสถานที่ตั้ง: Sinaia ดอย: 10.1109 / RoEduNet.2013.6511732 สำนักพิมพ์: อีอีอี

ผลลัพธ์ (ไทย) 3:

ข้อมูลใหญ่เป็นคำกำหนดข้อมูลที่มีลักษณะสามหลัก แรกจะเกี่ยวข้องกับปริมาณที่ดีของข้อมูล ประการที่สอง ข้อมูลไม่สามารถโครงสร้างเป็นตารางฐานข้อมูลปกติ 3 , ข้อมูลการผลิตที่มีความเร็วมาก และต้องถูกจับและประมวลผลอย่างรวดเร็ว ออราเคิลเพิ่มลักษณะที่สี่สำหรับชนิดนี้ของข้อมูลและมีความหนาแน่นต่ำ หมายถึง บางครั้งมีขนาดใหญ่มาก ปริมาณของข้อมูลที่จะประมวลผลก่อนที่จะหาข้อมูลที่มีคุณค่า ข้อมูลใหญ่ค่อนข้างคนใหม่ที่มาจากความต้องการของ บริษัท ใหญ่เช่น Yahoo , Google , Facebook เพื่อวิเคราะห์ปริมาณขนาดใหญ่ของข้อมูลที่ไม่มีโครงสร้าง แต่ต้องสามารถระบุหมายเลขขององค์กรใหญ่ ๆเช่นในการวิจัย และพัฒนาด้าน กรอบสำหรับการประมวลผลข้อมูลใหญ่ประกอบด้วยหมายเลขของเครื่องมือซอฟต์แวร์ที่จะถูกแสดงในกระดาษ และสั้น ๆที่แสดงไว้ที่นี่ มี Hadoop เป็นแพลตฟอร์มที่มาเปิดที่ประกอบด้วย Hadoop Kernel Hadoop กระจายแฟ้มระบบ ( hdfs ) mapreduce และหลายที่เกี่ยวข้องกับเครื่องมือ สองปัญหาหลักที่เกิดขึ้นเมื่อศึกษาข้อมูลขนาดใหญ่ที่มีความจุและพลังการประมวลผล . นั่นคือพื้นที่ที่ใช้เทคโนโลยีกริดสามารถช่วยเหลือได้ ตารางการคำนวณหมายถึงชนิดพิเศษของการคำนวณแบบกระจาย ระบบการคำนวณตารางจะต้องมีการคำนวณองค์ประกอบ ( CE ) และจำนวนขององค์ประกอบกระเป๋า ( SE ) และโหนดคนงาน ( WN ) CE มีการเชื่อมต่อกับเครือข่ายตารางอื่น ๆและการใช้ระบบการจัดการภาระงานเพื่อส่งงานในคนงานโหน การจัดเก็บองค์ประกอบที่รับผิดชอบกับกระเป๋าของอินพุตและเอาต์พุตของข้อมูลที่จำเป็นสำหรับการดำเนินงาน . วัตถุประสงค์หลักของบทความนี้คือการเสนอวิธีการประมวลผลข้อมูลขนาดใหญ่ที่ใช้เทคโนโลยีกริด ที่กรอบสำหรับการจัดการข้อมูลมีขนาดใหญ่จะถูกนำเสนอพร้อมกับวิธีการที่จะใช้มัน รอบ ๆตาราง สถาปัตยกรรมตีพิมพ์ใน :การประชุมระหว่างประเทศ roedunet ( roedunet ) 11 พ.ค.วันที่สัมมนา :17-19 มกราคม 2013หน้า ( s ) :1 - 4ชื่อ :2068-1038พิมพ์ ISBN :978-1-4673-6114-9inspec เพิ่มขึ้นจำนวน13500804ที่ตั้ง : การประชุมซินเนียดอย :10.1109/roedunet.2013.6511732ผู้ประกาศ :อีอีอี