Hadoop is best known for Map Reduce

Hadoop is best known for Map Reduce and it's Distributed File System (HDFS). Recently other productivity tools developed on top of these will form a complete Ecosystem of Hadoop. Most of the projects are hosted under Apache Software Foundation. Hadoop Ecosystem projects are listed below.

Hadoop Common
A set of components and interfaces for Distributed File System and I/O (serialization, Java RPC, Persistent data structures) http://hadoop.apache.org/

apache-hadoop

Hadoop EcoSystem


ecosystem-hadoop

HDFS
A distributed file system that runs on large clusters of commodity hardware. Hadoop Distributed File System, HDFS renamed form NDFS. Scalable data store that stores semi-structured, un-structured and structured data.

http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.htmlhttp://wiki.apache.org/hadoop/HDFS

hdfs-hadoop

Hadoop-Ecosystem

Map Reduce
Map Reduce is the distributed, parallel computing programming model for Hadoop. Inspired from Google Map Reduce research paper. Hadoop includes implementation of Map Reduce programming model. In Map Reduce there are two phases, not surprisingly Map and Reduce. To be precise in between Map and Reduce phase, there is another phase called sort and shuffle. Job Tracker in Name Node machine manages other cluster nodes. Map Reduce programming can be written in Java. If you like SQL or other non- Java languages, you are still in luck. You can use utility called Hadoop Streaming. http://wiki.apache.org/hadoop/HadoopMapReduce

hadoop_mapreduce

Hadoop Streaming
A utility to enable Map Reduce code in many languages like C, Perl, Python, C++, Bash etc., Examples include a Python mapper and AWK reducer. http://hadoop.apache.org/docs/r1.2.1/streaming.html

Avro
A serialization system for efficient, cross-language RPC and persistent data storage. Avro is a framework for performing remote procedure calls and data serialization. In the context of Hadoop, it can be used to pass data from one program or language to another, e.g. from C to Pig. It is particularly suited for use with scripting languages such as Pig, because data is always stored with its schema in Avro. http://avro.apache.org/

apache-avro

Apache Thrift
Apache Thrift allows you to define data types and service interfaces in a simple definition file. Taking that file as input, the compiler generates code to be used to easily build RPC clients and servers that communicate seamlessly across programming languages. Instead of writing a load of boilerplate code to serialize and transport your objects and invoke remote methods, you can get right down to business. http://thrift.apache.org/

Hive and Hue
If you like SQL, you would be delighted to hear that you can write SQL and Hive convert it to a Map Reduce job. But, you don't get a full ANSI-SQL environment. Hue gives you a browser based graphical interface to do your Hive work. Hue features a File Browser for HDFS, a Job Browser for Map Reduce/YARN, an HBase Browser, query editors for Hive, Pig, Cloudera Impala and Sqoop2.It also ships with an Oozie Application for creating and monitoring workflows, a Zookeeper Browser and an SDK.

hive_hue

Pig
A high-level programming data flow language and execution environment to do Map Reduce coding The Pig language is called Pig Latin. You may find naming conventions some what un-conventional, but you get incredible price-performance and high availability. https://pig.apache.org/

apache-pig

JaQL
JAQL is a functional, declarative programming language designed especially for working with large volumes of structured, semi-structured and unstructured data. As its name implies, a primary use of JAQL is to handle data stored as JSON documents, but JAQL can work on various types of data. For example, it can support XML, comma-separated values (CSV) data and flat files. A "SQL within JAQL" capability lets programmers work with structured SQL data while employing a JSON data model that's less restrictive than its Structured Query Language counterparts. 1. JAQL in Google Code2. What is JaQL? by IBM

Sqoop
Sqoop provides a bi-directional data transfer between Hadoop -HDFS and your favorite relational database. For example you might be storing your app data in relational store such as Oracle, now you want to scale your application with Hadoop so you can migrate Oracle database data to Hadoop HDFS using Sqoop. http://sqoop.apache.org/

sqoop-hadoop

OOZIE
Manages Hadoop workflow. This doesn't replace your scheduler or BPM tooling, but it will provide if-then-else branching and control with Hadoop jobs. https://oozie.apache.org/

oozie-hadoop

ZooKeeper
A distributed, highly available coordination service. ZooKeeper provides primitives such as distributed locks that can be used for building the highly scalable applications. It is used to manage synchronization for cluster. http://zookeeper.apache.org/

zookeeper-hadoop

HBase
Based on Google's Bigtable, HBase "is an open-source, distributed, version, column-oriented store" that sits on top of HDFS. A super scalable key-value store. It works very much like a persistent hash-map (for python developers think like a Dictionary). It is not a conventional relational database. It is a distributed, column oriented database. HBase uses HDFS for it's underlying. Supports both batch-style computations using Map Reduce and point queries for random reads. https://hbase.apache.org/

hbase-hadoop

Cassandra
A column oriented NoSQL data store which offers scalability, high availability with out compromising on performance. It perfect platform for commodity hardware and cloud infrastructure.Cassandra's data model offers the convenience of column indexes with the performance of log-structured updates, strong support for de-normalization and materialized views, and powerful built-in caching. http://cassandra.apache.org/

cassandra-hadoop

Flume
A real time loader for streaming your data into Hadoop. It stores data in HDFS and HBase.Flume "channels" data between "sources" and "sinks" and its data harvesting can either be scheduled or event-driven. Possible sources for Flume include Avro, files, and system logs, and possible sinks include HDFS and HBase. http://flume.apache.org/

flume-hadoop

Mahout
Machine Learning for Hadoop, used for predictive analytics and other advanced analysis. There are currently four main groups of algorithms in Mahout:

recommendations, a.k.a. collective filtering
classification, a.k.a categorization
clustering
frequent item set mining, a.k.a parallel frequent pattern mining
Mahout is not simply a collection of pre-existing algorithms; many machine learning algorithms are intrinsically non-scalable; that is, given the types of operations they perform, they cannot be executed as a set of parallel processes. Algorithms in the Mahout library belong to the subset that can be executed in a distributed fashion. http://en.wikipedia.org/wiki/List_of_machine_learning_algorithmshttps://www.coursera.org/course/machlearninghttps://mahout.apache.org/

mahout-hadoop

Fuse
Makes the HDFS system to look like a regular file system so that you can use ls, rm, cd etc., directly on HDFS data.

Whirr
Apache Whirr is a set of libraries for running cloud services. Whirr provides a cloud-neutral way to run services. You don't have to worry about the idiosyncrasies of each provider.A common service API. The details of provisioning are particular to the service. Smart defaults for services. You can get a properly configured system running quickly, while still being able to override settings as needed. You can also use Whirr as a command line tool for deploying clusters. https://whirr.apache.org/

whirr-hadoop

Giraph
An open source graph processing API like Pregel from Google https://giraph.apache.org/

ApacheGiraph

Chukwa
Chukwa, an incubator project on Apache, is a data collection and analysis system built on top of HDFS and Map Reduce. Tailored for collecting logs and other data from distributed monitoring systems, Chukwa provides a workflow that allows for incremental data collection, processing and storage in Hadoop. It is included in the Apache Hadoop distribution as an independent module. https://chukwa.apache.org/

chukwa-hadoop

Drill
Apache Drill, an incubator project on Apache, is an open-source software framework that supports data-intensive distributed applications for interactive analysis of large-scale datasets. Drill is the open source version of Google's Dremel system which is available as an IaaS service called Google Big Query. One explicitly stated design goal is that Drill is able to scale to 10,000 servers or more and to be able to process petabytes of data and trillions of records in seconds. http://incubator.apache.org/drill/

apache-drill

Impala (Cloudera)
Released by Cloudera, Impala is an open-source project which, like Apache Drill, was inspired by Google's paper on Dremel; the purpose of both is to facilitate real-time querying of data in HDFS or HBase. Impala uses an SQL-like language that, though similar to HiveQL, is currently more limited than HiveQL. Because Impala relies on the Hive Meta store, Hive must be installed on a cluster in order for Impala to work. The secret behind Impala's speed is that it "circumvents Map Reduce to directly access the data through a specialized distributed query engine that is very similar to those found in commercial parallel RDBMSs." (Source: Cloudera)

ผลลัพธ์ (ไทย) 1:

อย่างไร Hadoop เป็นรู้จักกันดีสำหรับแผนลด และเป็นกระจายแฟ้มระบบ (HDFS) ล่าสุด เครื่องมืออื่น ๆ ผลผลิตที่พัฒนาบนเหล่านี้จะฟอร์มสมบูรณ์ระบบนิเวศของอย่างไร Hadoop โฮสต์ส่วนใหญ่ของโครงการภายใต้มูลนิธิซอฟต์แวร์อะแพชี โครงการระบบนิเวศอย่างไร Hadoop อยู่ด้านล่างทั่วไปอย่างไร Hadoopชุดของส่วนประกอบและอินเทอร์เฟซสำหรับระบบแฟ้มที่แจกจ่าย http://hadoop.apache.org/ I/O (โครงสร้างข้อมูลแบบอนุกรม Java RPC )อย่างไร hadoop อะแพชีระบบนิเวศอย่างไร Hadoopระบบนิเวศอย่างไร hadoopHDFSระบบแฟ้มแบบกระจายที่ทำงานบนคลัสเตอร์ขนาดใหญ่สินค้าฮาร์ดแวร์ อย่างไร Hadoop กระจายแฟ้มระบบ HDFS เปลี่ยนชื่อแบบฟอร์ม NDFS ร้านค้าสามารถปรับข้อมูลที่จัดเก็บข้อมูลกึ่งโครงสร้าง ไม่มีโครงสร้าง และโครงสร้างhttp://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.htmlhttp://wiki.apache.org/hadoop/HDFSอย่างไร hadoop hdfsระบบนิเวศอย่างไร Hadoopแผนลดลดแผนที่จะกระจาย พร้อมใช้งานเขียนแบบสำหรับอย่างไร Hadoop แรงบันดาลใจจาก Google แผนที่ลดงานวิจัย อย่างไร Hadoop รวมนำลดแผนที่จำลองการเขียนโปรแกรม ในแผนที่ลด มี 2 ขั้นตอน แผนที่ไม่น่าแปลกใจและลด ต้องแม่นยำระหว่างแผนที่และลดขั้นตอน มี ระยะอื่นเรียกว่าการเรียงลำดับและสลับ งาน Tracker ในชื่อโหนเครื่องจัดการอื่น ๆ โหนดคลัสเตอร์ แผนลดสามารถเขียนโปรแกรม Java ถ้าคุณชอบ SQL หรือภาษาอื่นไม่ใช่ Java คุณอยู่ในโชค คุณสามารถใช้โปรแกรมอรรถประโยชน์ที่เรียกว่าอย่างไร Hadoop สตรีมมิ่ง http://wiki.apache.org/hadoop/HadoopMapReducehadoop_mapreduceอย่างไร Hadoop สตรีมมิ่งโปรแกรมการเปิดใช้งานแผนที่ลดรหัสในภาษาต่าง ๆ เช่น C ภาษาเพิร์ล งูเหลือม c ++, ทุบตีเป็นต้น ตัวอย่างรวม mapper งูและลดภาษาออว์ค http://hadoop.apache.org/docs/r1.2.1/streaming.htmlAvroระบบอนุกรมสำหรับ RPC ข้ามภาษา มีประสิทธิภาพและจัดเก็บข้อมูลแบบถาวร Avro คือ กรอบงานสำหรับการเรียกกระบวนการระยะไกลและข้อมูลอนุกรม ในบริบทอย่างไร Hadoop สามารถใช้ส่งผ่านข้อมูลจากโปรแกรมหรือภาษาหนึ่งไปยังอีก จาก C ถึงหมู ได้โดยเฉพาะอย่างยิ่งเหมาะสำหรับใช้กับภาษาสคริปต์เช่นหมู เนื่องจากจะมีเก็บข้อมูลกับ schema ใน Avro http://avro.apache.org/อะแพชี avroอะแพชีเกี่ยวกับภัตตาคารเกี่ยวกับภัตตาคาร Apache อนุญาตให้คุณกำหนดชนิดข้อมูลและบริการอินเทอร์เฟซในแฟ้มคำจำกัดความอย่างง่าย การที่แฟ้มเป็นข้อมูลป้อนเข้า คอมไพเลอร์สร้างรหัสที่จะใช้ได้อย่างง่ายดายสร้าง RPC ไคลเอนต์และเซิร์ฟเวอร์ที่สื่อสารได้อย่างราบรื่นในการเขียนโปรแกรมภาษา แทนที่จะเขียนโหลดรหัสต้นแบบการเป็นอนุกรม และขนส่งของวัตถุ และเรียกวิธีการระยะไกล คุณสามารถรับขวาเพื่อธุรกิจ http://thrift.apache.org/กลุ่มและเว้ถ้าคุณชอบ SQL คุณจะยินดีที่จะได้ยินว่า คุณจะเขียน SQL และกลุ่มแปลงงานแผนลด แต่ คุณไม่ได้รับสภาพแวดล้อมของ SQL แบบ ANSI ที่เต็ม เว้ให้ส่วนติดต่อแบบกราฟิกโดยใช้เบราว์เซอร์จะทำงานของกลุ่ม คุณลักษณะเว้เบราว์เซอร์แฟ้มสำหรับ HDFS สำหรับแผนที่ลด/เส้นด้าย การ HBase เบราว์เซอร์ เบราว์เซอร์งานตัวแก้ไขแบบสอบถามสำหรับกลุ่ม หมู อิม พาลา Cloudera และ Sqoop2.It ยังส่งมาพร้อมกับแอพลิเคชัน Oozie สำหรับการสร้าง และตรวจสอบลำดับงาน เบราว์เซอร์ Zookeeper และ SDK การhive_hueหมูพื้นฐานเขียนโปรแกรมข้อมูลกระแสภาษาและการดำเนินการสภาพแวดล้อมการทำแผนลดการเขียนโค้ดภาษาหมูเรียกว่าหมูละติน คุณอาจพบแบบแผนการตั้งชื่อบางสิ่งไม่ธรรมดา แต่คุณได้รับราคาน่าทึ่งมีประสิทธิภาพและพร้อมใช้งานสูง https://pig.apache.org/อะแพชีหมูJaQLJAQL งาน declarative ภาษาการเขียนโปรแกรมออกแบบมาโดยเฉพาะสำหรับใช้งานโครงสร้าง กึ่งโครงสร้าง และไม่มีโครงสร้างข้อมูลจำนวนมากได้ ตามความหมายของชื่อ ใช้หลักของ JAQL คือการ จัดการกับข้อมูลที่จัดเก็บเป็นเอกสารเจซัน แต่ JAQL สามารถทำงานกับข้อมูลชนิดต่าง ๆ ตัวอย่าง มันสามารถรองรับข้อมูลด้วยเครื่องหมายจุลภาคคั่นระหว่างค่า (CSV) XML และแฟ้มแบน ความ "SQL ภายใน JAQL" ช่วยให้โปรแกรมเมอร์ทำงานกับข้อมูล SQL โครงสร้างในขณะที่ใช้แบบจำลองข้อมูลเจซันที่เข้มงวดน้อยกว่าคู่ของโครงสร้างภาษาสอบถาม 1. JAQL ใน Google Code2 JaQL คืออะไร โดย IBMSqoopSqoop ช่วยให้การถ่ายโอนข้อมูลทิศทางระหว่างอย่างไร Hadoop - HDFS และฐานข้อมูลเชิงสัมพันธ์ที่คุณชื่นชอบ เช่น คุณอาจจะเก็บข้อมูลโปรแกรมประยุกต์ของคุณในร้านเชิงเช่น Oracle ตอนนี้คุณต้องการปรับขนาดโปรแกรมประยุกต์ของคุณ ด้วยอย่างไร Hadoop เพื่อให้คุณสามารถโยกย้ายข้อมูลฐานข้อมูล Oracle เพื่อ HDFS อย่างไร Hadoop ใช้ Sqoop http://sqoop.apache.org/อย่างไร hadoop sqoopOOZIEจัดการลำดับงานอย่างไร Hadoop นี้ไม่แทนตัวจัดกำหนดการหรือ BPM เครื่องมือของคุณ แต่มันจะมีสาขาถ้าแล้วอื่นและการควบคุมงานอย่างไร Hadoop https://oozie.apache.org/อย่างไร hadoop oozieZooKeeperบริการประสานงานการกระจาย มีสูง ZooKeeper แสดงนำเช่นล็อคแบบกระจายที่สามารถใช้สำหรับการสร้างโปรแกรมประยุกต์ที่เร็ว ใช้เพื่อจัดการซิงโครไนส์สำหรับคลัสเตอร์ http://zookeeper.apache.org/อย่างไร hadoop zookeeperHBaseขึ้นอยู่กับของ Google Bigtable, HBase "เป็นการเปิดแหล่ง กระจาย รุ่น แนวคอลัมน์เก็บ" ที่ตั้งอยู่บน HDFS ร้านค้าค่าคีย์ซูเปอร์ปรับสเกล ทำงานมากเช่นแบบแฮแผนที่ (สำหรับงูคิดว่านักพัฒนาเช่นพจนานุกรม) ไม่เป็นฐานข้อมูลเชิงสัมพันธ์แบบเดิม กระจาย คอลัมน์แนวฐานข้อมูลได้ HBase ใช้ HDFS สำหรับมันเป็นต้น สนับสนุนการประมวลผลทั้งสองลักษณะชุดใช้แบบสอบถามลดแผนที่และจุดสุ่มอ่าน https://hbase.apache.org/อย่างไร hadoop hbaseCassandraคอลัมน์เน้นเก็บข้อมูล NoSQL ซึ่งภาระ ห้องสูงออกสูญเสียประสิทธิภาพ มันเหมาะสำหรับโครงสร้างพื้นฐานฮาร์ดแวร์และเมฆโภคภัณฑ์ รูปแบบข้อมูลของ Cassandra มีแห่งดัชนีคอลัมน์กับประสิทธิภาพของโครงสร้างการบันทึกปรับปรุง สนับสนุนที่แข็งแกร่งชื่นฟื้นฟูมุมมอง materialized และแคภายในมีประสิทธิภาพ http://cassandra.apache.org/อย่างไร hadoop cassandraFlumeโหลดเรียลไทม์สำหรับกระแสข้อมูลของคุณเป็นอย่างไร Hadoop จัดเก็บข้อมูลใน HDFS และ HBase.Flume "ช่อง" ข้อมูล "แหล่ง" และ "ล้างมือ" และเก็บเกี่ยวข้อมูลสามารถจะกำหนด หรือ ควบคุมเหตุการณ์ มาสำหรับ Flume รวม Avro แฟ้ม และระบบบันทึก และเก็บได้รวม HDFS และ HBase http://flume.apache.org/อย่างไร hadoop flumeควาญช้างเครื่องเรียนรู้อย่างไร Hadoop ใช้สำหรับงานวิเคราะห์ และอื่น ๆ ขั้นสูงวิเคราะห์ ขณะนี้มี 4 กลุ่มหลักของอัลกอริทึมในการควบคุม:คำแนะนำ หรือเวสท์วูดรวมกรองการจัดประเภท ประเภทยูคลัสเตอร์เป็นสินค้าที่ตั้งการทำเหมืองแร่ เหมืองแร่รูปแบบบ่อยแบบขนานยูควาญช้างไม่เพียงคอลเลกชันของอัลกอริทึมที่มีอยู่ก่อน กระบวนการเรียนรู้เครื่องหลายรุ่นไม่สามารถเปลี่ยนขนาดเป็น นั่นคือ กำหนดชนิดของการดำเนินงานที่จะทำ พวกเขาไม่สามารถดำเนินการเป็นชุดของกระบวนการควบคู่กัน อัลกอริทึมในไลบรารีของควาญช้างเป็นของย่อยที่สามารถดำเนินการในการกระจาย http://en.wikipedia.org/wiki/List_of_machine_learning_algorithmshttps :// www.coursera.org/course/machlearninghttps: //mahout.apache.org/อย่างไร hadoop ควาญช้างชนวนทำให้ระบบ HDFS ให้เหมือนระบบแฟ้มปกติเพื่อให้คุณสามารถใช้ ls, rm ฯลฯ แผ่นซีดีโดยตรงในข้อมูล HDFSWhirrอะแพชี Whirr เป็นชุดของไลบรารีสำหรับการเรียกใช้บริการฝาก Whirr เมฆกลางวิธีการเรียกใช้บริการทาง คุณไม่ต้องกังวลเกี่ยวกับ idiosyncrasies ของแต่ละผู้ให้บริการ API การบริการทั่วไป รายละเอียดของการเตรียมใช้งานได้เฉพาะกับบริการ เริ่มต้นที่สมาร์ทสำหรับบริการ คุณได้ทำงานอย่างรวดเร็ว ในขณะที่ยังคง ความสามารถในการแทนการตั้งค่าตามระบบถูกกำหนดค่าอย่างถูกต้อง คุณสามารถใช้ Whirr เป็นเครื่องมือบรรทัดคำสั่งสำหรับการปรับใช้คลัสเตอร์ https://whirr.apache.org/อย่างไร hadoop whirrGiraphกราฟมาเปิดการประมวลผลเช่น Pregel API จาก Google https://giraph.apache.org/ApacheGiraph ChukwaChukwa, Apache โครงการบ่มเพาะวิสาหกิจมีข้อมูลเก็บรวบรวมและวิเคราะห์ระบบแห่งนี้ HDFS และแผนลด เหมาะสำหรับการรวบรวมบันทึกและข้อมูลอื่น ๆ จากการตรวจสอบระบบกระจาย Chukwa แสดงลำดับงานที่รวบรวมข้อมูลแบบเพิ่มเติม ประมวลผล และจัดเก็บอย่างไร Hadoop ใน ตั้งอยู่ในการกระจายอย่างไร Hadoop Apache เป็นโมดูลเป็นอิสระ https://chukwa.apache.org/อย่างไร hadoop chukwaลงรายละเอียดสว่าน Apache, Apache โครงการบ่มเพาะวิสาหกิจมีการเปิดแหล่งซอฟต์แวร์เฟรมเวิร์กที่สนับสนุนข้อมูลแจกจ่ายแอพพลิเคชั่นสำหรับการวิเคราะห์แบบโต้ตอบของ datasets ขนาดใหญ่ สว่านรุ่นเปิดแหล่งที่มาของระบบ Dremel ของ Google ซึ่งมีเป็นการ IaaS บริการ Google ใหญ่สอบถาม ได้ หนึ่งอย่างชัดเจนระบุเป้าหมายการออกแบบคือสว่านสามารถปรับเซิร์ฟเวอร์ 10000 หรือมากกว่า และสามารถประมวลผลข้อมูล petabytes และ trillions ของเรกคอร์ดในวินาที http://incubator.apache.org/drill/อะแพชีสว่านอิมพาลา (Cloudera)ออก โดย Cloudera อิมพาลาเป็นแหล่งเปิดโครงการที่ เช่น Apache สว่าน แรงบันดาลใจของ Google กระดาษบน Dremel วัตถุประสงค์ของทั้งสองจะช่วยสอบถามข้อมูลใน HDFS หรือ HBase แบบเรียลไทม์ อิมพาลาใช้เป็น SQL เหมือนภาษาที่ แม้ว่าคล้ายกับ HiveQL กำลังผลิตเพิ่มมากขึ้นกว่า HiveQL เนื่องจากอิมพาลาอาศัยเก็บ Meta กลุ่ม กลุ่มต้องถูกติดตั้งบนคลัสเตอร์เพื่อให้อิมพาลาทำงาน ความลับหลังความเร็วของอิมพาลาเป็นว่า มัน "circumvents ลดแผนการเข้าถึงข้อมูลโดยตรงผ่านเครื่องมือแบบสอบถามที่วางจำหน่ายเฉพาะที่คล้ายกันมากกับที่พบใน RDBMSs ค้าขนาน กัน" (แหล่งที่มา: Cloudera)

ผลลัพธ์ (ไทย) 2:

Hadoop เป็นที่รู้จักกันดีที่สุดสำหรับการลดแผนที่และจะกระจาย File System (HDFS) เมื่อเร็ว ๆ นี้เครื่องมือการผลิตอื่น ๆ ที่พัฒนาด้านบนของเหล่านี้จะก่อให้เกิดระบบนิเวศที่สมบูรณ์ของ Hadoop ส่วนใหญ่ของโครงการที่เป็นเจ้าภาพภายใต้ Apache Software Foundation Hadoop โครงการระบบนิเวศมีการระบุไว้ด้านล่าง. Hadoop ทั่วไปชุดของส่วนประกอบและอินเตอร์เฟซสำหรับการแจกจ่ายFile System และ I / O (อนุกรม, Java RPC โครงสร้างข้อมูลแบบถาวร) http://hadoop.apache.org/ ของ Apache Hadoop-Hadoop ระบบนิเวศecosystem- Hadoop HDFS แจกจ่าย File System ที่ทำงานบนกลุ่มใหญ่ของฮาร์ดแวร์สินค้า Hadoop แจกจ่าย File System, HDFS เปลี่ยนรูปแบบ NDFS เก็บข้อมูลที่ปรับขนาดได้ที่เก็บกึ่งโครงสร้างยกเลิกโครงสร้างและโครงสร้าง ลดแผนที่ลดคือการกระจายแบบการเขียนโปรแกรมการคำนวณแบบขนานสำหรับ Hadoop แรงบันดาลใจจาก Google Map ลดงานวิจัย Hadoop รวมถึงการดำเนินการตามแผนที่ลดแบบการเขียนโปรแกรม ในแผนที่ลดมีสองขั้นตอนที่ไม่น่าแปลกใจแผนที่ลด จะแม่นยำในระหว่างแผนที่และลดขั้นตอนการมีขั้นตอนอื่นที่เรียกว่าการจัดเรียงและสับเปลี่ยน ติดตามงานในชื่อเครื่องโหนดจัดการโหนดคลัสเตอร์อื่น ๆ แผนที่การเขียนโปรแกรมลดสามารถเขียนใน Java ถ้าคุณชอบ SQL หรืออื่น ๆ ที่ไม่ใช่ภาษา Java, คุณยังคงอยู่ในโชค คุณสามารถใช้ยูทิลิตี้ที่เรียกว่า Hadoop สตรีมมิ่ง http://wiki.apache.org/hadoop/HadoopMapReduce hadoop_mapreduce Hadoop สตรีมมิ่งยูทิลิตี้การเปิดใช้งานแผนที่ลดรหัสในหลายภาษาเช่นC, Perl, Python, C ++, ทุบตี ฯลฯ ตัวอย่างประกอบด้วย mapper งูหลามและลด AWK http://hadoop.apache.org/docs/r1.2.1/streaming.html รว์ระบบอนุกรมสำหรับประสิทธิภาพ RPC ข้ามภาษาและการจัดเก็บข้อมูลถาวร รว์เป็นกรอบสำหรับการดำเนินการเรียกขั้นตอนระยะไกลและเป็นอันดับข้อมูล ในบริบทของ Hadoop ก็สามารถใช้ในการส่งผ่านข้อมูลจากโปรแกรมหนึ่งหรือภาษาไปยังอีกเช่นจาก C ไปหมู มันเหมาะอย่างยิ่งสำหรับการใช้งานกับภาษาสคริปต์เช่นหมูเนื่องจากข้อมูลจะถูกเก็บไว้เสมอกับสคีมาในรว์ http://avro.apache.org/ ของ Apache-รว์Apache เจริญเติบโตอย่างรวดเร็วของApache เจริญเติบโตอย่างรวดเร็วช่วยให้คุณสามารถกำหนดชนิดของข้อมูลและการเชื่อมต่อบริการในแฟ้มหมายง่ายๆ การไฟล์เป็น input ว่าคอมไพเลอร์สร้างรหัสที่จะใช้สามารถสร้างลูกค้า RPC และเซิร์ฟเวอร์ที่สื่อสารได้อย่างราบรื่นทั่วเขียนโปรแกรมภาษา แทนการเขียนโหลดโค้ดสำเร็จรูปเป็นอันดับและการขนส่งวัตถุของคุณและเรียกวิธีการระยะไกลคุณสามารถได้รับสิทธิลงไปที่ธุรกิจ http://thrift.apache.org/ Hive เว้และถ้าคุณชอบSQL คุณจะมีความยินดีที่ได้ทราบว่าคุณสามารถเขียน SQL และไฮฟ์แปลงเป็นแผนที่งานลด แต่คุณไม่ได้รับเต็มรูปแบบสภาพแวดล้อม ANSI-SQL ฮิวจะช่วยให้คุณเบราว์เซอร์อินเตอร์เฟซแบบกราฟิกที่จะทำผลงานของคุณไฮฟ์ ฮิวมีเบราว์เซอร์สำหรับไฟล์ HDFS, เบราว์เซอร์งานสำหรับแผนที่ลด / เส้นด้ายเป็นเบราว์เซอร์ HBase บรรณาธิการแบบสอบถามสำหรับไฮฟ์หมู Cloudera Impala Sqoop2.It และยังมาพร้อมกับแอพลิเคชัน Oozie สำหรับการสร้างและการตรวจสอบขั้นตอนการทำงานเป็นเบราว์เซอร์และการดูแลสัตว์ SDK. hive_hue หมูเขียนโปรแกรมระดับสูงภาษาการไหลของข้อมูลและสภาพแวดล้อมในการดำเนินการเพื่อทำแผนที่ลดการเขียนโปรแกรมภาษาหมูหมูที่เรียกว่าภาษาละติน คุณอาจพบว่าการตั้งชื่อบางสิ่งที่ยกเลิกการชุมนุม แต่คุณได้รับอย่างไม่น่าเชื่อราคาประสิทธิภาพและความพร้อมสูง https://pig.apache.org/ ของ Apache หมูJaQL JAQL คือการทำงาน, การเขียนโปรแกรมภาษาเปิดเผยออกแบบมาโดยเฉพาะสำหรับการทำงานที่มีปริมาณมากของโครงสร้างข้อมูลกึ่งโครงสร้างและไม่มีโครงสร้าง เป็นชื่อของมันหมายถึงการใช้หลักของ JAQL คือการจัดการกับข้อมูลที่จัดเก็บเอกสาร JSON แต่ JAQL สามารถทำงานในหลายประเภทของข้อมูล ยกตัวอย่างเช่นมันสามารถรองรับ XML ค่าคั่นด้วยเครื่องหมายจุลภาค (CSV) ไฟล์ข้อมูลและแบน A "SQL ภายใน JAQL" ความสามารถในการช่วยให้โปรแกรมเมอร์ทำงานกับข้อมูล SQL ในขณะที่โครงสร้างการจ้าง JSON รูปแบบข้อมูลที่เข้มงวดน้อยกว่าภาษาของแบบสอบถามที่มีโครงสร้าง 1. JAQL ใน Google Code2 JaQL คืออะไร? โดย IBM Sqoop Sqoop ให้การถ่ายโอนข้อมูลแบบสองทิศทางระหว่าง Hadoop -HDFS และฐานข้อมูลเชิงสัมพันธ์ที่คุณชื่นชอบ ตัวอย่างเช่นคุณอาจจะมีการจัดเก็บข้อมูล app ของคุณในการจัดเก็บสัมพันธ์เช่น Oracle, ตอนนี้คุณต้องการที่จะไต่ใบสมัครของคุณกับ Hadoop เพื่อให้คุณสามารถโอนย้ายข้อมูลฐานข้อมูล Oracle Hadoop HDFS ใช้ Sqoop http://sqoop.apache.org/ sqoop-Hadoop OOZIE บริหารจัดการเวิร์กโฟลว์ Hadoop นี้ไม่ได้แทนกำหนดการหรือเครื่องมือ BPM ของคุณ แต่ถ้าจะให้แล้ว-อื่นแยกและการควบคุมกับงาน Hadoop https://oozie.apache.org/ oozie-Hadoop ZooKeeper กระจายบริการการประสานงานมีสูง ZooKeeper ให้พื้นฐานเช่นการกระจายล็อคที่สามารถใช้สำหรับการสร้างการใช้งานที่ปรับขนาดได้อย่าง มันถูกใช้ในการจัดการข้อมูลให้ตรงกันสำหรับคลัสเตอร์ http://zookeeper.apache.org/ ดูแลสัตว์-Hadoop HBase จาก Bigtable ของ Google HBase "เป็นโอเพนซอร์สกระจายรุ่นเก็บคอลัมน์ที่มุ่งเน้น" ที่ตั้งอยู่ด้านบนของ HDFS เก็บค่าคีย์ที่ปรับขนาดได้สุด มันทำงานได้อย่างมากเช่นกัญชาแผนที่ถาวร (สำหรับนักพัฒนาหลามคิดเช่น Dictionary) มันไม่ได้เป็นฐานข้อมูลเชิงสัมพันธ์แบบเดิม มันเป็นกระจายฐานข้อมูลที่มุ่งเน้นคอลัมน์ HBase HDFS ใช้สำหรับเป็นพื้นฐาน รองรับทั้งการคำนวณชุดสไตล์การใช้แผนที่และคำสั่งลดจุดสุ่มอ่าน https://hbase.apache.org/ HBase-Hadoop คาสซานดราNoSQL คอลัมน์ที่มุ่งเน้นการเก็บข้อมูลที่มีความยืดหยุ่นที่มีประสิทธิภาพที่สูงที่มีออกมากระทบกับผลการดำเนินงาน มันแพลตฟอร์มที่สมบูรณ์แบบสำหรับฮาร์ดแวร์สินค้าและรูปแบบข้อมูล infrastructure.Cassandra เมฆมีความสะดวกสบายของดัชนีคอลัมน์ที่มีการปรับปรุงประสิทธิภาพการทำงานของการเข้าสู่ระบบที่มีโครงสร้างการสนับสนุนที่แข็งแกร่งสำหรับการ de-ฟื้นฟูและมองเห็นวิวรูปธรรมและมีประสิทธิภาพในตัวแคช http://cassandra.apache.org/ คาสซานดรา-Hadoop Flume โหลดเวลาจริงสำหรับการสตรีมข้อมูลของคุณลงใน Hadoop มันเก็บข้อมูลใน HDFS และ HBase.Flume "ช่อง" ข้อมูลระหว่าง "แหล่งที่มา" และ "อ่าง" และการเก็บเกี่ยวข้อมูลสามารถกำหนดหรือเหตุการณ์ที่ขับเคลื่อนด้วย แหล่งที่เป็นไปได้สำหรับ Flume รว์รวมถึงไฟล์และระบบบันทึกและอ่างล้างมือที่เป็นไปได้รวมถึง HDFS และ HBase http://flume.apache.org/ ฟลูม-Hadoop ควาญช้างเครื่องเรียนรู้ Hadoop ที่ใช้สำหรับการวิเคราะห์การคาดการณ์และการวิเคราะห์ขั้นสูงอื่น ๆ ขณะสี่กลุ่มหลักของอัลกอริทึมในควาญช้างคือคำแนะนำการกรองกลุ่มที่รู้จักจำแนกอาคาหมวดหมู่การจัดกลุ่มรายการบ่อยตั้งการทำเหมืองแร่ที่รู้จักขนานรูปแบบการทำเหมืองแร่ที่พบบ่อยควาญช้างไม่ได้เป็นเพียงแค่ชุดของขั้นตอนวิธีการที่มีอยู่ก่อน; เครื่องหลายขั้นตอนวิธีการเรียนรู้เป็นอย่างยิ่งที่ไม่สามารถปรับขนาดได้; ที่ได้รับชนิดของการดำเนินงานที่พวกเขาดำเนินการที่พวกเขาไม่สามารถดำเนินการเป็นชุดของกระบวนการคู่ขนาน อัลกอริทึมในห้องสมุดควาญช้างที่อยู่ในเซตที่สามารถดำเนินการในรูปแบบการกระจาย ระบบ HDFS ให้มีลักษณะเหมือนระบบแฟ้มปกติเพื่อให้คุณสามารถใช้คำสั่ง ls, RM, ซีดี ฯลฯ โดยตรงกับข้อมูล HDFS. Whirr Apache Whirr คือชุดของห้องสมุดสำหรับการเรียกใช้บริการคลาวด์ Whirr ให้เป็นวิธีที่เมฆที่เป็นกลางในการเรียกใช้บริการ คุณไม่ต้องกังวลเกี่ยวกับนิสัยของแต่ละ provider.A บริการ API ที่พบบ่อย รายละเอียดของการจัดเตรียมเป็นโดยเฉพาะอย่างยิ่งการให้บริการ ค่าเริ่มต้นของสมาร์ทสำหรับการให้บริการ คุณจะได้รับการกำหนดค่าระบบอย่างถูกต้องทำงานได้อย่างรวดเร็วขณะที่ยังคงความสามารถในการแทนที่การตั้งค่าได้ตามต้องการ นอกจากนี้คุณยังสามารถใช้ Whirr เป็นเครื่องมือบรรทัดคำสั่งสำหรับการปรับใช้กลุ่ม https://whirr.apache.org/ whirr-Hadoop Giraph การประมวลผลกราฟแหล่งที่มาเปิด API เช่น Pregel จาก Google https://giraph.apache.org/ ApacheGiraph Chukwa Chukwa โครงการศูนย์บ่มเพาะใน Apache การคือการเก็บรวบรวมข้อมูลและการวิเคราะห์ ระบบสร้างขึ้นบนที่ตั้งและแผนที่ HDFS ลด เหมาะสำหรับการเก็บรวบรวมบันทึกและข้อมูลอื่น ๆ จากระบบการตรวจสอบการกระจาย Chukwa มีขั้นตอนการทำงานที่ช่วยให้การเก็บรวบรวมข้อมูลที่เพิ่มขึ้นในการประมวลผลและการเก็บรักษาใน Hadoop มันรวมอยู่ในการกระจาย Apache Hadoop เป็นโมดูลที่เป็นอิสระ https://chukwa.apache.org/ chukwa-Hadoop เจาะสว่าน Apache, โครงการศูนย์บ่มเพาะใน Apache เป็นกรอบซอฟต์แวร์โอเพนซอร์สที่สนับสนุนการกระจายข้อมูลจำนวนมากสำหรับการวิเคราะห์การโต้ตอบของชุดข้อมูลขนาดใหญ่ เจาะเป็นรุ่นเปิดแหล่งที่มาของระบบ Dremel ของ Google ที่มีอยู่เป็นบริการ IaaS ของ Google ที่เรียกว่าบิ๊กแบบสอบถาม เป้าหมายการออกแบบหนึ่งระบุไว้อย่างชัดเจนคือการที่เจาะจะสามารถที่จะไต่ถึง 10,000 เซิร์ฟเวอร์หรือมากขึ้นและเพื่อให้สามารถดำเนินการเพตาไบต์ของข้อมูลและบันทึกล้านล้านในไม่กี่วินาที http://incubator.apache.org/drill/ ของ Apache เจาะอิมพาลา(Cloudera) ออกโดย Cloudera, อิมพาลาเป็นโครงการโอเพนซอร์สที่เช่น Apache เจาะได้รับแรงบันดาลใจจากกระดาษของ Google ใน Dremel; วัตถุประสงค์ของทั้งสองคือการอำนวยความสะดวกในแบบ real-time สอบถามข้อมูลใน HDFS หรือ HBase อิมพาลาใช้ภาษา SQL เหมือนที่แม้ว่าจะคล้ายกับ HiveQL, ขณะนี้มีข้อ จำกัด มากกว่า HiveQL เพราะอิมพาลาอาศัยร้านค้าไฮฟ์ Meta, ไฮฟ์จะต้องติดตั้งในคลัสเตอร์เพื่อให้อิมพาลาในการทำงาน ความลับที่อยู่เบื้องหลังความเร็วของอิมพาลาก็คือว่ามัน "หลีกแผนที่ลดโดยตรงเข้าถึงข้อมูลผ่านเครื่องมือค้นหาการกระจายความเชี่ยวชาญที่จะคล้ายกับที่พบใน RDBMSs ขนานเชิงพาณิชย์." (ที่มา: Cloudera)

ผลลัพธ์ (ไทย) 3:

เป็นที่รู้จักกันดีที่สุดสำหรับ Hadoop แผนที่ลดและเป็นระบบแฟ้มแบบกระจาย ( hdfs ) เมื่อเร็วๆ นี้ อื่น ๆ การผลิตเครื่องมือพัฒนาบนเหล่านี้จะสร้างระบบนิเวศที่สมบูรณ์ของ Hadoop . ส่วนใหญ่ของโครงการเป็นเจ้าภาพภายใต้มูลนิธิซอฟต์แวร์อาปาเช่ . ระบบนิเวศ Hadoop โครงการ Hadoop ทั่วไปด้านล่าง


ชุดของส่วนประกอบและอินเทอร์เฟซสำหรับการกระจายแฟ้มระบบและ I / O ( ซึ่งพิมพ์ต่อเนื่อง ,จาวา RPC , โครงสร้างข้อมูลแบบถาวร ) http : / / Apache Hadoop . . org /

Apache Hadoop ระบบนิเวศ Hadoop







hdfs ระบบนิเวศ Hadoop กระจายแฟ้มระบบที่วิ่งในกลุ่มขนาดใหญ่ของสินค้าฮาร์ดแวร์ ระบบกระจาย hdfs Hadoop ไฟล์เปลี่ยนชื่อฟอร์ม ndfs . อุปกรณ์เก็บข้อมูลที่จัดเก็บอย่างไร , และโครงสร้างและข้อมูลที่มีโครงสร้าง

http : / / Apache Hadoop . . org / เอกสาร / r2.3 .0 / Hadoop โครงการ Dist / Hadoop hdfs / hdfsuserguide . htmlhttp : / / video . Apache Hadoop . org / / hdfs

hdfs Hadoop ระบบนิเวศ Hadoop




เป็นแผนที่แผนที่ลดลดกระจาย รูปแบบโปรแกรมการคำนวณแบบขนานเพื่อ Hadoop . แรงบันดาลใจจากแผนที่ Google ลดกระดาษวิจัย รวมถึงการลด Hadoop แผนที่รูปแบบการเขียนโปรแกรม ในราคาลดมี 2 ระยะ ไม่จู่ ๆแผนที่และลดเพื่อความถูกต้องในระหว่างแผนที่และลดระยะ มีเฟสอื่น เรียกว่า เรียงสับเปลี่ยน งานติดตามในเครื่องโหนดโหนดคลัสเตอร์ชื่อจัดการอื่น ๆ แผนที่ลดการเขียนโปรแกรมสามารถเขียนใน Java ถ้าคุณชอบ SQL หรือไม่อื่น ๆเป็นภาษาคุณยังโชคดี คุณสามารถใช้ยูทิลิตี้ที่เรียกว่า Hadoop สตรีมมิ่ง . http : / / video . Apache Hadoop . org / / hadoopmapreduce



hadoop_mapreduceยูทิลิตี้เพื่อเปิดใช้ Hadoop สตรีม
แผนที่ลดรหัสหลายภาษาเช่น C , Perl , Python , C , Bash เป็นต้น ตัวอย่างได้แก่ งูเหลือม และลด Mapper ภาษาซี . http : / / Apache Hadoop . . org / เอกสาร / r1.2.1 / สตรีมมิ่ง . html


เป็นแอฟโร่ซึ่งพิมพ์ต่อเนื่องระบบที่มีประสิทธิภาพ , RPC ภาษาข้ามและการจัดเก็บข้อมูลแบบถาวร แอฟโร่เป็นกรอบสำหรับการเรียกขั้นตอนระยะไกลและการทำให้เป็นอนุกรมข้อมูลในบริบทของ Hadoop , มันสามารถใช้ในการส่งข้อมูลจากโปรแกรมหนึ่ง หรือภาษาอื่น เช่น จาก C เป็นหมู มันเหมาะอย่างยิ่งสำหรับใช้กับภาษาสคริปต์ เช่น หมู เพราะข้อมูลที่มักเก็บไว้กับ schema ของแอฟโร่ . http : / / แอฟโร่ . Apache . org /

Apache Apache Apache แอฟโร่


ประหยัดประหยัดช่วยให้คุณสามารถกำหนดชนิดข้อมูลและบริการอินเทอร์เฟซที่เรียบง่าย ความละเอียดไฟล์เอาแฟ้มที่เป็น input คอมไพเลอร์สร้างรหัสที่จะใช้เพื่อให้ง่ายต่อการสร้างลูกค้า RPC และเซิร์ฟเวอร์ที่การสื่อสารอย่างต่อเนื่องผ่านการเขียนโปรแกรมภาษา แทนการเขียนโหลดรหัสสําเร็จรูปที่จะทำให้เป็นอนุกรมและการขนส่งวัตถุของคุณและเรียกวิธีการระยะไกลคุณสามารถได้รับสิทธิลงไปที่ธุรกิจ http : / / ของเก่า Apache . org /


ถ้าชอบรังสี SQL ,คุณจะยินดีที่จะได้ยินว่าคุณสามารถเขียน SQL และกลุ่มแปลงเป็นแผนที่ลดงาน แต่คุณไม่ได้รับสภาพแวดล้อม ansi-sql เต็ม สีช่วยให้คุณเบราว์เซอร์อินเตอร์เฟซแบบกราฟิกทำรังของคุณทำงานตาม เว้มีไฟล์เบราว์เซอร์สำหรับ hdfs งานเบราว์เซอร์สำหรับแผนที่ลด / เส้นด้าย , hbase เบราว์เซอร์แบบสอบถามบรรณาธิการสำหรับรังหมู cloudera อิมพาลา และ sqoop2 .นอกจากนี้ยังมีเรือที่มี oozie โปรแกรมสำหรับการสร้างและการเวิร์กโฟลว์ , เบราว์เซอร์ Zookeeper และ SDK .




hive_hue หมูพื้นฐานการเขียนโปรแกรมภาษาสภาพแวดล้อมและการไหลของข้อมูลการทำแผนที่ลดการเขียนโปรแกรมภาษาเรียกว่าหมูหมูละติน คุณอาจพบชื่อข้อตกลงอะไรและธรรมดา แต่คุณได้รับประสิทธิภาพที่เหลือเชื่อ ราคาและความพร้อมใช้งานสูง https : / / หมูApache . org /




jaql Apache หมู jaql เป็นภาษาใช้ยากำจัดวัชพืชที่ออกแบบมาโดยเฉพาะอย่างยิ่งสำหรับการทำงานกับปริมาณมากของโครงสร้างข้อมูลแบบกึ่งโครงสร้างและไม่มีโครงสร้าง . เป็นชื่อของมันหมายถึง การใช้หลักของ jaql เพื่อจัดการกับข้อมูลที่จัดเก็บเอกสาร เจลีก แต่ jaql สามารถทำงานเกี่ยวกับประเภทต่างๆของข้อมูล ตัวอย่างเช่นมันสามารถสนับสนุน XML ,เครื่องหมายจุลภาคคั่นระหว่างค่า ( CSV ) ข้อมูลและแฟ้มแบน " SQL ภายใน jaql " ความสามารถช่วยให้โปรแกรมเมอร์ทำงานกับข้อมูลที่มีโครงสร้าง SQL ในขณะที่การใช้ข้อมูลแบบ JSON ที่เข้มงวดน้อยกว่าของภาษาสอบถามเชิงโครงสร้าง counterparts 1 . jaql ใน Google code2 . jaql คืออะไร ? โดย IBM

sqoop
sqoop ให้สองทิศทางการถ่ายโอนข้อมูลระหว่าง Hadoop - hdfs และชื่นชอบฐานข้อมูลเชิงสัมพันธ์ .ตัวอย่างเช่นคุณอาจจะเก็บข้อมูล app ของคุณในร้าน เช่น ฐานข้อมูล Oracle , คุณต้องการขนาดใบสมัครของคุณกับ Hadoop เพื่อให้คุณสามารถโยกย้ายข้อมูลฐานข้อมูลของออราเคิลเพื่อใช้ Hadoop hdfs sqoop . http : / / sqoop . Apache Hadoop sqoop . org /




oozie จัดการ Hadoop เวิร์กโฟลว์ . นี้ไม่ได้แทนที่กำหนดการหรือเครื่องมือ BPM ของคุณ แต่จะให้ได้กิ่งและควบคุมงาน Hadoop .