Storm, a big-data processing system

Storm, a big-data processing system, has been presented by Twitter as a distributed and fault-tolerant stream processing system with the following key design features:

Horizontal scalability: Computations and data processing are performed in parallel using multiple threads, processes and machines.
Guaranteed message processing: The system guarantees that each message will be fully processed at least once. The system takes care of replaying messages from the source when a task fails.
Fault-tolerance: If there are faults during execution of the computation, the system will reassign tasks as necessary.
Programming language agnostic: Storm tasks and processing components can be defined in any language, making Storm accessible to nearly anyone. Clojure, Java, Ruby, Python are supported by default. Support for other languages can be added by implementing a simple Storm communication protocol.
In this blog post we provide you with a solid overview that will help you take advantage of implementing big-data analytics over streaming data.

The core abstraction in Storm is the stream. A stream is an unbounded sequence of tuples. Storm provides the primitives for transforming a stream into a new stream in a distributed and reliable way. The basic primitives Storm provides for performing stream transformations are spouts and bolts. A spout is a source of streams that generates input tuples (Figure 1). A bolt consumes any number of input streams, carries out some processing, and possibly emits new streams (Figure 2). Complex stream transformations, such as the computation of a stream of trending topics from a stream of tweets, require multiple steps and thus multiple bolts.

figure1
Figure 1: The behavior of Storm Spout

Bolt
Figure 2: The behavior of Storm Bolt

A topology is a graph of stream transformations where each node is a spout or a bolt. Edges in the graph indicate which bolts are subscribing to which streams. When a spout or bolt emits a tuple to a stream, it sends the tuple to every bolt that subscribed to that stream. Links between nodes in a topology indicate how tuples should be passed around, and each node in a Storm topology executes in parallel. In any topology, we can specify how much parallelism is required for each node, and then Storm will spawn that number of threads across the cluster to perform the execution. Figure 3 depicts a sample Storm topology.

Topology
Figure 3: Sample Storm Processing Topology that consists of 2 Spouts and 4 Bolts

The Storm system relies upon the notion of stream grouping to specify how tuples are sent between processing components. In other words, it defines how that stream should be partitioned among the bolt’s tasks. In particular, Storm supports different types of stream groupings such as:

Shuffle grouping where stream tuples are randomly distributed such that each bolt is guaranteed to get an equal number of tuples.
Fields grouping where the tuples are partitioned by the fields specified in the grouping.
All grouping where the stream tuples are replicated across all the bolts.
Global grouping where the entire stream goes to a single bolt.
Direct Grouping where the source decides which component will receive the tuple.
Figure 4 illustrates the behavior of built-in Storm groupings. In addition to the supported built-in stream grouping mechanisms, the Storm system allows its users to define their own custom grouping mechanisms.

Grouping
Figure 4: Storm Groupings

Although Storm is implemented in Java, it is possible to use other languages. To learn more about languages in Storm read Chapter 7. Using Non-JVM Languages with Storm in Getting Started with Storm.

With this overview of Storm complete, in the next post we will take a look at Storm in action, covering Storm clusters and a Storm example.

ผลลัพธ์ (ไทย) 1:

พายุ ระบบประมวลผลข้อมูลขนาดใหญ่ ได้ถูกนำเสนอ โดย Twitter เป็นกระจาย และทนต่อกระแสข้อมูลประมวลผลระบบที่ มีคุณลักษณะการออกแบบคีย์ต่อไปนี้:แนวนอนขนาด: ดำเนินขนานโดยใช้เธรดหลาย กระบวนการ และเครื่องประมวลผลและประมวลผลข้อมูลรับประกันการประมวลผลข้อความ: ระบบรับประกันว่า แต่ละข้อความจะเต็มประมวลผลที่ ระบบดูแลของ replaying ข้อความจากแหล่งที่มาเมื่องานล้มเหลวข้อบกพร่องยอมรับ: ถ้ามีข้อบกพร่องในระหว่างการดำเนินการคำนวณ ระบบจะมอบหมายงานตามความจำเป็นเขียนโปรแกรมภาษา agnostic: พายุงานและประมวลผลส่วนประกอบสามารถกำหนดได้ในภาษาต่าง ๆ ทำให้พายุเข้าเกือบได้ Clojure จาวา ทับทิม งูเหลือมรับการสนับสนุน โดยค่าเริ่มต้น สามารถเพิ่มการสนับสนุนสำหรับภาษาอื่น ๆ ด้วยการใช้โพรโทคอการสื่อสารของพายุได้ในบล็อกโพสต์นี้ เราให้คุณ มีภาพรวมที่เป็นของแข็งที่จะช่วยให้คุณใช้ประโยชน์จากดำเนินการวิเคราะห์ข้อมูลขนาดใหญ่ผ่านการสตรีมข้อมูลกระแสข้อมูล abstraction แกนในพายุได้ กระแสเป็นการลำดับงที่ของ tuples พายุให้นำที่สำหรับเปลี่ยนกระแสกระแสใหม่ในลักษณะกระจาย และเชื่อถือได้ นำพื้นฐานที่พายุให้ดำเนินการกระแสข้อมูลแปลงเป็น spouts และสลักเกลียว พวยเป็นแหล่งของกระแสข้อมูลที่สร้าง tuples ป้อนข้อมูล (รูปที่ 1) สายใช้หมายเลขของกระแสข้อมูลที่ป้อนเข้า ดำเนินการประมวลผลบาง และอาจ emits กระแสใหม่ (รูปที่ 2) แปลงซับซ้อนกระแส เช่นคำนวณน้ำหัวข้อ trending อ่านกระแสฟีด ต้องใช้หลายขั้นตอน และดัง หลายกรูfigure1รูปที่ 1: ลักษณะการทำงานของรางน้ำพายุสายฟ้ารูปที่ 2: ลักษณะการทำงานของพายุสายฟ้าโทโพโลยีเป็นกราฟของกระแสแปลงแต่ละโหนดมีพวยหรือสาย ขอบในกราฟแสดงสลักเกลียวที่จะสมัครใช้งานที่กระแส เมื่อพวยหรือกลอน emits ทูเพิลไปยังกระแส มันส่งทูเพิลที่ไปสายฟ้าทุกที่สมัครใช้งานที่กระแส เชื่อมโยงระหว่างโหนในโทโพโลยีบ่งชี้ว่า ควรผ่าน tuples สถาน และแต่ละโหนในโทโพโลยีพายุดำเนินควบคู่กัน ในโทโพโลยีใด ๆ เราสามารถระบุจำนวน parallelism เป็นสิ่งจำเป็นสำหรับแต่ละโหน และจากนั้น พายุจะวางไข่จำนวนเธรดที่ข้ามคลัสเตอร์เพื่อทำการดำเนินการ รูปที่ 3 แสดงให้เห็นเป็นตัวอย่างพายุโทโพโลยีโทโพโลยีรูปที่ 3: ตัวอย่างพายุประมวลผลโครงสร้างที่ประกอบด้วย 2 Spouts และ 4 นอตระบบพายุอาศัยแนวคิดของกระแสข้อมูลการจัดกลุ่มเพื่อระบุวิธีส่ง tuples ระหว่างประมวลผลคอมโพเนนต์ ในคำอื่น ๆ มันกำหนดวิธีควรกั้นกระแสที่นี่งานของสายฟ้า โดยเฉพาะอย่างยิ่ง พายุสนับสนุนกลุ่มกระแสชนิดต่าง ๆ เช่น:สลับกลุ่มที่กระแส tuples สุ่มกระจายให้แต่ละกลอนมีรับประกันรับของ tuplesฟิลด์ที่กั้น tuples ในฟิลด์ที่ระบุในการจัดกลุ่มการจัดกลุ่มทั้งหมดการจัดกลุ่มซึ่งจำลอง tuples กระแสผ่านประตูทั้งหมดกลุ่มส่วนกลางที่กระแสข้อมูลทั้งหมดไปยังสายเดียวตรงกลุ่มที่แหล่งกำหนดส่วนประกอบที่จะได้รับในทูเพิลรูปที่ 4 แสดงลักษณะการทำงานของกลุ่มพายุภายใน นอกจากได้รับการสนับสนุนภายในสตรีมจัดกลไก ระบบพายุช่วยให้ผู้ใช้เพื่อกำหนดกลไกการจัดกลุ่มแบบกำหนดเองของตัวเองการจัดกลุ่มรูปที่ 4: กลุ่มพายุถึงแม้ว่าพายุจะดำเนินการใน Java จะสามารถใช้ภาษาอื่น ๆ ข้อมูลเพิ่มเติมเกี่ยวกับภาษาในพายุอ่านบทที่ 7 ใช้ภาษาไม่มี JVM มีพายุในการเริ่มต้นกับพายุนี้ภาพรวมของพายุที่สมบูรณ์ ในโพสต์ต่อไป เราจะมาดูพายุในการกระทำ พายุคลัสเตอร์และเป็นตัวอย่างของพายุ

ผลลัพธ์ (ไทย) 2:

พายุระบบการประมวลผลข้อมูลขนาดใหญ่ได้รับการเสนอโดย Twitter เป็นระบบการประมวลผลแบบกระจายกระแสและความผิดพลาดที่มีคุณสมบัติดังต่อไปการออกแบบที่สำคัญ: ความยืดหยุ่นแนวนอน: การคำนวณและการประมวลผลข้อมูลที่จะดำเนินการในแบบคู่ขนานโดยใช้หลายหัวข้อกระบวนการและเครื่องจักรการประมวลผลข้อความการรับประกัน: ระบบรับประกันว่าแต่ละข้อความจะถูกดำเนินการอย่างเต็มที่อย่างน้อยหนึ่งครั้ง ระบบการดูแล replaying ข้อความจากแหล่งที่มาเมื่อเป็นงานที่ล้มเหลว. ความผิดพลาดความอดทน: หากมีความผิดพลาดในระหว่างการดำเนินการคำนวณระบบจะมอบหมายงานตามความจำเป็น. ไม่เชื่อเรื่องพระเจ้าภาษาการเขียนโปรแกรม: งานพายุและส่วนประกอบการประมวลผลสามารถกำหนดใน ภาษาใด ๆ ทำให้พายุเข้าถึงเกือบทุกคน Clojure, Java, Ruby, Python ได้รับการสนับสนุนโดยค่าเริ่มต้น การสนับสนุนสำหรับภาษาอื่น ๆ สามารถเพิ่มโดยการใช้โปรโตคอลการสื่อสารพายุง่าย. โพสต์ในบล็อกนี้เราให้คุณมีภาพรวมที่เป็นของแข็งที่จะช่วยให้คุณใช้ประโยชน์จากการดำเนินการวิเคราะห์ข้อมูลขนาดใหญ่มากกว่าข้อมูลสตรีมมิ่ง. นามธรรมหลักในพายุเป็นกระแส . กระแสเป็นลำดับมากมายของ tuples พายุให้พื้นฐานสำหรับการเปลี่ยนกระแสเป็นกระแสใหม่ในทางที่กระจายและเชื่อถือได้ วิทยาการขั้นพื้นฐานพายุให้สำหรับการดำเนินการแปลงกระแสเป็นพกพาและกลอน รางน้ำเป็นที่มาของกระแสที่สร้าง tuples การป้อนข้อมูล (รูปที่ 1) สายฟ้ากินจำนวนลำธารป้อนข้อมูลใด ๆ ที่ดำเนินการประมวลผลบางอย่างและอาจปล่อยกระแสใหม่ (รูปที่ 2) กระแสการเปลี่ยนแปลงที่ซับซ้อนเช่นการคำนวณกระแสของหัวข้อแนวโน้มจากกระแสของทวีตต้องใช้หลายขั้นตอนและทำให้หลายสลักเกลียว. รูปที่ 1 รูปที่ 1: การทำงานของพายุพวยกลอนรูปที่ 2: การทำงานของพายุสายฟ้าโครงสร้างเป็น กราฟของกระแสการเปลี่ยนแปลงที่แต่ละโหนดเป็นพวยกาหรือสายฟ้า ขอบในกราฟระบุว่าโบลต์จะสมัครที่ลำธาร เมื่อพวยกาหรือสายฟ้าส่งเสียง tuple กระแสก็จะส่ง tuple ทุกสายฟ้าที่สมัครรับกระแสว่า การเชื่อมโยงระหว่างโหนดใน topology ระบุวิธี tuples ควรจะผ่านรอบและแต่ละโหนดในโครงสร้างพายุดำเนินการในแบบคู่ขนาน ในโครงสร้างใด ๆ เราสามารถระบุวิธีขนานมากเป็นสิ่งจำเป็นสำหรับแต่ละโหนดและจากนั้นพายุจะวางไข่จำนวนกระทู้ที่ทั่วคลัสเตอร์ที่จะดำเนินการการดำเนินการ รูปที่ 3 แสดงให้เห็นว่าโครงสร้างพายุตัวอย่าง. โทโพโลยีรูปที่ 3: ตัวอย่างพายุโทโพโลยีการประมวลผลที่ประกอบด้วย 2 Spouts และ 4 สกรูระบบพายุอาศัยความคิดของการจัดกลุ่มกระแสระบุว่าจะมีการส่ง tuples ระหว่างส่วนประกอบการประมวลผล ในคำอื่น ๆ ก็กำหนดวิธีการสตรีมที่ควรจะแบ่งพาร์ติชันในหมู่งานของสายฟ้า โดยเฉพาะอย่างยิ่งพายุสนับสนุนชนิดที่แตกต่างกันของกลุ่มสตรีมเช่น. การจัดกลุ่มที่สุ่ม tuples กระแสที่มีการกระจายแบบสุ่มเช่นว่าแต่ละสายฟ้ารับประกันได้ว่าจะได้รับจำนวนเท่ากัน tuples ฟิลด์การจัดกลุ่มที่ tuples มีการแบ่งพาร์ติชันโดยสาขาที่ระบุในการจัดกลุ่มทุกกลุ่มที่ tuples กระแสถูกจำลองแบบทั่วทุกสลักเกลียว. การจัดกลุ่มทั่วโลกที่กระแสทั้งหมดไปสายฟ้าเดียว. การจัดกลุ่มแหล่งที่มาโดยตรงที่ตัดสินใจที่จะได้รับองค์ประกอบ tuple. รูปที่ 4 แสดงให้เห็นถึงพฤติกรรมของตัวในกลุ่มพายุ นอกจากนี้ยังได้รับการสนับสนุนในตัวกลไกการจัดกลุ่มสตรีมระบบพายุช่วยให้ผู้ใช้ในการกำหนดกลไกการจัดกลุ่มของพวกเขาเอง. การจัดกลุ่มรูปที่ 4: การจัดกลุ่มพายุแม้ว่าพายุจะดำเนินการใน Java ก็เป็นไปได้ที่จะใช้ภาษาอื่น ๆ เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับภาษาในพายุอ่านบทที่ 7 ใช้ไม่ JVM ภาษากับพายุในการเริ่มต้นกับพายุ. ด้วยภาพรวมของพายุที่สมบูรณ์แบบนี้ในโพสต์ถัดไปเราจะมาดูที่พายุในการดำเนินการที่ครอบคลุมกลุ่มพายุและ ตัวอย่างเช่นพายุ