Apache Flume is a data ingestion sy

Apache Flume is a data ingestion system that is configured by defining endpoints in a data flow called sources and sinks. In Flume, each individual piece of data (tweets, in our case) is called an event; sources produce events, and send the events through a channel, which connects the source to the sink. The sink then writes the events out to a predefined location. Flume supports some standard data sources, such as syslog or netcat. For this use case, we’ll need to design a custom source that accesses the Twitter Streaming API, and sends the tweets through a channel to a sink that writes to HDFS files. Additionally, we can use the custom source to filter the tweets on a set of search keywords to help identify relevant tweets, rather than a pure sample of the entire Twitter firehose. The custom Flume source code can be found here.

ผลลัพธ์ (ไทย) 1:

ไลเดอร์ Apache เป็นระบบบริโภคข้อมูลที่ถูกกำหนดค่า โดยการกำหนดปลายทางในการไหลของข้อมูลที่เรียกว่าแหล่ง และอ่างล้างมือ ในไลเดอร์ ทุกชิ้นของข้อมูล (ทวี ในกรณีของเรา) เรียกว่าเหตุการณ์ แหล่งผลิตกิจกรรม และส่งกิจกรรมผ่านช่องทาง ซึ่งเชื่อมต่อต้นทางอ่าง การเขียนเหตุการณ์ออกไปยังตำแหน่งที่กำหนดไว้ล่วงหน้าแล้ว ไลเดอร์สนับสนุนแหล่งข้อมูลมาตรฐานบางอย่าง เช่น netcat หรือ syslog สำหรับกรณีนี้ใช้ เราจะต้องออกแบบเองแหล่งที่เข้าถึงใน Twitter API สตรีม และส่งทวีผ่านช่องทางการรับที่เขียนไฟล์ HDFS นอกจากนี้ เราสามารถใช้ต้นแบบกำหนดเองเพื่อกรองทวีในชุดของคำสำคัญค้นหาเพื่อช่วยระบุทวีตที่เกี่ยวข้อง มากกว่าตัวอย่างบริสุทธิ์ของ firehose ทวิตเตอร์ทั้งหมด รหัสแหล่งที่มาไลเดอร์เองได้ที่นี่

ผลลัพธ์ (ไทย) 2:

Apache Flume เป็นระบบข้อมูลการบริโภคที่ถูกกำหนดโดยการกำหนดจุดสิ้นสุดในแหล่งที่มาของการไหลของข้อมูลที่เรียกว่าและอ่างล้างมือ ในไลเดอร์แต่ละชิ้นแต่ละข้อมูล (ทวีตในกรณีของเรา) เรียกว่าเหตุการณ์; แหล่งผลิตกิจกรรมและเหตุการณ์ที่เกิดขึ้นส่งผ่านช่องทางซึ่งเชื่อมต่อกับแหล่งที่มาเพื่ออ่างล้างจาน อ่างล้างจานแล้วเขียนเหตุการณ์ที่เกิดขึ้นออกไปยังสถานที่ที่กำหนดไว้ล่วงหน้า Flume สนับสนุนบางแหล่งข้อมูลมาตรฐานเช่น syslog ห​​รือ netcat สำหรับกรณีการใช้งานนี้เราจะต้องออกแบบเป็นแหล่งที่กำหนดเองที่เข้าถึงทวิตเตอร์ Streaming API และส่งทวีตผ่านช่องทางที่จะจมที่เขียนไปยังแฟ้ม HDFS นอกจากนี้เรายังสามารถใช้แหล่งที่กำหนดเองเพื่อกรองทวีตในชุดของคำค้นหาเพื่อช่วยในการระบุทวีตที่เกี่ยวข้องมากกว่าตัวอย่างบริสุทธิ์ของทั้งทวิตเตอร์ใส่สายดับเพลิง รหัสที่มากำหนดเอง Flume สามารถพบได้ที่นี่

ผลลัพธ์ (ไทย) 3:

Apache รางน้ำเป็นข้อมูลและระบบที่ถูกปรับโดยการช่วยในการไหลของข้อมูลที่เรียกว่าแหล่งที่มาและอ่างล้างมือ ในรางน้ำ แต่ละชิ้นแต่ละข้อมูล ( ทวีต ในกรณีของเรา ) จะเรียกว่าเหตุการณ์ แหล่งผลิตงานและส่งงานผ่านช่องทางที่เชื่อมต่อแหล่งเก็บ อ่างแล้วเขียนเหตุการณ์ออกมาในสถานที่ที่กำหนด รางน้ำรองรับมาตรฐานบางแหล่งข้อมูล เช่น syslog หรือ netcat . ใช้สำหรับกรณีนี้ เราจะต้องออกแบบเองแหล่งที่เข้าถึงสตรีมมิ่ง Twitter API และส่งทวีตผ่านช่องทาง hdfs อ่างที่เขียนไปยังไฟล์ นอกจากนี้เราสามารถใช้เองแหล่งกรองทวีตบนชุดของการค้นหาคำหลักเพื่อช่วยระบุ Tweets ที่เกี่ยวข้องมากกว่าตัวอย่างที่บริสุทธิ์ของ firehose Twitter ทั้งหมด รางน้ำที่กำหนดเองรหัสแหล่งที่มาสามารถพบได้ ที่นี่