Before we can query the data, we ne

Before we can query the data, we need to ensure that the Hive table can properly interpret the JSON data. By default, Hive expects that input files use a delimited row format, but our Twitter data is in a JSON format, which will not work with the defaults. This is actually one of Hive’s biggest strengths. Hive allows us to flexibly define, and redefine, how the data is represented on disk. The schema is only really enforced when we read the data, and we can use the Hive SerDe interface to specify how to interpret what we’ve loaded.

SerDe stands for Serializer and Deserializer, which are interfaces that tell Hive how it should translate the data into something that Hive can process. In particular, the Deserializer interface is used when we read data off of disk, and converts the data into objects that Hive knows how to manipulate. We can write a custom SerDe that reads the JSON data in and translates the objects for Hive. Once that’s put into place, we can start querying. The JSON SerDe code can be found here. The SerDe will take a tweet in JSON form, like the following:

ผลลัพธ์ (ไทย) 1:

ก่อนเราสามารถสอบถามข้อมูล เราจำเป็นต้องให้แน่ใจว่า ตารางกลุ่มสามารถค้นข้อมูล JSON โดยค่าเริ่มต้น กลุ่มคาดว่า ใส่ไฟล์ที่ใช้รูปแบบแถวคั่น แต่ข้อมูล Twitter ของเราอยู่ในรูปแบบ JSON ซึ่งจะไม่ทำงาน ด้วยค่าเริ่มต้น นี้เป็นจริงหนึ่งในจุดแข็งที่ใหญ่ที่สุดของกลุ่ม กลุ่มช่วยให้ เราสามารถกำหนด กำหนด วิธีแสดงข้อมูลบนดิสก์ แบบแผนมีการบังคับใช้เท่านั้นจริง ๆ เมื่อเราอ่านข้อมูล และเราสามารถใช้อินเทอร์เฟซ SerDe ไฮฟ์เพื่อระบุวิธีการแปลสิ่งที่เราเคยโหลดSerDe หมายถึงตัวทำซีเรียลไลซ์และดีซีเรียลไลเซอร์ ซึ่งเป็นอินเทอร์เฟซที่บอกว่า ควรแปลกลุ่มข้อมูลเป็นสิ่งที่กลุ่มสามารถประมวลผล โดยเฉพาะ อินเตอร์เฟซดีซีเรียลไลเซอร์จะใช้เมื่อเราอ่านข้อมูลจากดิสก์ และแปลงข้อมูลเป็นวัตถุที่กลุ่มรู้วิธีการจัดการ เราสามารถเขียน SerDe แบบกำหนดเองที่อ่านข้อมูล JSON ใน และแปลวัตถุสำหรับกลุ่ม เมื่อที่อยู่ในสถานที่ เราสามารถเริ่มทำแบบสอบถาม รหัส JSON SerDe ได้ที่นี่ SerDe จะทวีในรูปแบบ JSON ดังต่อไปนี้:

ผลลัพธ์ (ไทย) 2:

ก่อนที่เราจะสามารถสอบถามข้อมูลที่เราต้องให้แน่ใจว่าตาราง Hive อย่างถูกต้องสามารถตีความข้อมูล JSON โดยค่าเริ่มต้น Hive คาดว่าใส่ไฟล์ใช้รูปแบบแถวคั่น แต่ข้อมูล Twitter ของเราอยู่ในรูปแบบ JSON ซึ่งจะไม่ทำงานกับค่าเริ่มต้น นี้เป็นจริงหนึ่งในจุดแข็งที่ใหญ่ที่สุดลมพิษ ไฮฟ์ช่วยให้เรามีความยืดหยุ่นกำหนดและ redefine วิธีการแสดงข้อมูลบนดิสก์ คีมาเป็นเพียงการบังคับใช้จริงๆเมื่อเราอ่านข้อมูลและเราสามารถใช้อินเตอร์เฟซไฮฟ์ SerDe เพื่อระบุวิธีการตีความสิ่งที่เราได้โหลด. SerDe ย่อมาจาก Serializer และ deserializer ซึ่งเป็นอินเตอร์เฟซที่บอก Hive ว่ามันควรจะแปลข้อมูล เป็นสิ่งที่สามารถประมวลผลไฮฟ์ โดยเฉพาะอย่างยิ่งอินเตอร์เฟซ deserializer ใช้เมื่อเราอ่านข้อมูลจากดิสก์และแปลงข้อมูลลงในวัตถุที่ Hive รู้วิธีที่จะจัดการกับ เราสามารถเขียน SerDe ที่กำหนดเองที่อ่านข้อมูล JSON ในและแปลวัตถุสำหรับไฮฟ์ หลังจากที่ใส่ลงไปในสถานที่ที่เราสามารถเริ่มต้นการสอบถาม รหัส JSON SerDe สามารถพบได้ที่นี่ SerDe จะใช้เวลาทวีตในรูปแบบ JSON เช่นต่อไปนี้: