Spatial Hadoop is gaining popularit

Spatial Hadoop is gaining popularity as a big data platform for processing large volumes of Spatial data. But many real-world applications encounter performance and scalability problems while porting their applications to Spatial Hadoop. One of the main reasons for this is the lack of automatic data partitioning and distribution mechanism on HDFS for Spatial data. Ideas from the previous research on shared nothing models of parallel computing can be applied to the current Hadoop systems to improve the performance and throughput of Spatial applications using HDFS storage. Since the network latency between different nodes of Hadoop are different for different systems (infini band to ethernet), these techniques need to be adopted according to the system.

Current Spatial applications deal with a vast variety of data including Raster, Vector, and real-time sensor data. Storage models for data depend on the type of the data and nature of the application. This talk will present some of the common problems encountered in storing Spatial data on HDFS and offer some initial thoughts on clustering and declustering of data on HDFS for both Raster and Vector data types. The goal of this talk is to start the discussion on the storage models for Hadoop so that the storage can be automatically handled by the Spatial Hadoop systems and leave the application developers to focus on the analysis algorithms.

ผลลัพธ์ (ไทย) 2:

Hadoop เชิงพื้นที่ได้รับความนิยมเป็นแพลตฟอร์มข้อมูลขนาดใหญ่สำหรับการประมวลผลปริมาณข้อมูลขนาดใหญ่เชิงพื้นที่ แต่ส่วนมากการใช้งานจริงของโลกพบปัญหาประสิทธิภาพการทำงานและความยืดหยุ่นในขณะที่การย้ายงานของพวกเขาที่จะอวกาศ Hadoop หนึ่งในเหตุผลหลักสำหรับเรื่องนี้คือการขาดการแบ่งข้อมูลอัตโนมัติและกลไกการกระจายใน HDFS ข้อมูลเชิงพื้นที่ ความคิดจากการวิจัยก่อนหน้านี้ในรูปแบบที่ไม่มีอะไรร่วมกันในการประมวลผลแบบขนานสามารถนำไปใช้ในระบบ Hadoop ปัจจุบันในการปรับปรุงประสิทธิภาพการทำงานและผ่านการใช้งานเชิงพื้นที่โดยใช้การจัดเก็บ HDFS ตั้งแต่แฝงเครือข่ายระหว่างโหนดที่แตกต่างกันของ Hadoop ที่แตกต่างกันสำหรับระบบที่แตกต่างกัน (อินฟินิวงอีเธอร์เน็ต) เทคนิคเหล่านี้จะต้องถูกนำมาใช้ตามระบบ. การใช้งานเชิงพื้นที่ปัจจุบันการจัดการที่มีความหลากหลายมากมายของข้อมูลรวมทั้งแรสเตอร์เวกเตอร์และจริง ข้อมูลเซ็นเซอร์เวลา รูปแบบการจัดเก็บข้อมูลขึ้นอยู่กับประเภทของข้อมูลและลักษณะของการประยุกต์ใช้ พูดคุยนี้จะนำเสนอบางส่วนของปัญหาที่พบบ่อยที่พบในการจัดเก็บข้อมูลเชิงพื้นที่ใน HDFS และมีบางความคิดเริ่มต้นในการจัดกลุ่มและ declustering ของข้อมูลบน HDFS ทั้งแรสเตอร์และเวกเตอร์ชนิดข้อมูล เป้าหมายของการพูดคุยนี้คือการเริ่มต้นการสนทนาในรูปแบบการจัดเก็บข้อมูลสำหรับ Hadoop เพื่อให้การจัดเก็บสามารถจัดการได้โดยอัตโนมัติโดยระบบ Hadoop เชิงพื้นที่และปล่อยให้นักพัฒนาโปรแกรมที่จะมุ่งเน้นการวิเคราะห์ขั้นตอนวิธีการ

ผลลัพธ์ (ไทย) 3:

พื้นที่ Hadoop ดึงดูดความนิยมเป็นใหญ่ข้อมูลแพลตฟอร์มสำหรับการประมวลผลปริมาณมากของข้อมูลเชิงพื้นที่ แต่การใช้งานจริงหลายคนพบปัญหาประสิทธิภาพและ scalability ในขณะที่พอร์ตการประยุกต์ใช้ในพื้นที่ Hadoop . หนึ่งในเหตุผลหลักนี้คือการขาดของข้อมูลอัตโนมัติและกลไกในการกระจาย hdfs สำหรับข้อมูลเชิงพื้นที่ข้อคิดจากงานวิจัยก่อนหน้านี้ที่ใช้ร่วมกันไม่มีรูปแบบของการคำนวณแบบขนานที่สามารถใช้กับระบบ Hadoop ในปัจจุบันเพื่อปรับปรุงประสิทธิภาพและ throughput ของโปรแกรมประยุกต์เชิงพื้นที่โดยใช้กระเป๋า hdfs . เนื่องจากเครือข่ายความล่าช้าระหว่างโหนดที่แตกต่างกันจะแตกต่างกันสำหรับระบบที่แตกต่างกันของ Hadoop ( นฟินิวงดนตรีเพื่อ Ethernet ) , เทคนิคเหล่านี้ต้องถูกนำมาใช้ตามระบบ .

ปัจจุบันโปรแกรมสำหรับจัดการกับความหลากหลายมากมายของข้อมูลรวมทั้ง raster , เวกเตอร์ , และเซ็นเซอร์แบบเรียลไทม์ รูปแบบการเก็บข้อมูลขึ้นอยู่กับชนิดของข้อมูลและลักษณะของโปรแกรมพูดคุยนี้จะนำเสนอบางส่วนของปัญหาทั่วไปที่พบในการจัดเก็บข้อมูลเชิงพื้นที่และ hdfs เสนอเริ่มต้นความคิดเกี่ยวกับการจัดกลุ่มของข้อมูล และ declustering hdfs ทั้งราสเตอร์และเวกเตอร์รูปแบบข้อมูลเป้าหมายของการพูดคุยนี้ เพื่อเริ่มการสนทนาบนกระเป๋าแบบจำลองสำหรับ Hadoop เพื่อให้กระเป๋าได้โดยอัตโนมัติจัดการโดยระบบ Hadoop เชิงพื้นที่และปล่อยให้โปรแกรมนักพัฒนาเพื่อมุ่งเน้นการวิเคราะห์ขั้นตอนวิธี