HDFS. HDFS is a distributed file system designed to run on large clusters of commodity hardware based on Google File System (GFS) [15,16,3]. Shvachko et al. [17, page 1] add
HDFS strengths in their definition when saying it “is designed to store very large datasets reliably, and to stream those datasets at high bandwidth to user applications”. By large, we mean from 10 to 100 GB and above [12,16]. While the interface to HDFS is patterned after the UNIX file system, it trades off some POSIX requirements for performance [17,15,16]. HDFS is dedicated to batch processing rather than interactive use by users [16,12]. In HDFS applications, files are written once and
accessed many times [16,18]; consequently data coherency is ensured and data are accessed in high throughput [16]. With HDFS file system metadata are stored in a dedicated server, the NameNode, and the application data in other servers called
DataNodes. Except for processing large datasets, HDFS has many other goals whose major is to detect and handle failures at the application layer. This objective is realized through a well-organized mechanism of replication where files are divided into blocks. Each block is replicated on a number of datanodes; all the datanodes containing a replica of a block are not located in the same rack.
HDFS HDFS เป็นระบบแฟ้มที่แจกจ่ายเพื่อเรียกใช้บนคลัสเตอร์ขนาดใหญ่ของสินค้าฮาร์ดแวร์ที่ใช้ในแฟ้มระบบ Google (GFS) [15,16,3] เพิ่ม Shvachko ร้อยเอ็ด [17, 1 หน้า]จุดแข็งของ HDFS ในคำนิยามของเมื่อว่า มัน "ถูกออกแบบมา เพื่อจัดเก็บชุดข้อมูลขนาดใหญ่มากได้ การสตรีมที่ datasets ที่แบนด์วิธสูงการใช้งานผู้ใช้" โดยใหญ่ เราเสมอตั้งแต่ 10 100 GB และ มากกว่า [12,16] ในขณะที่อินเตอร์เฟซที่จะ HDFS เป็นลวดลายหลังจากระบบไฟล์ของ UNIX มันเทรดออกข้อกำหนดบางอย่าง POSIX ประสิทธิภาพ [17,15,16] HDFS ทุ่มเทให้ชุดงานใช้การประมวลผล มากกว่าแบบโต้ตอบผู้ใช้ [16,12] ในการใช้งาน HDFS แฟ้มจะถูกเขียนครั้งเดียว และเข้าหลายครั้ง [16,18]; ดังนั้นข้อมูลความมั่นใจ และมีการเข้าถึงข้อมูลในอัตราความเร็วสูง [16] กับข้อมูลเมตาของระบบแฟ้ม HDFS จะถูกเก็บไว้ในเซิร์ฟเวอร์เฉพาะ การ NameNode และข้อมูลโปรแกรมประยุกต์ในเซิร์ฟเวอร์อื่น ๆ เรียกว่าDataNodes ยกเว้นการประมวลผลชุดข้อมูลขนาดใหญ่ HDFS มีเป้าหมายอื่นสำคัญคือการ ตรวจจับ และจัดการกับความล้มเหลวที่มาก วัตถุประสงค์นี้ถูกรับรู้ผ่านกลไกของการจำลองแบบที่ไฟล์จะแบ่งออกเป็นบล็อกดีจัด แต่ละบล็อกจะถูกจำลองแบบบนจำนวน datanodes datanodes ทั้งหมดที่ประกอบด้วยแบบจำลองของบล็อกจะไม่อยู่ในชั้นเดียวกัน
การแปล กรุณารอสักครู่..
hdfs . hdfs เป็นกระจายแฟ้มระบบที่ออกแบบมาเพื่อวิ่งในกลุ่มขนาดใหญ่ของฮาร์ดแวร์สินค้าตามระบบแฟ้ม Google ( GFS ) [ 15,16,3 ] shvachko et al . [ 1 ] เพิ่มหน้า 17hdfs จุดแข็งในความหมายของพวกเขาเมื่อว่ามัน " ถูกออกแบบมาเพื่อเก็บข้อมูลที่มีขนาดใหญ่มาก เชื่อถือได้ และกระแสข้อมูลที่แบนด์วิดธ์สูงในการใช้งาน " ผู้ใช้ โดยขนาดใหญ่ เราหมายถึง จาก 10 เป็น 100 GB ขึ้นไป [ 12,16 ] ในขณะที่อินเตอร์เฟซที่จะ hdfs เป็นลวดลายหลังจากที่ระบบแฟ้ม Unix ก็เทรดจาก POSIX ความต้องการประสิทธิภาพ [ 17,15,16 ] hdfs ทุ่มเทในการประมวลผลมากกว่าจะใช้แบบโต้ตอบโดยผู้ใช้ [ 16,12 ] ใน hdfs การใช้งานไฟล์และเขียนเมื่อเข้าถึงได้หลายครั้ง [ 16,18 ] ; ดังนั้นข้อมูลรับสั่งมั่นใจและข้อมูลที่เข้าถึงได้ในอัตราความเร็วสูง [ 16 ] กับ hdfs เมตาดาต้าไฟล์ระบบจะถูกเก็บไว้ในเซิร์ฟเวอร์ทุ่มเท , namenode และโปรแกรมข้อมูลในเซิร์ฟเวอร์อื่น ๆเรียกว่าdatanodes . ยกเว้นสำหรับการประมวลผลข้อมูลที่มีขนาดใหญ่ hdfs มีหลายอื่น ๆที่มีเป้าหมายหลักคือการตรวจสอบและจัดการกับความล้มเหลวที่ชั้นสมัคร ในครั้งนี้ มีวัตถุประสงค์ คือ ตระหนัก ผ่านกลไกของการจัดที่ไฟล์จะถูกแบ่งเป็นบล็อก แต่ละบล็อกจะถูกนำเกี่ยวกับจำนวนของ datanodes ; ทั้งหมด datanodes ที่มีสำเนาของบล็อกไม่ได้อยู่ในตู้เดียวกัน
การแปล กรุณารอสักครู่..