Distribution assuranceThis stage ha

Distribution assurance
This stage has three components. Load Balancing, Moving SIPs to their primary destination and unpacking them.
Load balancing Having ingested the volume directory metadata the system is now primed to expect the SIPs of data that makeup that file system. The selection of the primary storage of the data is the first task of the loadbalancer. It allocates a storage server to hold the data held within the SIP and records this in the FCluster inodes table. Allocation is based on the available capacity of the host, its processing power and its estimated time to finish its current task list.
The movefile daemon
The move file daemon also uses “checklist” type assurance by constantly scanning the inodes table of FClusterfs
for any SIP that has been allocated a data node, not been marked as being ‘in place’ and where the evidence SIP is
staged in a local directory. If these conditions are met the SIP is transferred to the storage datanode as allocated by the load balancer. If, and only if, the transfer is successful does move data update the inode table with ‘primarystorageinplace’ set to true. Move data is the only mechanism whereby actual data can be moved around the system. It can only operate when all the preconditions from Ingestion Assurance are met. It does not simply scan an evidence folder and move whatever SIPs are present; it moves only expected SIPs, as recorded in the FCluster inodes table, from a folder.
The unpack daemon Unpacker daemon constantly scans the inodes table to see if there are any SIPs that are on their local server but not unpacked. It takes the entry from the database and looks to see if the files are on its ftp host, as should be the case from the entries in inodes, not the other way round. A file that simply arrives on the server without an entry in inodes would be ignored. When a suitable SIP is identified it is split into header and data sections. The header, containing the metadata is inserted into the ‘meta_data’ table and the header file erased. The data section is undecoded and the data decrypted with a key stored in the VolumeListing table. This was the key first created and issued by the FCluster and used to encrypt the data in the SIP at acquisition time. If the key does not work, the file cannot be decrypted and so unpacking would fail. Only if the file decrypts and the resulting file has an SHA1 checksum that matches both the name of the file itself and the SHA1 as recorded in the inodes table is the datafile finally accepted.
Processing assurance
The task daemon scans the tasks table to see if any job is required for a file that it holds locally. Because all file access must take place by utilising the enhanced FClusterfs filesystem the file must be the correct file and must have the original content that was collected at imaging time. FClusterfs also gives us fine grained access control to the files within a file system. We could, if we wished, control which users can process specific data with specific programs.

ผลลัพธ์ (ไทย) 1:

รับรองกระจายขั้นตอนนี้มีส่วนประกอบ 3 โหลด Balancing, SIPs ย้ายปลายทางหลักและแยกไปโหลดสมดุลมีกินข้อมูลเมตาไดเรกทอรีไดรฟ์ข้อมูลระบบเป็นงเยียคาด SIPs ของข้อมูลการแต่งหน้าที่ระบบแฟ้มเดี๋ยวนี้ การเลือกเก็บข้อมูลหลักของข้อมูลเป็นงานแรกของ loadbalancer มันเก็บเซิร์ฟเวอร์เพื่อเก็บข้อมูลที่ขึ้นภายในสิบจัดสรร และระเบียนนี้ในตาราง inodes FCluster การปันส่วนจะขึ้นอยู่กับกำลังการผลิตว่างของโฮสต์ กำลังประมวลผล และเวลาโดยประมาณเพื่อสิ้นสุดของรายการงานปัจจุบัน มอน movefileย้ายแฟ้มมารใช้ประกันชนิด "ตรวจสอบ" ด้วยการสแกนตาราง inodes ของ FClusterfs ตลอดเวลาสิบใด ๆ ที่ได้รับการจัดสรรข้อมูลโหน ไม่ทำเครื่องหมายเป็น 'ใน' และที่หลักสิบเป็นจัดในไดเรกทอรีภายในเครื่อง ถ้าเป็นไปตามเงื่อนไขเหล่านี้ สิบจะโอนย้ายไป datanode เก็บเป็นจัดสรร โดยสมดุล ถ้า และเท่านั้น การโอนย้ายเสร็จไม่ย้ายข้อมูลปรับปรุง inode ตาราง 'primarystorageinplace' การตั้งค่าเป็น true ย้ายข้อมูลเป็นกลไกเฉพาะที่โดยข้อมูลจริงสามารถย้ายไปรอบ ๆ ระบบ มันเท่านั้นสามารถใช้เมื่อตรงตามเงื่อนไขเบื้องต้นจากประกันกิน มันไม่เพียงแค่สแกนโฟลเดอร์ที่มีหลักฐาน และย้ายสิ่ง SIPs อยู่ มันย้ายเฉพาะคาด SIPs ตามที่บันทึกไว้ใน FCluster inodes ตาราง จากโฟลเดอร์นั้นดีมอน Unpacker มอนขณะแยกตลอดเวลาสแกนตาราง inodes เพื่อดูว่า มีใด ๆ SIPs ที่อยู่บนเซิร์ฟเวอร์ภายในของพวกเขา แต่ไม่แยก ใช้รายการจากฐานข้อมูล และจะพิจารณาดูถ้าแฟ้มอยู่บนโฮสต์ของ ftp เท่าที่ควรเป็นกรณีที่รายการใน inodes ไม่วิธีอื่น ๆ รอบ ไฟล์ที่ก็มาถึงบนเซิร์ฟเวอร์โดยไม่มีรายการใน inodes จะถูกละเว้น เมื่อระบุจิบเหมาะ จะถูกแบ่งออกเป็นหัวข้อและข้อมูล หัวข้อ ประกอบด้วยข้อมูลเมตาถูกแทรกลงในตาราง 'meta_data' และลบแฟ้มหัวข้อ ส่วนข้อมูลเป็น undecoded และเก็บข้อมูลที่ถอดรหัส ด้วยคีย์ในตาราง VolumeListing นี้คือคีย์ก่อนสร้าง และออก โดย FCluster และใช้การเข้ารหัสข้อมูลในสิบที่เวลาซื้อ ถ้าคีย์การทำงาน แฟ้มไม่สามารถถอดรหัส และแยกเพื่อ จะล้มเหลว เมื่อ decrypts แฟ้ม และแฟ้มผลลัพธ์มีการ checksum SHA1 ที่ตรงกับทั้งชื่อของแฟ้มเอง และ SHA1 ตามที่บันทึกไว้ในตาราง inodes เป็นแฟ้มข้อมูลที่ยอมรับในที่สุดประมวลผลการรับรองดีมอนงานสแกนตารางงานเพื่อดูว่างานใดจำเป็นสำหรับแฟ้มที่จัดเก็บในท้องถิ่น เนื่องจากการเข้าถึงแฟ้มทั้งหมดต้องใช้ สถานที่ โดยระบบแฟ้ม FClusterfs การปรับแฟ้มโดยต้องเป็นแฟ้มถูกต้อง และต้องมีเนื้อหาต้นฉบับที่รวบรวมไว้ในภาพเวลา FClusterfs ยังช่วยให้เราควบคุมปรับ grained แฟ้มในระบบแฟ้ม เราสามารถ ถ้าเราปรารถนา ควบคุมผู้ที่สามารถประมวลผลข้อมูลเฉพาะโปรแกรมที่ระบุ

ผลลัพธ์ (ไทย) 2:

การประกันการกระจายขั้นตอนนี้มีสามองค์ประกอบ สมดุลภาระ SIPs ย้ายไปยังปลายทางหลักของพวกเขาและการเอาออกพวกเขา.
สมดุลภาระต้องกินไดเรกทอรีปริมาณ metadata ระบบมีการจัดเตรียมไว้ในขณะนี้คาดหวัง SIPs ข้อมูลแต่งหน้าว่าระบบแฟ้ม เลือกจัดเก็บข้อมูลหลักของข้อมูลที่เป็นงานแรกของ loadbalancer มันจัดสรรเซิร์ฟเวอร์จัดเก็บข้อมูลเพื่อเก็บข้อมูลที่จัดขึ้นภายใน SIP และบันทึกนี้ใน FCluster ตาราง inodes การจัดสรรจะขึ้นอยู่กับความจุของโฮสต์พลังการประมวลผลและเวลาโดยประมาณที่จะจบรายการงานในปัจจุบัน.
ภูต movefile
ภูตไฟล์ย้ายยังใช้ "รายการตรวจสอบ" การประกันประเภทอย่างต่อเนื่องโดยการสแกนตาราง inodes ของ FClusterfs
สำหรับ SIP ใด ๆ ที่ได้รับการจัดสรรโหนดข้อมูลที่ไม่ถูกทำเครื่องหมายว่าเป็น 'ในสถานที่และที่ SIP
หลักฐานที่มีการจัดฉากในไดเรกทอรีท้องถิ่น ถ้าเงื่อนไขเหล่านี้จะได้พบกับ SIP จะถูกโอนไป datanode การจัดเก็บข้อมูลตามที่จัดสรรโดย balancer โหลด ถ้าและเฉพาะในกรณีการโอนจะประสบความสำเร็จไม่ย้ายข้อมูลปรับปรุงตาราง inode กับ 'primarystorageinplace' ตั้งค่าเป็นจริง ย้ายข้อมูลที่เป็นกลไกโดยเฉพาะข้อมูลที่แท้จริงสามารถย้ายไปรอบระบบ มันสามารถทำงานได้เมื่อปัจจัยพื้นฐานทั้งหมดจากการประกันการกลืนกินจะได้พบกับ มันไม่เพียงแค่สแกนโฟลเดอร์หลักฐานและย้ายสิ่ง SIPs ที่มีอยู่; มันย้าย SIPs คาดว่าเท่านั้นที่บันทึกไว้ในตาราง FCluster inodes จากโฟลเดอร์.
แกะภูตภูต Unpacker อย่างต่อเนื่องสแกนตาราง inodes เพื่อดูว่ามี SIPs ใด ๆ ที่อยู่บนเซิร์ฟเวอร์ในท้องถิ่นของตน แต่ไม่แตก มันต้องใช้เวลาเข้าจากฐานข้อมูลและดูเพื่อดูว่าไฟล์ที่อยู่บนโฮสต์ FTP ที่ของตนตามที่ควรจะเป็นกรณีจากรายการใน inodes ไม่รอบทางอื่น ๆ ไฟล์ที่ก็มาถึงในเซิร์ฟเวอร์โดยไม่ต้องรายการใน inodes จะถูกละเว้น เมื่อ SIP ที่เหมาะสมจะถูกระบุว่ามันถูกแบ่งออกเป็นส่วนหัวและส่วนข้อมูล ส่วนหัวที่มีเมตาดาต้าถูกแทรกลงใน 'meta_data' ตารางและไฟล์ส่วนหัวลบ ส่วนข้อมูลจะถูก undecoded และข้อมูลที่ถอดรหัสด้วยกุญแจที่เก็บไว้ในตาราง VolumeListing นี่คือกุญแจสำคัญในการสร้างครั้งแรกและออกโดย FCluster และใช้การเข้ารหัสข้อมูลใน SIP ได้ตลอดเวลาการเข้าซื้อกิจการ ถ้าคีย์ไม่ทำงานไฟล์ไม่สามารถถอดรหัสและอื่น ๆ เอาออกจะล้มเหลว เฉพาะในกรณีที่ไฟล์ถอดรหัสและแฟ้มผลมีการตรวจสอบ SHA1 ที่ตรงกับทั้งชื่อของไฟล์เองและ SHA1 ที่บันทึกไว้ในตาราง inodes ที่เป็น datafile ได้รับการยอมรับในที่สุด. ประกันการประมวลผลภูตงานสแกนตารางงานเพื่อดูว่างานเป็นสิ่งจำเป็นสำหรับแฟ้มที่มันถือบนเครื่อง เพราะการเข้าถึงไฟล์ทั้งหมดจะต้องเกิดขึ้นโดยใช้ FClusterfs เพิ่มระบบแฟ้มไฟล์จะต้องเป็นไฟล์ที่ถูกต้องและต้องมีเนื้อหาเดิมที่ถูกเก็บรวบรวมในช่วงเวลาการถ่ายภาพ FClusterfs ยังช่วยให้เราควบคุมการเข้าถึงเนื้อไปยังไฟล์ในระบบไฟล์ เราสามารถถ้าเราอยากควบคุมซึ่งผู้ใช้สามารถประมวลผลข้อมูลที่เฉพาะเจาะจงกับโปรแกรมเฉพาะ

ผลลัพธ์ (ไทย) 3:

ประกันจำหน่ายเวที มี 3 องค์ประกอบ สมดุลโหลดไปจิบไปปลายทางหลักของพวกเขาและเปิดออก พวกเขามีการบริโภคปริมาณไดเรกทอรี
สมดุลของระบบคือตอนนี้พร้อมจะ sips ของข้อมูล การแต่งหน้าที่ระบบแฟ้มโหลด การจัดเก็บข้อมูลเป็นหลักของงานแรกของโหลดบาลานเซอร์ .จะจัดสรรการจัดเก็บเซิร์ฟเวอร์เพื่อเก็บข้อมูลที่จัดขึ้นภายในจิบและบันทึกนี้ใน fcluster inodes ตาราง การจัดสรรตามความสามารถที่มีอยู่ของโฮสต์ พลังของการประมวลผลและเวลาโดยประมาณที่จะเสร็จสิ้นรายการของงานปัจจุบัน

ย้ายไฟล์ย้ายไฟล์เดมอนเดมอนยังใช้ " ตรวจสอบ " ประเภทประกันโดยอย่างต่อเนื่องสแกนตาราง inodes ของ fclusterfs
สำหรับการใด ๆ SIP ที่ได้รับจัดสรรโหนดข้อมูลไม่ได้ถูกทำเครื่องหมายเป็น ' ใน ' และที่หลักฐานจิบเป็น
staged ในไดเรกทอรีท้องถิ่น ถ้าเงื่อนไขเหล่านี้จะพบจิบจะถูกโอนไปยังกระเป๋า datanode ที่จัดสรรโดยโหลดสมดุล . ถ้าและเพียงถ้า โอนย้ายสำเร็จแล้วข้อมูลไป update ตารางไอโหนด ' primarystorageinplace ' การตั้งค่าที่แท้จริงข้อมูลย้ายเป็นกลไกโดยที่ข้อมูลที่แท้จริงเท่านั้นที่สามารถย้ายไปรอบ ๆ ระบบ มันสามารถใช้เมื่อทั้งหมด preconditions จากการกลืนกิน รับรองได้ มันไม่เพียงสแกนหลักฐานโฟลเดอร์และย้ายที่จิบอยู่ มันย้ายที่คาดหวังแค่จิบ ตามที่บันทึกไว้ใน fcluster inodes โต๊ะ
จากโฟลเดอร์แกะ unpacker ภูตภูตอย่างต่อเนื่องสแกน inodes ตารางเพื่อดูว่ามีจิบที่บนเซิร์ฟเวอร์ท้องถิ่นของตน แต่ไม่แตก ใช้รายการจากฐานข้อมูล และดูว่าไฟล์ที่อยู่ใน ftp โฮสต์ ควรเป็นกรณีจากรายการใน inodes ไม่วิธีอื่น ๆรอบ ไฟล์นั้นก็มาถึงบนเซิร์ฟเวอร์ไม่มีรายการใน inodes จะถูกละเว้นเมื่อจิบเหมาะระบุมันแบ่งเป็นส่วนหัวและข้อมูลส่วน ส่วนหัวที่มีข้อมูลที่ถูกแทรกลงใน ' ตาราง meta_data ' และส่วนหัวของไฟล์ลบ ข้อมูลส่วนที่เป็นข้อมูล undecoded และถอดรหัสด้วยกุญแจเก็บไว้ใน volumelisting ตารางนี้เป็นกุญแจสำคัญ ก่อนสร้าง และออกโดย fcluster และใช้เพื่อเข้ารหัสข้อมูลในจิบเวลาเข้า ถ้าคีย์ไม่ทำงาน ไม่สามารถถูกถอดรหัสไฟล์และการเปิดออกจะล้มเหลว แต่ถ้าไฟล์ถอดรหัสและไฟล์ที่เกิดมีการ sha1 ที่ตรงกับทั้งชื่อของแฟ้มเอง และ sha1 เป็นบันทึกไว้ใน inodes โต๊ะเป็นดาตาไฟล์
ยอมรับในที่สุดการประมวลผลการประกัน
งานภูตสแกนงานตารางเพื่อดูถ้างานใด ๆเป็นสิ่งจำเป็นสำหรับแฟ้มที่ถืออยู่ภายใน เพราะการเข้าถึงไฟล์ทั้งหมดจะต้องใช้สถานที่ โดยใช้ fclusterfs ปรับปรุงระบบแฟ้มแฟ้มจะต้องเป็นแฟ้มที่ถูกต้องและต้องมีต้นฉบับเนื้อหาที่รวบรวมเวลาที่ถ่ายภาพ