3.3 Data ingestion, distribution, a

3.3 Data ingestion, distribution, and lifetime
Figure 2 shows the ingestion path of data into Scuba. Facebook’s
code base contains logging calls to import data into Scuba. As
events occur, these calls are executed and (after weeding out entries based on an optional sampling rate) log entries are written to
Scribe. Scribe is an open-source distributed messaging system for
collecting, aggregating, and delivering high volumes of log data
with low latency. It was developed by and is used extensively at
Facebook [5]. A tailer process then subscribes to the Scribe categories intended for Scuba and sends each batch of new rows to
Scuba via Scuba’s Thrift API. (Thrift [7] is a software library that
implements cross-language RPC communication for any interfaces
defined using it.) These incoming rows completely describe themselves, including their schema.
For each batch of incoming rows, Scuba chooses two leaves at
random and sends the batch to the leaf with more free memory.
The rows for each table thus end up partitioned randomly across all
leaves in the cluster. There are no indexes over any table, although
the rows in each batch have timestamps in a very short time window. (These time windows may overlap between batches, however,
since data is generated on many servers.)
The leaf receiving the batch stores a gzip compressed copy of the
batch file to disk for persistence. It then reads the data for the new
rows, compresses each column, and adds the rows to the table in
memory. The elapsed time from an event occuring until it is stored
in memory and available for user queries is usually within a minute.
Memory (not cpu) is the scarce resoure in Scuba. We currently

ผลลัพธ์ (ไทย) 1:

3.3 ข้อมูลกิน แจกจ่าย และอายุการใช้งานรูปที่ 2 แสดงเส้นทางของข้อมูลที่กินที่ไปดำน้ำ ของ Facebookรหัสพื้นฐานประกอบด้วยโทรศัพท์บันทึกการนำเข้าข้อมูลในดำ เป็นเหตุการณ์ที่เกิดขึ้น โทรศัพท์เหล่านี้จะดำเนินการ และ (หลัง weeding รายการตามอัตราการสุ่มตัวอย่างไม่จำเป็น) เป็นเขียนบันทึกรายการสไครบ์ สไครบ์เป็นการเปิดแหล่งกระจายข้อความระบบรวบรวม รวบรวม และการส่งมอบบันทึกข้อมูลจำนวนมี latency ต่ำ มันได้รับการพัฒนาโดย และใช้อย่างกว้างขวางFacebook [5] Tailer กระบวนการสมัครเป็นสมาชิกประเภทสไครบ์สำหรับดำน้ำ และส่งแต่ละชุดของแถวใหม่ไปแล้วดำน้ำผ่านของดำเกี่ยวกับภัตตาคาร API (เกี่ยวกับภัตตาคาร [7] เป็นซอฟต์แวร์ไลบรารีที่ใช้ติดต่อสื่อสาร RPC ข้ามภาษาสำหรับอินเทอร์เฟซใด ๆกำหนดใช้) แถวเหล่านี้เข้ามาทั้งหมดอธิบายตัวเอง รวมถึงแบบแผนของพวกเขาแต่ละชุดเข้าแถว ดำเลือกใบที่สองที่สุ่ม และส่งชุดใบมีหน่วยความจำเพิ่มเติมแถวสำหรับแต่ละตารางจึงเอยกั้นแบบสุ่มทั้งหมดใบไม้ในคลัสเตอร์ มีดัชนีไม่ผ่านตาราง แม้ว่าแถวในแต่ละชุดมีประทับเวลาในหน้าต่างเวลาที่สั้นมาก (งานเวลาอาจทับซ้อนกันระหว่างชุด อย่างไรก็ตามเนื่องจากข้อมูลถูกสร้างบนเซิร์ฟเวอร์มาก)ใบรับชุดเก็บสำเนา gzip บีบอัดแฟ้มชุดดิสก์มีอยู่ แล้วอ่านข้อมูลสำหรับใหม่แถว บีบแต่ละคอลัมน์ และเพิ่มแถวลงในตารางในหน่วยความจำ เวลาผ่านไปจากเหตุการณ์เกิดขึ้นจนกว่ามันจะถูกเก็บไว้ในหน่วยความจำ และพร้อมใช้งานสำหรับผู้ใช้แบบสอบถามเป็นปกติภายในหนึ่งนาทีหน่วยความจำ (ไม่ cpu) resoure หายากมากขึ้นในการดำน้ำได้ เราอยู่ในขณะนี้

ผลลัพธ์ (ไทย) 2:

3.3
การบริโภคข้อมูลการจัดจำหน่ายและอายุการใช้งานรูปที่2 แสดงให้เห็นถึงเส้นทางการบริโภคของข้อมูลลงในน้ำลึก Facebook
ของฐานรหัสมีการเข้าสู่ระบบการโทรที่จะนำเข้าข้อมูลลงในน้ำลึก เป็นเหตุการณ์ที่เกิดขึ้นเหล่านี้มีสายการดำเนินการและ (หลังจากกำจัดวัชพืชออกรายการขึ้นอยู่กับอัตราการสุ่มตัวอย่างจำเป็น) รายการเข้าสู่ระบบจะมีการเขียนอาลักษณ์ อาลักษณ์เป็นระบบการส่งข้อความมาเปิดกระจายสำหรับการจัดเก็บรวบรวมและส่งมอบปริมาณสูงของข้อมูลเข้าสู่ระบบด้วยlatency ต่ำ มันถูกพัฒนาโดยและมีการใช้อย่างกว้างขวางในFacebook [5] กระบวนการ tailer แล้วสมัครประเภทอาลักษณ์ไว้สำหรับน้ำลึกและส่งในแต่ละชุดของแถวใหม่ในการดำน้ำลึกผ่านทางAPI เจริญเติบโตอย่างรวดเร็วของน้ำลึก (Thrift [7] เป็นห้องสมุดซอฟต์แวร์ที่ใช้ในการติดต่อสื่อสารข้ามภาษาRPC สำหรับการเชื่อมต่อใด ๆที่กำหนดโดยใช้มัน.) แถวที่เข้ามาเหล่านี้อย่างสมบูรณ์บอกว่าตัวเองรวมทั้งคีมาของพวกเขา. สำหรับชุดของแถวที่เข้ามาในแต่ละ, ดำเลือกสองใบที่สุ่มและส่งชุดใบมีหน่วยความจำมากขึ้น. แถวสำหรับแต่ละตารางจึงจบลงด้วยการแบ่งพาร์ติชันแบบสุ่มในทุกใบในคลัสเตอร์ มีดัชนีไม่เกินตารางใด ๆ แม้ว่าแถวในแต่ละชุดมีtimestamps ในหน้าต่างเวลาที่สั้นมาก (หน้าต่างเวลาเหล่านี้อาจทับซ้อนกันระหว่างแบตช์ แต่เนื่องจากข้อมูลจะถูกสร้างขึ้นบนเซิร์ฟเวอร์หลาย.) ใบที่ได้รับร้านค้าชุด gzip บีบอัดสำเนาของแฟ้มแบทช์ไปยังดิสก์สำหรับการติดตา จากนั้นก็อ่านข้อมูลใหม่แถวแต่ละคอลัมน์บีบอัดและเพิ่มแถวในตารางในหน่วยความจำ เวลาที่ผ่านไปจากเหตุการณ์ที่เกิดขึ้นจนกว่าจะมีการจัดเก็บไว้ในหน่วยความจำและพร้อมสำหรับการค้นหาผู้ใช้มักจะภายในหนึ่งนาที. หน่วยความจำ (ไม่ซีพียู) เป็นจัดการทรัพยากรที่หายากในน้ำลึก ขณะนี้เรา

ผลลัพธ์ (ไทย) 3:

3.3 ข้อมูลการบริโภค การกระจาย และชั่วชีวิต
รูปที่ 2 แสดงชนิดของข้อมูลในทางลึก . โค้ดพื้นฐานของ Facebook
ประกอบด้วยบันทึกโทรเพื่อนำเข้าข้อมูลลงดำน้ำ . โดย
เหตุการณ์เกิดขึ้น สายเหล่านี้จะดำเนินการและหลังวัชพืชออกรายการขึ้นอยู่กับการเลือกอัตราการสุ่มตัวอย่าง ) บันทึกรายการเขียน

นักเขียน นักเขียนที่เป็นแหล่งกระจายระบบการส่งข้อความสำหรับ
รวบรวม , รวมกัน ,และส่งมอบปริมาณเข้าสู่ระบบข้อมูล
ที่มีศักยภาพต่ำสูง มันถูกพัฒนาโดยและถูกใช้อย่างกว้างขวางใน
Facebook [ 5 ] กระบวนการ Tailer แล้วสมัครสมาชิกเพื่อนักเขียนประเภทไว้สำหรับการดำน้ำลึก และส่งแต่ละชุดของแถวใหม่

ดำน้ำดำน้ำก็เจริญเติบโตอย่างรวดเร็วผ่านทาง API ( ประหยัด [ 7 ] เป็นห้องสมุดซอฟต์แวร์ที่ใช้ภาษาสื่อสารข้าม
RPC สำหรับการเชื่อมต่อ
นิยามโดยใช้มัน) แถวที่เข้ามาเหล่านี้อย่างสมบูรณ์อธิบายตัวเอง รวมถึงรูปแบบของพวกเขา .
สำหรับแต่ละชุดของแถวที่เข้ามาดำน้ำเลือกสองใบที่
สุ่มและส่งชุดใบไม้กับหน่วยความจำมากขึ้น .
แถวสำหรับแต่ละตารางและลงเอยแบ่งสุ่มข้าม
ใบ ในกลุ่ม ไม่มีดัชนีตารางใด ๆ แม้ว่า
แถวในแต่ละชุดมีการประทับเวลาในหน้าต่างเวลาที่สั้นมาก ( Windows เวลาเหล่านี้อาจทับซ้อนกันระหว่างชุด อย่างไรก็ตาม เนื่องจากข้อมูลจะถูกสร้างขึ้นบนเซิร์ฟเวอร์

หลาย ) ใบรับชุดร้าน gzip บีบอัดสําเนาของแฟ้ม
ชุดดิสก์เพื่อความคงอยู่ มันอ่านข้อมูลในแถวใหม่
, บีบอัดแต่ละคอลัมน์และเพิ่มแถวตารางใน
หน่วยความจำเวลาที่ผ่านไป จากเหตุการณ์ที่เกิดขึ้น จนกว่ามันจะถูกเก็บไว้ในความทรงจำ และพร้อมใช้งานสำหรับการค้นหา
ผู้ใช้มักจะภายในหนึ่งนาที
หน่วยความจำ ( CPU ) เป็นทรัพยากรที่หายากในการดำน้ำ . เราในปัจจุบัน