4 TAO ArchitectureIn this section w

4 TAO Architecture
In this section we describe the units that make up TAO,
and the multiple layers of aggregation that allow it to
scale across data centers and geographic regions. TAO
is separated into two caching layers and a storage layer
4.1 Storage Layer
Objects and associations were stored in MySQL at Facebook even before TAO was built; it was the backing store for the original PHP implementation of the API. This
made it the natural choice for TAO’s persistent storage.
The TAO API is mapped to a small set of simple
SQL queries, but it could also be mapped efficiently to
range scans in a non-SQL data storage system such as
LevelDB [3] by explicitly maintaining the required indexes.
When evaluating the suitability of a backing store
for TAO, however, it is important to consider the data
accesses that don’t use the API. These include backups,
bulk import and deletion of data, bulk migrations
from one data format to another, replica creation, asynchronous replication, consistency monitoring tools, and
operational debugging. An alternate store would also
have to provide atomic write transactions, efficient granular
writes, and few latency outliers.
Given that TAO needs to handle a far larger volume of
data than can be stored on a single MySQL server, we
divide data into logical shards. Each shard is contained
in a logical database. Database servers are responsible
for one or more shards. In practice, the number of shards
far exceeds the number of servers; we tune the shard to
server mapping to balance load across different hosts. By
default all object types are stored in one table, and all
association types in another.
Each object id contains an embedded shard id that
identifies its hosting shard. Objects are bound to a shard
for their entire lifetime. An association is stored on the
shard of its id1, so that every association query can be
served from a single server. Two ids are unlikely to map
to the same server unless they were explicitly colocated
at creation time.
4.2 Caching Layer
TAO’s cache implements the complete API for clients,
handling all communication with databases. The caching
layer consists of multiple cache servers that together
form a tier. A tier is collectively capable of responding to
any TAO request. (We also refer to the set of databases
in one region as a tier.) Each request maps to a single
cache server using a sharding scheme similar to the one
described in § 4.1. There is no requirement that tiers have
the same number of hosts.
Clients issue requests directly to the appropriate cache
server, which is then responsible for completing the read or write. For cache misses and write requests, the server
contacts other caches and/or databases.
The TAO in-memory cache contains objects, association
lists, and association counts. We fill the cache on
demand and evict items using a least recently used (LRU)
policy. Cache servers understand the semantics of their
contents and use them to answer queries even if the exact
query has not been previously processed, e.g. a cached
count of zero is sufficient to answer a range query.
Write operations on an association with an inverse
may involve two shards, since the forward edge is stored
on the shard for id1 and the inverse edge is on the shard
for id2. The tier member that receives the query from
the client issues an RPC call to the member hosting id2,
which will contact the database to create the inverse association.
Once the inverse write is complete, the caching
server issues a write to the database for id1. TAO does
not provide atomicity between the two updates. If a
failure occurs the forward may exist without an inverse;
these hanging associations are scheduled for repair by an
asynchronous job.

ผลลัพธ์ (ไทย) 1:

เต่า 4 สถาปัตยกรรมในส่วนนี้ เราอธิบายหน่วยที่สร้างเต่าและหลายชั้นของการรวมกลุ่มที่อนุญาตให้ขนาดศูนย์ข้อมูลและขอบเขตทางภูมิศาสตร์ เต่าแบ่งออกเป็นสองชั้นแคและชั้นเก็บ4.1 ชั้นเก็บวัตถุและการเชื่อมโยงถูกเก็บไว้ใน MySQL ที่ Facebook ก่อนสร้างเต่า เก็บสำรองสำหรับการใช้งาน PHP ฉบับของ API ได้ นี้ทำให้ทางเลือกธรรมชาติสำหรับเต่าส่วนจัดเก็บAPI เต่าถูกแมปชุดเล็ก ๆ เรียบง่ายแบบสอบถาม SQL แต่อาจยังถูกแมปไปอย่างมีประสิทธิภาพช่วงการสแกนในระบบจัดเก็บข้อมูลไม่ใช่-SQL เช่นLevelDB [3] โดยการเก็บดัชนีต้องชัดเจนเมื่อประเมินความเหมาะสมของการจัดเก็บสำรองสำหรับเต่า อย่างไรก็ตาม มันจำเป็นต้องพิจารณาข้อมูลหาที่ไม่ได้ใช้ API การ ได้แก่การสำรองข้อมูลนำเข้าจำนวนมากและการลบข้อมูล ตั้งจำนวนมากจากรูปแบบของข้อมูลหนึ่งไปยังอีก สร้างแบบจำลอง จำลองแบบอะซิงโครนัส เครื่องมือ การตรวจสอบความสอดคล้อง และปฏิบัติการดีบัก ร้านค้าอื่นจะยังมีให้เขียนอะตอมธุรกรรม ประสิทธิภาพ granularการเขียน และ outliers แฝงบางกำหนดให้เต่าต้องจัดการจำนวนมากเกินกว่าไกลข้อมูลมากกว่าสามารถจัดเก็บในเซิร์ฟเวอร์ MySQL เดียว เราแบ่งข้อมูลออกเป็นลอจิคัล shards ประกอบด้วยชาร์ดแต่ละในฐานข้อมูลเชิงตรรกะ เซิร์ฟเวอร์ฐานข้อมูลต้องรับผิดชอบสำหรับเศษภาชนะ หนึ่ง ในทางปฏิบัติ จำนวนเศษภาชนะไกลเกินจำนวนเซิร์ฟเวอร์ เราปรับชาร์ดเพื่อเซิร์ฟเวอร์การแม็ปกับสมดุลการโหลดระหว่างโฮสต์ที่แตกต่างกัน โดยเริ่มต้นที่วัตถุทุกชนิดจะถูกเก็บในตารางหนึ่ง และทั้งหมดชนิดการเชื่อมโยงอีกแต่ละรหัสออบเจ็กต์ประกอบด้วยรหัสฝังตัวชาร์ดที่ระบุชาร์ดของโฮสต์ วัตถุที่ถูกผูกไว้กับชาร์ดสำหรับชีวิตของพวกเขาทั้งหมด การเชื่อมโยงถูกเก็บไว้ในชาร์ดของ id1 เพื่อให้ได้แบบสอบถามทุกสมาคมให้บริการลง ไม่ต้องมีรหัสสองไปยังเซิร์ฟเวอร์เดียวกันเว้นแต่พวก colocated อย่างชัดเจนสร้างครั้ง4.2 แคชั้นแคเต่าใช้ API ที่สมบูรณ์แบบสำหรับลูกค้าการจัดการการสื่อสารกับฐานข้อมูลทั้งหมด การแคชชั้นประกอบด้วยเซิร์ฟเวอร์แคชหลายที่ด้วยกันรูปแบบระดับ ระดับคือโดยรวมสามารถตอบสนองคำขอใด ๆ เต่า (เราหมายถึงชุดของฐานข้อมูลในภูมิภาคหนึ่งเป็นระดับ) ร้องขอแต่ละแมปไปเดียวใช้แบบ sharding คล้ายกับเซิร์ฟเวอร์แคชอธิบายในอัตรา 4.1 มีข้อกำหนดที่ระดับได้หมายเลขเดียวกันของโฮสต์ลูกค้าออกร้องขอโดยตรงให้แคที่เหมาะสมเซิร์ฟเวอร์ ซึ่งจะรับผิดชอบการดำเนินการอ่านหรือเขียน สำหรับแคชพุ่ง และเขียนคำขอ เซิร์ฟเวอร์ติดต่อกันมมาก หรือฐานข้อมูลเต่าในหน่วยความจำแคชประกอบด้วยวัตถุ สมาคมรายการ และการตรวจนับความสัมพันธ์ เราเติมแคชในความต้องการ และขับไล่ใช้ (LRU) ใช้น้อยล่าสุดนโยบายการ แคชเซิร์ฟเวอร์เข้าใจความหมายของพวกเขาเนื้อหา และสามารถตอบคำถามได้ตรงแบบสอบถามไม่ถูกก่อนหน้านี้ประมวลผล เช่นการแคชจำนวนศูนย์เพียงพอที่จะตอบแบบสอบถามช่วงเขียนการดำเนินการในความสัมพันธ์กับการผกผันอาจเกี่ยวข้องกับเศษภาชนะสอง ตั้งแต่เก็บขอบไปข้างหน้าบนชาร์ด id1 และขอบผกผันอยู่ชาร์ดสำหรับ id2 สมาชิกชั้นที่ได้รับแบบสอบถามจากไคลเอนต์ออกการเรียก RPC สมาชิก id2 โฮสติ้งซึ่งจะติดต่อฐานข้อมูลเพื่อสร้างความสัมพันธ์ที่ผกผันเมื่อเขียนผกผันสมบูรณ์ การแคชเซิร์ฟเวอร์ปัญหาการเขียนไปยังฐานข้อมูลสำหรับ id1 เต่าไม่ไม่ให้ atomicity ระหว่างการปรับปรุงที่สอง ถ้าเป็นความล้มเหลวเกิดขึ้นไปข้างหน้าอาจมีอยู่ โดยไม่มีการผกผันเหล่านี้แขวนสมาคมจัดกำหนดการสำหรับการซ่อมแซมโดยการงานแบบอะซิงโครนัส

ผลลัพธ์ (ไทย) 2:

4 TAO
สถาปัตยกรรมในส่วนนี้เราจะอธิบายหน่วยที่ทำขึ้นTAO, และหลายชั้นของการรวมตัวที่อนุญาตให้ขนาดทั่วศูนย์ข้อมูลและภูมิภาค อบแยกออกเป็นสองชั้นแคชและชั้นจัดเก็บ4.1 การจัดเก็บข้อมูลชั้นวัตถุและสมาคมที่ถูกเก็บไว้ในMySQL ที่ Facebook แม้กระทั่งก่อนที่อบตถูกสร้างขึ้น; มันเป็นที่เก็บสำรองสำหรับ PHP เดิมการดำเนินงานของเอพีไอ นี้ทำให้มันเป็นทางเลือกที่เป็นธรรมชาติสำหรับการจัดเก็บข้อมูลถาวรของอบต. เต่า API ถูกแมปไปชุดเล็ก ๆ ของง่ายแบบสอบถามSQL แต่มันอาจจะมีการแมปอย่างมีประสิทธิภาพเพื่อช่วงสแกนในระบบการจัดเก็บข้อมูลที่ไม่ใช่ SQL เช่น LevelDB [3] โดย การรักษาอย่างชัดเจนดัชนีที่จำเป็น. เมื่อประเมินความเหมาะสมของการจัดเก็บสำรองสำหรับ TAO แต่มันเป็นสิ่งสำคัญที่จะต้องพิจารณาข้อมูลการเข้าถึงที่ไม่ได้ใช้API เหล่านี้รวมถึงการสำรองข้อมูลนำเข้าจำนวนมากและการลบข้อมูลการอพยพจำนวนมากจากรูปแบบข้อมูลที่หนึ่งไปยังอีกการสร้างแบบจำลองการจำลองแบบไม่ตรงกันเครื่องมือการตรวจสอบความสอดคล้องและแก้จุดบกพร่องในการดำเนินงาน ร้านค้าอื่นก็จะต้องให้การทำธุรกรรมการเขียนอะตอมที่มีประสิทธิภาพเม็ดเขียนและค่าผิดปกติแฝงไม่กี่. ระบุว่า TAO ต้องการที่จะจัดการกับปริมาณขนาดใหญ่สุดของข้อมูลกว่าสามารถเก็บไว้ในเซิร์ฟเวอร์MySQL เดียวเราแบ่งข้อมูลลงในเศษตรรกะ ที่แตกออกมาแต่ละคนมีอยู่ในฐานข้อมูลเชิงตรรกะ เซิร์ฟเวอร์ฐานข้อมูลมีความรับผิดชอบอย่างใดอย่างหนึ่งหรือมากกว่าเศษ ในทางปฏิบัติจำนวนเศษไกลเกินกว่าจำนวนของเซิร์ฟเวอร์นั้น เราปรับแต่งที่แตกออกไปทำแผนที่เซิร์ฟเวอร์เพื่อความสมดุลโหลดทั่วครอบครัวที่แตกต่าง โดยเริ่มต้นทุกประเภทวัตถุที่ถูกเก็บไว้ในตารางหนึ่งและทุกประเภทของสมาคมในอีก. รหัสวัตถุแต่ละคนมีรหัสที่แตกออกมาฝังตัวที่ระบุเศษโฮสติ้ง วัตถุที่ถูกผูกไว้กับเศษสำหรับชีวิตของพวกเขาทั้ง สมาคมจะถูกเก็บไว้ในเศษ id1 ของตนเพื่อให้แบบสอบถามสมาคมทุกคนสามารถทำหน้าที่จากเซิร์ฟเวอร์เดียว รหัสสองไม่น่าจะ map ไปยังเซิร์ฟเวอร์เดียวกันจนกว่าพวกเขาจะได้รับการ colocated อย่างชัดเจนในเวลาสร้าง. 4.2 ชั้นแคชแคชTAO ของการดำเนินการเสร็จสมบูรณ์ API สำหรับลูกค้าจัดการการสื่อสารกับฐานข้อมูลทั้งหมด แคชชั้นประกอบด้วยเซิร์ฟเวอร์แคชหลายตัวที่ร่วมกันในรูปแบบชั้น เป็นเงินกองทุนชั้นที่รวมความสามารถในการตอบสนองต่อการใด ๆ คำขอ TAO (นอกจากนี้เรายังหมายถึงชุดของฐานข้อมูลในภูมิภาคเป็นเงินกองทุนชั้นที่หนึ่งได้.) คำขอแต่ละแผนที่จะเดียวเซิร์ฟเวอร์แคชใช้โครงการsharding เดียวกับที่อธิบายไว้ใน§ 4.1 มีความต้องการที่ชั้นได้เป็นจำนวนเดียวกันของครอบครัว. ลูกค้าร้องขอปัญหาโดยตรงไปยังแคชเหมาะสมเซิร์ฟเวอร์ซึ่งเป็นผู้รับผิดชอบในการแล้วเสร็จสิ้นการอ่านหรือเขียน สำหรับคิดถึงแคชและเขียนร้องขอเซิร์ฟเวอร์รายชื่อแคชอื่น ๆ และ / หรือฐานข้อมูล. เต่าแคชในหน่วยความจำมีวัตถุสมาคมรายการและนับสมาคม เราเติมแคชบนความต้องการและการขับไล่รายการใช้น้อยใช้เมื่อเร็ว ๆ นี้ (อาร์) นโยบาย เซิร์ฟเวอร์แคชเข้าใจความหมายของพวกเขาเนื้อหาและใช้พวกเขาจะตอบข้อสงสัยแม้ว่าแน่นอนแบบสอบถามยังไม่ได้รับการประมวลผลก่อนหน้านี้เช่นแคชนับเป็นศูนย์จะเพียงพอที่จะตอบแบบสอบถามช่วง. เขียนการดำเนินงานเกี่ยวกับความสัมพันธ์ที่มีความผกผันอาจเกี่ยวข้องกับสองเศษตั้งแต่ขอบข้างหน้าจะถูกเก็บไว้ในเศษสำหรับ id1 และขอบผกผันอยู่บนเศษสำหรับid2 สมาชิกชั้นที่ได้รับการสอบถามจากลูกค้าปัญหาการเรียก RPC กับสมาชิก id2 โฮสติ้ง, ซึ่งจะติดต่อฐานข้อมูลในการสร้างความสัมพันธ์ผกผัน. เมื่อผกผันเขียนเสร็จสมบูรณ์แคชเซิร์ฟเวอร์ออกเขียนไปยังฐานข้อมูลสำหรับ id1 อบตไม่ได้ให้ atomicity ระหว่างสองปรับปรุง หากเกิดความล้มเหลวไปข้างหน้าอาจมีอยู่ได้โดยไม่ต้องผกผัน; สมาคมแขวนเหล่านี้จะถูกกำหนดไว้สำหรับการซ่อมแซมโดยงานไม่ตรงกัน

ผลลัพธ์ (ไทย) 3:

สถาปัตยกรรม 4 เต๋า ในส่วนนี้เราจะอธิบายหน่วยที่ทำให้เต๋า
และหลายชั้นของการรวมตัวที่อนุญาตให้
ขนาดข้ามศูนย์ข้อมูลและภูมิภาคทางภูมิศาสตร์ เต๋า
แยกออกเป็นสองแคชั้นและชั้นจัดเก็บชั้น

กระเป๋า 4.1 วัตถุและสมาคมที่ถูกเก็บไว้ใน MySQL ที่ Facebook ก่อน เต่าที่ถูกสร้างขึ้น ;มันคือร้านเดิม PHP การสนับสนุนสำหรับการใช้งานของ API นี้
ทำทางเลือกธรรมชาติสำหรับ อบต. ถาวรกระเป๋า .
เต๋า API เป็นแมปไปยังชุดขนาดเล็กของแบบสอบถาม
SQL ที่เรียบง่าย แต่มันอาจจะแมปอย่างมีประสิทธิภาพในช่วงสแกน

ไม่จัดเก็บข้อมูล SQL ระบบเช่น
leveldb [ 3 ] โดยชัดเจนการรักษาดัชนี
เป็นเมื่อประเมินความเหมาะสมของ
ร้านการสนับสนุนสำหรับเต่า , อย่างไรก็ตาม , มันเป็นสิ่งสำคัญที่จะต้องพิจารณาข้อมูล
เข้าไม่ใช้ API เหล่านี้รวมถึงข้อมูล
เป็นกลุ่มนำเข้าและการลบของข้อมูลกลุ่มอพยพ
จากรูปแบบข้อมูลอื่น การสร้างแบบจําลอง , การตรวจสอบเครื่องมือที่สอดคล้องและ
ปฏิบัติการการดีบั๊ก ร้านอื่นยัง
ต้องให้อะตอมเขียนรายการ ,
เม็ดมีประสิทธิภาพเขียนและผิดปกติแฝงอยู่ไม่กี่ .
ระบุว่าเต่าต้องจัดการไกลขนาดใหญ่ปริมาณของ
ข้อมูลมากกว่าที่สามารถเก็บไว้ในเซิร์ฟเวอร์ MySQL เดียวเรา
แบ่งข้อมูลเป็นเศษตรรกะ แต่ละชิ้นส่วนที่มีอยู่
ในฐานข้อมูลเชิงตรรกะ เซิร์ฟเวอร์ฐานข้อมูลเป็นผู้รับผิดชอบ
สำหรับหนึ่งหรือมากกว่าเศษ . ในการฝึก จำนวนเศษ
ไกลเกินกว่าจำนวนของเซิร์ฟเวอร์ เราปรับแต่งเสาแก้ว

แผนที่เซิร์ฟเวอร์สมดุลโหลดข้ามโฮสต์ที่แตกต่างกัน โดย
เริ่มต้นประเภทวัตถุทั้งหมดจะถูกเก็บไว้ในหนึ่งตารางและชนิด
สมาคมทั้งหมดในอื่น .
แต่ละวัตถุ ID มีเศษแก้วฝัง ID ที่
ระบุชาร์ดโฮสติ้งของ วัตถุที่ถูกผูกไว้เพื่อการโน้มน้าวใจ
สำหรับชีวิตของพวกเขาทั้ง สมาคมจะถูกเก็บไว้บน
เศษ id1 ของมัน ,เพื่อให้ทุกสมาคมแบบสอบถามสามารถ
บริการจากเซิร์ฟเวอร์เดียว สองไอดีไม่น่าจะแผนที่
ไปยังเซิร์ฟเวอร์เดียวกัน เว้นแต่พวกเขาอย่างชัดเจนในเวลาที่สร้าง colocated
.
4.2 แคชชั้น
อบต. แคชใช้ API ที่สมบูรณ์สำหรับลูกค้า
การจัดการ การติดต่อกับฐานข้อมูล แคช
ชั้นประกอบด้วยหลายแคชเซิร์ฟเวอร์ด้วยกัน
รูปแบบชั้นชั้นจะเรียกความสามารถในการตอบสนองใด ๆเต่า

ขอ ( เรายังอ้างถึงการตั้งค่าฐานข้อมูล
ในภูมิภาคหนึ่งเป็น Tier ) ขอแต่ละแผนที่เดียว
แคชเซิร์ฟเวอร์โดยใช้ sharding โครงร่างคล้ายกับหนึ่ง
อธิบายใน§ 4.1 . ไม่มีความต้องการที่ชั้นมี

ลูกค้าหมายเลขเดียวกันของโยธา ปัญหาการร้องขอไปยังเซิร์ฟเวอร์แคช
เหมาะสมซึ่งเป็นที่รับผิดชอบในการอ่าน หรือเขียน สำหรับแคชขาดและเขียนขอ รายชื่อเซิร์ฟเวอร์แคชและ / หรือฐานข้อมูลอื่น ๆ
.
เต่าในแคชหน่วยความจำประกอบด้วยวัตถุ , รายการสมาคม
, และที่สำคัญสมาคม เราเติมแคช
อุปสงค์และขับไล่รายการใช้น้อยใช้เมื่อเร็ว ๆนี้ ( เลย )
นโยบาย แคชเซิร์ฟเวอร์เข้าใจความหมายของพวกเขา
เนื้อหาและใช้พวกเขาเพื่อตอบแบบสอบถามแม้ว่าแบบสอบถามแน่นอน
ไม่ได้รับการประมวลผลก่อนหน้านี้ เช่น เก็บไว้
นับศูนย์ก็เพียงพอที่จะตอบช่วงแบบสอบถาม
เขียนการดำเนินการในความสัมพันธ์กับผกผัน
อาจเกี่ยวข้องกับสองเศษตั้งแต่ขอบข้างหน้าจะถูกเก็บไว้
บน Shard สำหรับ id1 และขอบ ตรงกันข้ามเป็นเศษแก้ว
สำหรับไอดีทู . อันดับสมาชิกที่ได้รับแบบสอบถามจาก
ลูกค้าปัญหา RPC เรียกสมาชิกโฮสต์ไอดีทู
, ซึ่งจะติดต่อฐานข้อมูลเพื่อสร้างความสัมพันธ์ผกผันผกผัน .
เมื่อเขียนเสร็จ แคช
เซิร์ฟเวอร์ปัญหาเขียนไปยังฐานข้อมูล id1 . เต๋าไม่
ไม่ให้ปรมาณูระหว่างการปรับปรุง ถ้า
ความล้มเหลวเกิดขึ้นข้างหน้าอาจมีอยู่โดยไม่มีการผกผัน ;
เหล่านี้แขวนสมาคมมีกำหนดซ่อมโดย



แบบงาน