6 Consistency and Fault ToleranceTw

6 Consistency and Fault Tolerance
Two of the most important requirements for TAO are
availability and performance. When failures occur we
would like to continue to render Facebook, even if the
data is stale. In this section, we describe the consistency
model of TAO under normal operation, and how TAO
sacrifices consistency under failure modes.
6.1 Consistency
Under normal operation, objects and associations in TAO
are eventually consistent [33, 35]; after a write, TAO
guarantees the eventual delivery of an invalidation or refill
to all tiers. Given a sufficient period of time during
which external inputs have quiesced, all copies of data
in TAO will be consistent and reflect all successful write
operations to all objects and associations. Replication
lag is usually less than one second.
In normal operation (at most one failure encountered
by a request) TAO provides read-after-write consistency
within a single tier. TAO synchronously updates the
cache with locally written values by having the master
leader return a changeset when the write is successful.
This changeset is propagated through the slave leader (if
any) to the follower tier that originated the write query.
If an inverse type is configured for an association, then
writes to associations of that type may affect both the
id1’s and the id2’s shard. In these cases, the changeset
returned by the master leader contains both updates, and
the slave leader (if any) and the follower that forwarded
the write must each send the changeset to the id2’s shard
in their respective tiers, before returning to the caller. The changeset cannot always be safely applied to the
follower’s cache contents, because the follower’s cache
may be stale if the refill or invalidate from a second follower’s
update has not yet been delivered. We resolve
this race condition in most cases with a version number
that is present in the persistent store and the cache. The
version number is incremented during each update, so
the follower can safely invalidate its local copy of the
data if the changeset indicates that its pre-update value
was stale. Version numbers are not exposed to the TAO
clients. In slave regions, this scheme is vulnerable to
a rare race condition between cache eviction and storage
server update propagation. The slave storage server
may hold an older version of a piece of data than what
is cached by the caching server, so if the post-changeset
entry is evicted from cache and then reloaded from the
database, a client may observe a value go back in time
in a single follower tier. Such a situation can only occur
if it takes longer for the slave region’s storage server
to receive an update than it does for a cached item to be
evicted from cache, which is rare in practice.
Although TAO does not provide strong consistency for
its clients, because it writes to MySQL synchronously
the master database is a consistent source of truth. This
allows us to provide stronger consistency for the small
subset of requests that need it. TAO reads may be marked
critical, in which case they will be proxied to the master
region. We could use critical reads during an authentication
process, for example, so that replication lag doesn’t
allow use of stale credentials.
6.2 Failure Detection and Handling
TAO scales to thousands of machines over multiple geographical locations, so transient and permanent failures
are commonplace. Therefore, it is important that
TAO detect potential failures and route around them.
TAO servers employ aggressive network timeouts so as
not to continue waiting on responses that may never arrive.
Each TAO server maintains per-destination timeouts,
marking hosts as down if there are several consecutive
timeouts, and remembering downed hosts so that
subsequent requests can be proactively aborted. This
simple failure detector works well, although it does not
always preserve full capacity in a brown-out scenario,
such as bursty packet drops that limit TCP throughput.
Upon detection of a failed server, TAO routes around the
failures in a best effort fashion in order to preserve availability and performance at the cost of consistency. We
actively probe failed machines to discover when (if) they
recover. Database failures: Databases are marked down in a global configuration if they crash, if they are taken offline
for maintenance, or if they are replicating from a
master database and they get too far behind. When a master database is down, one of its slaves is automatically
promoted to be the new master.
When a region’s slave database is down, cache misses
are redirected to the TAO leaders in the region hosting the
database master. Since cache consistency messages are
embedded in the database’s replication stream, however,
they can’t be delivered by the primary mechanism. During
the time that a slave database is down an additional
binlog tailer is run on the master database, and the refills
and invalidates are delivered inter-regionally. When
the slave database comes back up, invalidation and refill
messages from the outage will be delivered again.
Leader failures: When a leader cache server fails,
followers automatically route read and write requests
around it. Followers reroute read misses directly to
the database. Writes to a failed leader, in contrast,
are rerouted to a random member of the leader’s tier.
This replacement leader performs the write and associated
actions, such as modifying the inverse association
and sending invalidations to followers. The replacement
leader also enqueues an asynchronous invalidation to the
original leader that will restore its consistency. These
asynchronous invalidates are recorded both on the coordinating node and inserted into the replication stream,
where they are spooled until the leader becomes available.
If the failing leader is partially available then followers
may see a stale value until the leader’s consistency
is restored. Refill and invalidation failures: Leaders send refills and invalidations asynchronously. If a follower is unreachable, the leader queues the message to disk to be
delivered at a later time. Note that a follower may be
left with stale data if these messages are lost due to permanent leader failure. This problem is solved by a bulk
invalidation operation that invalidates all objects and associations from a shard id. After a failed leader box is
replaced, all of the shards that map to it must be invalidated in the followers, to restore consistency.
Follower failures: In the event that a TAO follower
fails, followers in other tiers share the responsibility of
serving the failed host’s shards. We configure each TAO
client with a primary and backup follower tier. In normal
operations requests are sent only to the primary. If
the server that hosts the shard for a particular request has
been marked down due to timeouts, then the request is
sent instead to that shard’s server in the backup tier. Because failover requests still go to a server that hosts the
corresponding shard, they are fully cacheable and do not
require extra consistency work. Read and write requests
from the client are failed over in the same way. Note that
failing over between different tiers may cause read-afterwrite consistency to be violated if the read reaches the
failover target before the write’s refill or invalidate.

ผลลัพธ์ (ไทย) 1:

6 ความสอดคล้องกันและยอมรับข้อบกพร่องสองความสำคัญที่สุดสำหรับเต่าความพร้อมใช้งานและประสิทธิภาพ เมื่อเกิดความล้มเหลวของเราต้องการต่อไปจะทำให้ Facebook แม้ว่าการข้อมูลเก่าได้ ในส่วนนี้ เราอธิบายความสอดคล้องรูปแบบของเต่าภายใต้การดำเนินงานปกติ และเต่าบูชาความสอดคล้องภายใต้โหมดความล้มเหลว 6.1 ความสอดคล้องภายใต้การดำเนินงานปกติ วัตถุ และความสัมพันธ์ในเต่าไม่สอดคล้องกันในที่สุด [33, 35]; หลังจากเขียน เต่ารับประกันการจัดส่งสุดของ invalidation หรือเติมการระดับทั้งหมด กำหนดรอบระยะเวลาระหว่างเพียงพออินพุตภายนอกที่มี quiesced สำเนาข้อมูลทั้งหมดเต่าจะให้สอดคล้อง และสะท้อนถึงการเขียนที่ประสบความสำเร็จทั้งหมดการดำเนินการวัตถุและความสัมพันธ์ของ จำลองแบบความล่าช้าโดยปกติจะน้อยกว่า 1 วินาทีในการดำเนินงานปกติ (มากที่สุดหนึ่งล้มเหลวพบตามคำขอ) เต่าให้อ่านหลังจากเขียนความสอดคล้องภายในชั้นเดียวกัน เต่ากล่าวการปรับปรุงการแคช มีค่าเครื่องเขียนโดยมีหลักการผู้นำส่งคืน changeset เมื่อเขียนเสร็จChangeset นี้ถูกเผยแพร่ผ่านผู้นำทาส (ถ้าใด ๆ) ให้ระดับผู้ติดตามที่มาเขียนแบบสอบถามถ้าชนิดของการผกผันถูกกำหนดค่าสำหรับการเชื่อมโยง แล้วเขียนความสัมพันธ์ของว่า ชนิดอาจมีผลต่อทั้งการของ id1 และของ id2 ชาร์ด ในกรณีเหล่านี้ changesetส่งกลับ โดยแบบผู้นำประกอบด้วยการปรับปรุงทั้งสอง และผู้นำทาส (ถ้ามี) และการหล่อที่ส่งต่อเขียนต้องละส่ง changeset ชาร์ดของ id2ในของแต่ละระดับ เพื่อโทร Changeset ไม่เสมอจะปลอดภัยกับการผู้ติดตามของแคเนื้อหา เนื่องจากแคชของสหอาจจะเก่าถ้าเติมสินค้า หรือทำให้จากผู้ติดตามของสองปรับปรุงไม่ได้ถูกจัดส่ง เราแก้ไขเงื่อนไขการแข่งขันนี้ในกรณีส่วนใหญ่มีหมายเลขรุ่นที่มีอยู่ในแคชและร้านค้าแบบถาวร ที่หมายเลขรุ่นเพิ่มขึ้นระหว่างการปรับปรุงแต่ละ ดังนั้นผู้ติดตามที่สามารถทำให้ปลอดภัยของสำเนาข้อมูลถ้า changeset หมายถึงค่าของก่อนไม่เก่า หมายเลขรุ่นจะไม่สัมผัสกับเต่าลูกค้า ในภูมิภาคทาส นี้ความเสี่ยงที่จะสภาพหายากแข่งขันระหว่างแคขับไล่และการจัดเก็บเผยแพร่การปรับปรุงเซิร์ฟเวอร์ ทาสเก็บเซิร์ฟเวอร์อาจเก็บชิ้นส่วนของข้อมูลรุ่นเก่ากว่าสิ่งแคเซิร์ฟเวอร์แคช ดังนั้นถ้า changeset โพสต์เอาออกจากแคชแล้ว ภาพจากรายการฐานข้อมูล ไคลเอนต์อาจพบค่าย้อนกลับไปในเวลาในชั้นเดียวหล่อด้วย สถานการณ์ที่อาจเกิดขึ้นได้เท่านั้นถ้าใช้เวลานานสำหรับเซิร์ฟเวอร์จัดเก็บข้อมูลของภูมิภาคทาสได้รับการปรับปรุงมากกว่าสำหรับสินค้าเก็บไว้จะไม่เอาออกจากแคช ซึ่งหายากในทางปฏิบัติถึงแม้ว่าเต่าให้ความแข็งแรงในลูกค้า เนื่องจากมันเขียน MySQL กล่าวฐานข้อมูลหลักเป็นแหล่งสอดคล้องกันของความจริง นี้ช่วยให้เรามีความแข็งแกร่งสำหรับขนาดเล็กเซตย่อยของคำขอที่ต้องการ เต่าอ่านอาจทำเครื่องหมายสำคัญ ซึ่งพวกเขาจะ proxied ไปแบบภูมิภาคที่ เราสามารถใช้อ่านสำคัญในระหว่างการรับรองความถูกต้องกระบวนการ ตัวอย่าง ดังนั้นความล่าช้าของการจำลองแบบไม่อนุญาตให้ใช้ข้อมูลประจำตัวเก่า 6.2 ความล้มเหลวในการตรวจจับและจัดการเกล็ดเต่าการพันเครื่องไปหลายสถาน ความล้มเหลวชั่วคราว และถาวรเพื่อให้ดาด ๆ ธรรมดาได้ ดังนั้น มันเป็นสิ่งสำคัญที่เต่าตรวจพบความล้มเหลวและเส้นทางรอบ ๆเซิร์ฟเวอร์เต่าจ้างหมดเวลาของเครือข่ายก้าวร้าวดังนั้นเป็นไม่ต้องรอผลตอบรับที่ไม่เคยมาแต่ละเซิร์ฟเวอร์เต่ารักษาหมดเวลาต่อปลายทางเครื่องโฮสต์ลงถ้า มีหลายอย่างหมดเวลา และจดจำ downed โฮสต์นั้นคำขอต่อมาสามารถถูกยกเลิกวันนี้ นี้เครื่องตรวจจับความล้มเหลวง่ายทำงานได้ดี แม้ว่ามันไม่ได้จะรักษากำลังในสถานการณ์ออกสีน้ำตาลเช่นแพคเก็ต bursty หยดที่จำกัด TCP สามารถประมวลผลได้เมื่อตรวจพบเซิร์ฟเวอร์ล้มเหลว เต่าเส้นทางสถานล้มเหลวในความพยายามที่ดีที่สุดเพื่อรักษาความพร้อมใช้งานและประสิทธิภาพการทำงานค่าความสอดคล้อง เราโพรบเครื่องล้มได้เมื่อ (ถ้า) อย่างพวกเขากู้คืน ความผิดพลาดของฐานข้อมูล: ฐานข้อมูลถูกทำเครื่องหมายลงในการกำหนดค่าส่วนกลางถ้าจะผิดพลาด ถ้าพวกเขากำลังถ่ายแบบออฟไลน์สำหรับการบำรุงรักษา หรือ ถ้าจะทำแบบจำลองจากการหลักฐานและจะได้รับเกินไปไกลหลัง เมื่อหลักฐานลง ทาสที่เป็นโดยอัตโนมัติส่งเสริมให้เป็นแบบใหม่เมื่อฐานข้อมูลของภูมิภาคทาสลง แคคิดถึงเปลี่ยนเส้นทางการนำเต่าในพื้นที่ภูมิภาคฐานข้อมูลต้นแบบ เนื่องจากมีข้อความสอดคล้องของแคชฝังตัวอยู่ในกระแสข้อมูลของฐานข้อมูลจำลองแบบ อย่างไรก็ตามพวกเขาไม่สามารถจัดส่ง โดยกลไกหลัก ในระหว่างการเวลาที่ฐานข้อมูลทาสลงเพิ่มเติมbinlog tailer รันบนฐานข้อมูลหลัก การเติมสินค้าและ invalidates ส่ง inter-regionally เมื่อต่อทาสกลับมาค่า invalidation และเติมข้อความจากกระแสจะส่งได้อีกครั้งความล้มเหลวของผู้นำ: เมื่อนำแคเซิร์ฟเวอร์ล้มเหลวติดตามเส้นทางการอ่าน และเขียนคำขอรอบ ๆ ลูกศิษย์ทำเส้นทางใหม่อ่านพุ่งตรงไปฐานข้อมูล เขียนผู้นำล้มเหลว ในทางตรงกันข้ามจะเปลี่ยนเส้นทางให้กับสมาชิกสุ่มในระดับของผู้นำผู้นำการเปลี่ยนนี้ทำเขียน และเชื่อมโยงการดำเนินการ เช่นการปรับเปลี่ยนความสัมพันธ์ผกผันและส่ง invalidations ให้ลูกศิษย์ การแทนที่ผู้นำยัง enqueues invalidation แบบอะซิงโครนัสเป็นการผู้นำเดิมที่จะคืนค่าความสอดคล้องของ เหล่านี้invalidates แบบอะซิงโครนัสมีบันทึกทั้งบนโหนประสาน และแทรกลงในลำธารจำลองพวกเขาจะเก็บพักจนกว่า ผู้นำจะพร้อมใช้งานถ้าผู้นำล้มเหลวเพียงบางส่วนแล้วลูกศิษย์อาจดูค่าเก่าจนถึงความสอดคล้องของผู้นำมีการคืนค่า ความล้มเหลวที่เติมและ invalidation: ผู้นำส่งการเติมสินค้าและ invalidations แบบอะซิงโครนัส ถ้าผู้ติดตามเป็นถึง ผู้นำคิวข้อความดิสก์จะส่งในภายหลัง หมายเหตุที่มีผู้ติดตามซ้ายกับข้อมูลเก่าถ้าข้อความเหล่านี้จะหายไปเนื่องจากความล้มเหลวของผู้นำอย่างถาวร ปัญหานี้จะแก้ไขได้ ด้วยเป็นจำนวนมากดำเนินงาน invalidation ที่ invalidates วัตถุทั้งหมดและการเชื่อมโยงจากรหัสชาร์ด หลังจากที่ผู้นำล้มเหลว กล่องแทนที่ shards ที่แผนที่ได้ทั้งหมดต้องถูกยกเลิกในลูกศิษย์ การคืนค่าความสอดคล้องความล้มเหลวการหล่อ: ในกรณีที่ผู้ติดตามเต่าล้มเหลว ลูกศิษย์ในระดับอื่น ๆ ร่วมกันรับผิดชอบของบริการโฮสต์ล้มเหลว shards เราตั้งค่าให้เต่าแต่ละไคลเอนต์กับระดับหล่อหลัก และสำรอง ในปกติส่งคำขอการดำเนินการเฉพาะกับหลัก หากมีเซิร์ฟเวอร์ที่โฮสต์ชาร์ดสำหรับคำเฉพาะการทำเครื่องหมายลงเนื่องจากหมดเวลา แล้วคำส่งแทนเซิร์ฟเวอร์ที่ชาร์ดในระดับสำรอง เนื่องจากล้มยังขอไปยังเซิร์ฟเวอร์ที่โฮสต์ชาร์ดที่สอดคล้องกัน มี cacheable ทั้งหมด และไม่ต้องทำงานสอดคล้องเสริม อ่าน และเขียนคำขอจากไคลเอนต์จะเหลวมากกว่าในลักษณะเดียวกัน หมายเหตุว่าล้มเหลวผ่านระหว่างระดับต่าง ๆ อาจทำให้อ่าน-afterwrite ความสอดคล้องของการถูกละเมิดถ้าอ่านถึงเป้าหมายล้มก่อนเขียนเติม หรือทำให้

ผลลัพธ์ (ไทย) 2:

6 ความสอดคล้องและความผิดพลาดสองความต้องการที่สำคัญที่สุดสำหรับการอบที่มีความพร้อมและประสิทธิภาพการทำงาน ความล้มเหลวที่เกิดขึ้นเมื่อเราต้องการที่จะยังคงที่จะทำให้ Facebook แม้ว่าข้อมูลเก่า ในส่วนนี้เราจะอธิบายความสอดคล้องรูปแบบของอบตภายใต้การดำเนินงานปกติและวิธีการที่อบต. เสียสละความมั่นคงภายใต้ความล้มเหลว6.1 สอดคล้องภายใต้การดำเนินงานปกติวัตถุและสมาคมในTAO สอดคล้องในที่สุด [33, 35] หลังจากที่เขียน TAO รับประกันการส่งมอบที่สุดของโมฆะหรือเติมเงินให้กับทุกชั้น กำหนดระยะเวลาที่เพียงพอในช่วงที่ปัจจัยการผลิตจากภายนอกได้ quiesced สำเนาข้อมูลทั้งหมดในTAO จะสอดคล้องและสะท้อนให้เห็นถึงการเขียนที่ประสบความสำเร็จทุกการดำเนินงานเพื่อวัตถุทั้งหมดและสมาคม การจำลองแบบล่าช้ามักจะน้อยกว่าหนึ่งวินาที. ในการดำเนินงานปกติ (ที่หนึ่งในความล้มเหลวที่พบโดยการร้องขอ) TAO ให้อ่านหลังจากเขียนความมั่นคงภายในชั้นเดียว อบตพร้อมปรับปรุงแคชที่มีค่าเขียนในประเทศโดยมีต้นแบบผู้นำกลับมาแก้ไขเมื่อเขียนจะประสบความสำเร็จ. เซ็ตนี้จะแพร่กระจายผ่านทางผู้นำทาส (ถ้ามี) ชั้นผู้ติดตามที่มาเขียนแบบสอบถาม. หากเป็นประเภทที่ตรงกันข้าม การกำหนดค่าสำหรับการเชื่อมโยงแล้วเขียนไปยังสมาคมประเภทที่อาจส่งผลกระทบต่อทั้งของid1 และ id2 เศษของ ในกรณีเหล่านี้เซ็ตการแก้ไขกลับโดยผู้นำหลักประกอบด้วยการปรับปรุงทั้งสองและผู้นำทาส(ถ้ามี) และผู้ติดตามที่ส่งต่อการเขียนแต่ละคนจะต้องส่งการแก้ไขที่จะแตกออกid2 ของในชั้นของตนก่อนที่จะกลับไปยังผู้โทร การแก้ไขไม่สามารถนำมาประยุกต์ใช้อย่างปลอดภัยไปยังผู้ติดตามของเนื้อหาแคชแคชเพราะลูกศิษย์ที่อาจจะเก่าถ้าเติมเงินหรือโมฆะจากลูกศิษย์ที่สองของการปรับปรุงที่ยังไม่ได้รับการส่งมอบเลย เราแก้ปัญหาสภาพการแข่งขันนี้ในกรณีส่วนใหญ่ที่มีจำนวนรุ่นที่มีอยู่ในร้านค้าถาวรและแคช หมายเลขรุ่นจะเพิ่มขึ้นในระหว่างการปรับปรุงแต่ละครั้งดังนั้นผู้ติดตามได้อย่างปลอดภัยสามารถทำให้สำเนาของข้อมูลถ้าแสดงให้เห็นว่าการแก้ไขค่าก่อนการปรับปรุงมันก็ค้าง หมายเลขรุ่นที่ไม่ได้สัมผัสกับ TAO ลูกค้า ในภูมิภาคทาสโครงการนี้เป็นความเสี่ยงที่จะเป็นเงื่อนไขการแข่งขันที่หายากระหว่างขับไล่แคชและการจัดเก็บข้อมูลเซิร์ฟเวอร์การขยายพันธุ์ปรับปรุง เซิร์ฟเวอร์จัดเก็บทาสอาจถือรุ่นเก่าของชิ้นส่วนของข้อมูลกว่าสิ่งที่ถูกเก็บไว้โดยเซิร์ฟเวอร์แคชดังนั้นหากการโพสต์การแก้ไขรายการถูกขับไล่ออกจากแคชและโหลดใหม่แล้วจากฐานข้อมูลลูกค้าอาจสังเกตค่ากลับไปเวลาในชั้นลูกศิษย์เดียว สถานการณ์ดังกล่าวสามารถเกิดขึ้นได้ถ้ามันใช้เวลานานสำหรับเซิร์ฟเวอร์จัดเก็บข้อมูลภาคทาสของที่จะได้รับการปรับปรุงกว่ามันไม่สำหรับรายการที่เก็บไว้จะถูกขับไล่ออกจากแคชซึ่งหายากในทางปฏิบัติ. แม้ว่า TAO ไม่ได้ให้ความมั่นคงแข็งแกร่งสำหรับลูกค้าของตนเพราะมันเขียนพร้อมกับ MySQL ฐานข้อมูลหลักเป็นแหล่งที่สอดคล้องกันของความจริง นี้ช่วยให้เราสามารถให้ความมั่นคงแข็งแรงสำหรับขนาดเล็กส่วนหนึ่งของการร้องขอที่จำเป็นต้องใช้มัน TAO อ่านอาจถูกทำเครื่องหมายที่สำคัญในกรณีที่พวกเขาจะถูกproxied ต้นแบบภูมิภาค เราสามารถใช้ในระหว่างการอ่านที่สำคัญการตรวจสอบกระบวนการเช่นดังนั้นความล่าช้าการจำลองแบบที่ไม่อนุญาตให้ใช้ข้อมูลประจำตัวเก่า. 6.2 ความล้มเหลวในการตรวจสอบและการจัดการTAO เครื่องชั่งน้ำหนักหลายพันเครื่องมากกว่าสถานที่ทางภูมิศาสตร์หลายดังนั้นชั่วคราวและความล้มเหลวอย่างถาวรเป็นธรรมดา ดังนั้นจึงเป็นสิ่งสำคัญที่TAO ตรวจสอบความล้มเหลวที่อาจเกิดขึ้นและเส้นทางรอบตัวพวกเขา. เซิร์ฟเวอร์ TAO จ้างเครือข่ายก้าวร้าว timeouts เพื่อให้เป็นไม่ได้ที่จะยังคงรอการตอบสนองที่ไม่เคยอาจมาถึง. แต่ละเซิร์ฟเวอร์ TAO คงหมดเวลาต่อปลายทางเครื่องหมายเจ้าภาพเป็นลงถ้ามีติดต่อกันหลายหมดเวลาและความทรงจำเจ้าภาพกระดกเพื่อให้ร้องขอต่อมาสามารถยกเลิกในเชิงรุก นี้เครื่องตรวจจับความล้มเหลวที่เรียบง่ายทำงานได้ดีแม้ว่าจะไม่เสมอรักษาเต็มกำลังการผลิตในสถานการณ์น้ำตาลออกเช่นแพ็คเก็ตช่วงๆ ลดลงที่การ จำกัด การส่งผ่าน TCP. เมื่อการตรวจสอบของเซิร์ฟเวอร์ล้มเหลวเส้นทาง TAO รอบความล้มเหลวในแฟชั่นความพยายามที่ดีที่สุดในเพื่อที่จะรักษาความพร้อมใช้งานและประสิทธิภาพการทำงานที่ค่าใช้จ่ายของความสอดคล้อง เราแข็งขันสอบสวนเครื่องล้มเหลวที่จะค้นพบเมื่อ (ถ้ามี) ที่พวกเขากู้คืน ความล้มเหลวของฐานข้อมูลฐานข้อมูลมีการทำเครื่องหมายลงในการกำหนดค่าระดับโลกถ้าพวกเขาผิดพลาดถ้าพวกเขาจะถูกนำแบบออฟไลน์สำหรับการบำรุงรักษาหรือถ้าพวกเขามีการจำลองจากฐานข้อมูลหลักและพวกเขาได้รับมากเกินไปที่จะอยู่เบื้องหลัง เมื่อฐานข้อมูลหลักจะลดลงซึ่งเป็นหนึ่งในทาสของมันโดยอัตโนมัติการเลื่อนตำแหน่งให้เป็นหลักใหม่. เมื่อฐานข้อมูลทาสของภูมิภาคคือลงคิดถึงแคชจะถูกเปลี่ยนเส้นทางไปยังอบตผู้นำในภูมิภาคโฮสติ้งต้นแบบฐานข้อมูล ตั้งแต่ข้อความสอดคล้องแคชจะถูกฝังอยู่ในกระแสการจำลองแบบของฐานข้อมูลแต่พวกเขาไม่สามารถจัดส่งโดยกลไกหลัก ในช่วงเวลานั้นฐานข้อมูลเป็นทาสลงเพิ่มเติมbinlog tailer ทำงานบนฐานข้อมูลหลักและเติมและเลิกส่งระหว่างภูมิภาค เมื่อฐานข้อมูลทาสกลับมาขึ้นโมฆะและเติมข้อความจากการหยุดทำงานจะถูกส่งอีกครั้ง. ความล้มเหลวของผู้นำ: เมื่อเซิร์ฟเวอร์แคชผู้นำล้มเหลวติดตามเส้นทางโดยอัตโนมัติอ่านและเขียนร้องขอรอบ ติดตามเส้นทางคิดถึงอ่านโดยตรงกับฐานข้อมูล เขียนไปเป็นผู้นำที่ล้มเหลวในทางตรงกันข้ามมีการเปลี่ยนเส้นทางการเป็นสมาชิกแบบสุ่มของชั้นของผู้นำ. ผู้นำการเปลี่ยนนี้จะดำเนินการเขียนและการเชื่อมโยงการดำเนินการเช่นการปรับเปลี่ยนความสัมพันธ์ผกผันและส่งไปยังผู้ติดตามinvalidations การเปลี่ยนผู้นำยัง enqueues โมฆะไม่ตรงกันกับผู้นำเดิมที่จะเรียกคืนความมั่นคงของ เหล่านี้เลิกไม่ตรงกันจะถูกบันทึกไว้ทั้งในโหนดการประสานงานและแทรกเข้าไปในกระแสการจำลองแบบที่พวกเขาจะspooled จนกว่าผู้นำจะพร้อมใช้งาน. ถ้าผู้นำความล้มเหลวที่สามารถใช้ได้บางส่วนติดตามแล้วอาจเห็นค่าเก่าจนความมั่นคงของผู้นำมีการเรียกคืน เติมเงินและความล้มเหลวโมฆะ: ผู้นำส่งและเติม invalidations ถ่ายทอดสด หากเป็นผู้ตามคือไม่สามารถเข้าถึงผู้นำคิวข้อความไปยังดิสก์ที่จะส่งมอบในเวลาต่อมา โปรดทราบว่าลูกศิษย์อาจจะทิ้งให้อยู่กับข้อมูลเก่าถ้าข้อความเหล่านี้จะหายไปเนื่องจากความล้มเหลวของผู้นำถาวร ปัญหานี้จะแก้ไขได้โดยเป็นกลุ่มการดำเนินงานที่เป็นโมฆะเลิกวัตถุทั้งหมดและสมาคมจากรหัสสะเก็ด หลังจากที่กล่องผู้นำที่ล้มเหลวถูกแทนที่ทั้งหมดของเศษที่แมปไปจะต้องมีแนวทางในการติดตามการเรียกคืนความมั่นคง. ความล้มเหลวของผู้ติดตาม: ในกรณีที่เป็นผู้ตาม TAO ล้มเหลวติดตามในชั้นอื่น ๆ มีส่วนร่วมในความรับผิดชอบของการให้บริการที่ล้มเหลวเศษของโฮสต์ เรากำหนดค่าแต่ละ TAO ลูกค้าที่มีชั้นลูกศิษย์หลักและสำรอง ปกติในการร้องขอการดำเนินงานจะส่งไปยังหลัก ถ้าเซิร์ฟเวอร์ที่โฮสต์เศษสำหรับการร้องขอโดยเฉพาะอย่างยิ่งได้รับการทำเครื่องหมายลงเนื่องจากหมดเวลาแล้วร้องขอถูกส่งไปยังเซิร์ฟเวอร์แทนชิ้นส่วนที่อยู่ในชั้นการสำรองข้อมูล เพราะการร้องขอล้มเหลวยังคงไปยังเซิร์ฟเวอร์ที่โฮสต์ที่แตกออกมาสอดคล้องกับที่พวกเขาจะสามารถแคชได้อย่างเต็มที่และไม่ต้องทำงานสอดคล้องพิเศษ อ่านและเขียนการร้องขอจากลูกค้าที่มีการล้มเหลวในทางเดียวกัน โปรดทราบว่าล้มเหลวในช่วงระหว่างชั้นที่แตกต่างกันอาจก่อให้เกิดความสอดคล้องอ่าน afterwrite ที่จะละเมิดถ้าอ่านถึงเป้าหมายล้มเหลวก่อนที่จะเติมเขียนหรือโมฆะ

ผลลัพธ์ (ไทย) 3:

6 ความสอดคล้องและความผิดความอดทน
2 ของความต้องการที่สำคัญที่สุดสำหรับเต่าเป็น
ความพร้อมและประสิทธิภาพ เมื่อความล้มเหลวเกิดขึ้นเรา
อยากให้แสดง Facebook แม้ว่า
เป็นข้อมูลเก่า ในส่วนนี้เราอธิบายถึงความสอดคล้อง
แบบเต๋าภายใต้การดำเนินงานปกติ แล้วเต๋า
สละสอดคล้องภายใต้โหมดความล้มเหลว

6.1 ความสอดคล้องดำเนินงานปกติวัตถุและสมาคมในเกาะเต่า
ในที่สุดก็สอดคล้องกัน [ 33 , 35 ] ; หลังจากเขียน , เต่า
รับประกันการส่งมอบสุดท้ายของการเป็นโมฆะหรือเติมเงิน
ทุกชั้น . ให้เวลาที่เพียงพอของเวลาในระหว่าง
ซึ่งจากภายนอก มี quiesced ทั้งหมดสำเนาข้อมูล
ในองค์การบริหารส่วนตำบล จะสอดคล้องกัน และสะท้อนทั้งหมดประสบความสำเร็จเขียน
การวัตถุทั้งหมดและสมาคม ซ้ำ
ความล่าช้ามักจะน้อยกว่าหนึ่งวินาที
ในการใช้งานปกติ ( มากที่สุดหนึ่งความล้มเหลวที่พบ
โดยการร้องขอ ) เต่าให้อ่านหลังจากเขียนสม่ำเสมอ
ภายในชั้นเดี่ยว เต๋า synchronously ปรับปรุง
แคชกับภายในเขียนค่า โดยมีหัวหน้าอาจารย์
กลับขนานน้ำเมื่อเขียนสำเร็จ .
ขนานน้ำนี้ไปผ่านหัวหน้าทาส ( ถ้า
ใด ๆ ) ไปตามระดับ ที่มาเขียนแบบสอบถาม .
ถ้าชนิดตรงกันข้ามถูกปรับเป็นสมาคมแล้ว
เขียนถึงสมาคมชนิดที่อาจส่งผลกระทบต่อทั้ง
id1 และของไอดีทูชิ้นส่วน ในกรณีนี้ ขนานน้ำ
ส่งกลับโดยผู้นำต้นแบบ มีทั้งการปรับปรุงและ
หัวหน้าทาส ( ถ้ามี ) และผู้ตามที่ส่งต่อ
เขียนแต่ละคนจะต้องส่งขนานน้ำจากไอดีทูชาร์ด
ในแต่ละชั้น ก่อนที่จะกลับไปยังผู้เรียก ที่ไม่สามารถใช้ได้อย่างปลอดภัยขนานน้ำเนื้อหาแคช
เป็นผู้ตาม เพราะคนสนิทของแคช
อาจจะค้างถ้าเติมหรือยกเลิกจากสองผู้ติดตามของ
ปรับปรุงยังไม่ส่งมา เราแก้ไข
นี้สภาพการแข่งขันในกรณีส่วนใหญ่ที่มีหมายเลขรุ่น