Success with DynamoDB gave usenough

Success with DynamoDB gave us
enough evidence to present TLA+ to
the broader engineering community at
Amazon. This raised a challenge—how
to convey the purpose and benefits
of formal methods to an audience of
software engineers. Engineers think in
terms of debugging rather than “verification,” so we called the presentation
“Debugging Designs.” 18 Continuing
the metaphor, we have found that software engineers more readily grasp the
concept and practical value of TLA+ if
we dub it “exhaustively testable pseudo-code.” We initially avoid the words
“formal,” “verification,” and “proof”
due to the widespread view that formal methods are impractical. We also
initially avoid mentioning what TLA
stands for, as doing so would give an
incorrect impression of complexity.
Immediately after seeing the presentation, a team working on S3 asked
for help using TLA+ to verify a new
fault-tolerant network algorithm.
The documentation for the algorithm
consisted of many large, complicated
state-machine diagrams. To check
the state machine, the team had been
considering writing a Java program
to brute-force explore possible executions: essentially a hard-wired form
of model checking. They were able to
avoid the effort by using TLA+ instead.
Author F.Z. wrote two versions of the
spec over a couple of weeks. For this
particular problem, F.Z. found that
she was more productive in PlusCal
than TLA+, and we have observed that
engineers often find it easier to begin
with PlusCal.
Model checking revealed two subtle bugs in the algorithm and allowed
F.Z. to verify fixes for both. F.Z. then
used the spec to experiment with the
design, adding new features and optimizations. The model checker quickly
revealed that some of these changes
would have introduced bugs.
This success led AWS management
to advocate TLA+ to other teams working on S3. Engineers from those teams
wrote specs for two additional critical
algorithms and for one new feature.
F.Z. helped teach them how to write
their first specs. We find it encouraging
that TLA+ can be taught by engineers
who are still new to it themselves; this is
important for quickly scaling adoption
in an organization as large as Amazon.
Author B.M. was one such engineer.
His first spec was for an algorithm
known to contain a subtle bug. The bug
had passed unnoticed through multiple design reviews and code reviews
and had surfaced only after months of
testing. B.M. spent two weeks learning
TLA+ and writing the spec. Using it,
the TLC model checker found the bug
in seconds. The team had already designed and reviewed a fix for the bug,
so B.M. changed the spec to include
the proposed fix. The model checker
found the problem still occurred in a
different execution trace. A stronger fix
was proposed, and the model checker
verified the second fix. B.M. later wrote
another spec for a different algorithm.
That spec did not uncover any bugs but
did uncover several important ambiguities in the documentation for the
algorithm the spec helped resolve.
Somewhat independently, after seeing internal presentations about TLA+,
authors M.B and M.D. taught them-
selves PlusCal and TLA+ and started
using them on their respective projects
without further persuasion or assistance. M.B. used PlusCal to find three
bugs and wrote a public blog about his
personal experiments with TLA+ out-
side of Amazon. 7 M.D. used PlusCal to
check a lock-free concurrent algorithm
and then used TLA+ to find a critical
bug in one of AWS’s most important
new distributed algorithms. M.D. also
developed a fix for the bug and verified the fix. Independently, C.N. wrote
a spec for the same algorithm that was
quite different in style from the spec
written by M.D., but both found the
same bug in the algorithm. This suggests the benefits of using TLA+ are
quite robust to variations among engineers. Both specs were later used to
verify that a crucial optimization to the
algorithm did not introduce any bugs.
Engineers at Amazon continue to
use TLA+, adopting the practice of first
writing a conventional prose-design
document, then incrementally refining
parts of it into PlusCal or TLA+. This
method often yields important insight
about the design, even without going as
far as full specification or model checking. In one case, C.N. refined a prose
design of a fault-tolerant replication
system that had been designed by an other Amazon engineer. C.N. wrote
and model checked specifications
at two levels of concurrency; these
specifications helped him understand
the design well enough to propose
a major protocol optimization that
radically reduced write-latency in the
system. We have also discovered that
TLA+ is an excellent tool for data modeling, as when designing the schema
for a relational or “no SQL” database.
We used TLA+ to design a non-trivial
schema with semantic invariants over
the data that were much richer than
standard multiplicity constraints and
foreign key constraints. We then added
high-level specifications of some of
the main operations on the data that
helped us correct and refine the schema. This result suggests a data model
can be viewed as just another level of
abstraction of the entire system. It also
suggests TLA+ may help designers improve a system’s scalability. In order to
remove scalability bottlenecks, design-
ers often break atomic transactions
into finer-grain operations chained
together through asynchronous work-
flows; TLA+ can help explore the consequences of such changes with respect
to isolation and consistency.

ผลลัพธ์ (ไทย) 2:

ประสบความสำเร็จกับ DynamoDB
ให้เราหลักฐานเพียงพอที่จะนำเสนอTLA + เพื่อชุมชนวิศวกรรมที่กว้างขึ้นที่อเมซอน นี้ยกความท้าทายวิธีการในการถ่ายทอดวัตถุประสงค์และประโยชน์ของวิธีการทางการให้กับผู้ชมของวิศวกรซอฟต์แวร์ วิศวกรคิดว่าในแง่ของการแก้จุดบกพร่องมากกว่า "การตรวจสอบ" ดังนั้นเราจึงเรียกว่านำเสนอ "การแก้จุดบกพร่องการออกแบบ." 18 อย่างต่อเนื่องอุปมาที่เราได้พบว่าวิศวกรซอฟต์แวร์มากขึ้นอย่างรวดเร็วเข้าใจแนวคิดและความคุ้มค่าในทางปฏิบัติของ TLA + ถ้าเราพากย์ว่า"ละเอียดถี่ถ้วนทดสอบ หลอกรหัส. "เราเริ่มหลีกเลี่ยงคำว่า" อย่างเป็นทางการ "," การตรวจสอบ "และ" หลักฐาน "อันเนื่องมาจากมุมมองอย่างกว้างขวางว่าเป็นวิธีการทางการทำไม่ได้ นอกจากนี้เรายังเริ่มแรกหลีกเลี่ยงการกล่าวถึงสิ่งที่ TLA ย่อมาจากขณะที่ทำเช่นนั้นจะให้การแสดงผลที่ไม่ถูกต้องของความซับซ้อน. ทันทีหลังจากที่ได้เห็นการนำเสนอทีมงานที่ทำงานเกี่ยวกับ S3 ถามเพื่อขอความช่วยเหลือโดยใช้TLA + เพื่อตรวจสอบใหม่ขั้นตอนวิธีเครือข่ายความผิดพลาด. เอกสารสำหรับ อัลกอริทึมประกอบด้วยหลายขนาดใหญ่ที่มีความซับซ้อนแผนภาพรัฐเครื่อง ในการตรวจสอบเครื่องของรัฐทีมที่ได้รับการพิจารณาการเขียนโปรแกรมJava เดรัจฉานแรงสำรวจการประหารชีวิตเป็นไปได้: เป็นหลักรูปแบบที่ยากสายการตรวจสอบรูปแบบ พวกเขาก็สามารถที่จะหลีกเลี่ยงความพยายามโดยใช้ TLA + แทน. ผู้เขียน FZ เขียนสองรุ่นสเปคในช่วงสองสามสัปดาห์ สำหรับวันนี้ปัญหาที่เกิดขึ้นโดยเฉพาะอย่างยิ่ง FZ พบว่าเธอเป็นมากขึ้นในPlusCal กว่า TLA + และเราได้ตั้งข้อสังเกตว่าวิศวกรมักจะพบว่ามันง่ายที่จะเริ่มต้นกับPlusCal. รุ่นการตรวจสอบเปิดเผยสองข้อบกพร่องที่ลึกซึ้งในขั้นตอนวิธีการและได้รับอนุญาตFZ เพื่อตรวจสอบการแก้ไขสำหรับทั้งสอง FZ แล้วใช้สเปคในการทดสอบกับการออกแบบการเพิ่มคุณสมบัติใหม่และการเพิ่มประสิทธิภาพ ตัวตรวจสอบรูปแบบได้อย่างรวดเร็วเผยให้เห็นว่าบางส่วนของการเปลี่ยนแปลงเหล่านี้จะมีข้อบกพร่องแนะนำ. ประสบความสำเร็จนี้นำไปสู่การจัดการ AWS ที่จะสนับสนุน TLA + เพื่อทีมอื่น ๆ ที่ทำงานเกี่ยวกับ S3 วิศวกรจากทีมที่เขียนรายละเอียดที่สำคัญสำหรับสองเพิ่มเติมขั้นตอนวิธีและหนึ่งคุณลักษณะใหม่. FZ ช่วยสอนให้วิธีการเขียนรายละเอียดแรกของพวกเขา เราพบว่ามันให้กำลังใจว่า TLA + สามารถสอนโดยวิศวกรที่ยังใหม่กับมันเอง นี้เป็นสิ่งสำคัญสำหรับการนำไปใช้อย่างรวดเร็วปรับในองค์กรขนาดใหญ่เป็นอเมซอน. ผู้เขียน BM เป็นหนึ่งในวิศวกรดังกล่าว. ข้อมูลจำเพาะแรกของเขาคือสำหรับอัลกอริทึมที่รู้จักกันจะมีข้อผิดพลาดที่ลึกซึ้ง ข้อผิดพลาดที่ผ่านมาไม่มีใครสังเกตเห็นความคิดเห็นผ่านการออกแบบที่หลากหลายและตรวจสอบรหัสและโผล่เฉพาะหลังจากเดือนของการทดสอบ BM ใช้เวลาสองสัปดาห์การเรียนรู้TLA + และการเขียนข้อมูลจำเพาะ ใช้มันตัวตรวจสอบรูปแบบ TLC พบข้อผิดพลาดในไม่กี่วินาที ทีมงานได้ออกแบบไว้แล้วและมีการทบทวนแก้ไขข้อผิดพลาดที่เพื่อ BM เปลี่ยนสเปคที่จะรวมถึงการแก้ไขที่นำเสนอ ตรวจสอบรูปแบบพบว่ายังคงมีปัญหาที่เกิดขึ้นในการดำเนินการที่แตกต่างกันร่องรอย การแก้ไขที่แข็งแกร่งถูกเสนอและตรวจสอบรูปแบบการตรวจสอบการแก้ไขที่สอง BM เขียนข้อมูลจำเพาะสำหรับขั้นตอนวิธีการที่แตกต่างกัน. ข้อมูลจำเพาะที่ไม่ได้ค้นพบข้อบกพร่องใด ๆ แต่ไม่เปิดเผยงงงวยที่สำคัญหลายแห่งในเอกสารสำหรับอัลกอริทึมข้อมูลจำเพาะช่วยแก้ไข. ค่อนข้างเป็นอิสระหลังจากที่ได้เห็นการนำเสนอผลงานภายในเกี่ยวกับ TLA + เขียน MB และ MD สอนพวกเขา - ตัว PlusCal และ TLA + และเริ่มใช้พวกเขาในโครงการของตนโดยไม่ต้องชักชวนหรือความช่วยเหลือต่อไป MB ใช้ PlusCal สามเพื่อหาข้อบกพร่องและเขียนบล็อกของประชาชนเกี่ยวกับเขาทดลองส่วนตัวกับTLA + ออกด้านข้างของอเมซอน 7 MD PlusCal ใช้ในการตรวจสอบขั้นตอนวิธีพร้อมกันล็อคฟรีและนำไปใช้TLA + เพื่อหาที่สำคัญข้อผิดพลาดในหนึ่งในที่สำคัญที่สุดของAWS ขั้นตอนวิธีการกระจายใหม่ MD ยังพัฒนาแก้ไขข้อผิดพลาดและตรวจสอบแก้ไข อิสระ, CN เขียนข้อมูลจำเพาะสำหรับขั้นตอนวิธีการเดียวกับที่เป็นค่อนข้างแตกต่างในรูปแบบจากข้อมูลจำเพาะเขียนโดยMD แต่ทั้งสองพบข้อผิดพลาดเดียวกันในขั้นตอนวิธี นี้แสดงให้เห็นประโยชน์ของการใช้ TLA + มีประสิทธิภาพมากต่อการเปลี่ยนแปลงในหมู่วิศวกร รายละเอียดทั้งสองถูกนำมาใช้ในภายหลังเพื่อตรวจสอบว่ามีการเพิ่มประสิทธิภาพสำคัญกับขั้นตอนวิธีการไม่ได้แนะนำข้อบกพร่องใดๆ . วิศวกรที่ Amazon ยังคงใช้TLA + การนำการปฏิบัติในครั้งแรกการเขียนร้อยแก้วออกแบบธรรมดาเอกสารแล้วเพิ่มขึ้นการปรับแต่งบางส่วนของมันเข้าไปในPlusCal หรือ TLA + ซึ่งวิธีการที่มักจะมีอัตราผลตอบแทนที่สำคัญความเข้าใจเกี่ยวกับการออกแบบได้โดยไม่ต้องไปตามเท่าที่สเปคเต็มรูปแบบหรือการตรวจสอบรูปแบบ ในกรณีหนึ่ง CN กลั่นร้อยแก้วการออกแบบของการจำลองแบบความผิดพลาดของระบบที่ได้รับการออกแบบโดยวิศวกรของAmazon อื่น ๆ CN เขียนและรูปแบบการตรวจสอบรายละเอียดที่สองระดับของการเห็นพ้องด้วย; เหล่านี้ข้อกำหนดช่วยให้เขาเข้าใจการออกแบบที่ดีพอที่จะนำเสนอการเพิ่มประสิทธิภาพโปรโตคอลที่สำคัญที่รุนแรงลดลงเขียนแฝงในระบบ นอกจากนี้เรายังพบว่าTLA + เป็นเครื่องมือที่ดีสำหรับการสร้างแบบจำลองข้อมูลเช่นเมื่อมีการออกแบบสคีมาสำหรับความสัมพันธ์หรือ"ไม่ SQL ฐานข้อมูล". เราใช้ TLA + การออกแบบที่ไม่น่ารำคาญเค้าร่างที่มีค่าคงที่ความหมายมากกว่าข้อมูลที่มีมากยิ่งขึ้นกว่าข้อ จำกัด มากมายหลายหลากมาตรฐานและข้อจำกัด ที่สำคัญต่างประเทศ จากนั้นเราจะเพิ่มรายละเอียดในระดับสูงของบางส่วนของการดำเนินงานหลักของข้อมูลที่ช่วยให้เราที่ถูกต้องและปรับแต่งคี ผลที่ได้นี้แสดงให้เห็นรูปแบบข้อมูลสามารถถูกมองว่าเป็นเพียงแค่อีกระดับหนึ่งของสิ่งที่เป็นนามธรรมของระบบทั้งหมด นอกจากนี้ยังแสดงให้เห็น TLA + อาจช่วยให้นักออกแบบปรับปรุง scalability ของระบบ เพื่อที่จะเอาคอขวดการขยายขนาดการออกแบบที่ERS มักจะทำลายการทำธุรกรรมอะตอมในการดำเนินงานที่ดีกว่าเม็ดถูกล่ามโซ่ไว้ด้วยกันผ่านงานที่ไม่ตรงกันไหล; TLA + สามารถช่วยสำรวจผลกระทบของการเปลี่ยนแปลงดังกล่าวด้วยความเคารพความเหงาและความสม่ำเสมอ

ผลลัพธ์ (ไทย) 3:

ความสำเร็จกับ dynamodb ให้เรา


หลักฐานพอที่จะนำ TLA กว้างวิศวกรรมชุมชน
Amazon นี้ยกความท้าทายอย่างไร
สื่อวัตถุประสงค์และประโยชน์ของวิธีการอย่างเป็นทางการเพื่อให้ผู้ชม

ของวิศวกรซอฟต์แวร์ วิศวกรคิด
แง่ของการแก้จุดบกพร่องมากกว่า " ยืนยัน " เราเรียกว่า " การดีบักการออกแบบการนำเสนอ

" 18 ต่อเนื่องคำเปรียบเทียบเราได้พบว่า วิศวกรซอฟต์แวร์เพิ่มเติมพร้อมเข้าใจแนวคิดและการปฏิบัติคุณค่าของ TLA ถ้า
เราพากย์ " รหัสปลอมทำทดสอบได้ " เราเริ่มหลีกเลี่ยงคำ
" อย่างเป็นทางการ " , " ตรวจสอบ " และ " หลักฐาน "
เนื่องจากแพร่หลายดูวิธีการอย่างเป็นทางการที่ใช้งานไม่ได้ เรายังหลีกเลี่ยงการกล่าวขวัญว่า tla

ตอนแรกยืนสำหรับเป็นทำเพื่อจะให้
ความประทับใจที่ไม่ถูกต้องของความซับซ้อน
ทันทีหลังจากได้เห็นการนำเสนอ , การทำงานเป็นทีมบน S3 ถาม
ช่วยใช้ TLA ตรวจสอบขั้นตอนวิธีเครือข่าย ) ใหม่
.
เอกสารสำหรับขั้นตอนวิธี
มีหลายขนาดใหญ่ซับซ้อน
ไดอะแกรมเครื่องรัฐ การตรวจสอบสภาพเครื่องจักร

พิจารณา ทีมได้เขียนโปรแกรมภาษาจาวาเพื่อสำรวจการใช้กำลัง
เป็นไปได้ :เป็นยากสายรูปแบบ
ตรวจสอบรูปแบบ พวกเขาสามารถหลีกเลี่ยงความพยายาม

โดย TLA แทน .
f.z. ผู้เขียนสองรุ่นของ
สเป็คไปสองสัปดาห์ สำหรับปัญหานี้

โดยเฉพาะ f.z. พบว่าเธอมีประสิทธิผลมากขึ้นใน pluscal
กว่า TLA และเราได้สังเกตเห็นว่า
วิศวกรมักจะพบว่ามันง่ายที่จะเริ่มต้นด้วย

pluscal .รูปแบบการตรวจสอบพบสองสีสันแมลงในขั้นตอนวิธีและอนุญาตให้
f.z. เพื่อตรวจสอบการแก้ไขทั้ง f.z. แล้ว
ใช้สเป็คทดลองกับ
ออกแบบ การเพิ่มคุณสมบัติใหม่และการเพิ่มประสิทธิภาพ แบบตรวจสอบอย่างรวดเร็ว

พบว่า บางส่วนของการเปลี่ยนแปลงเหล่านี้จะแนะนำแมลง ความสำเร็จนี้นำ

เพื่อสนับสนุนการจัดการ AWS TLA เพื่อทีมอื่นทำงานบน S3 . วิศวกรจากทีมผู้
เขียนรายละเอียดสองขั้นตอนวิธีการ
เพิ่มเติมและหนึ่งคุณลักษณะใหม่
f.z. ช่วยสอนวิธีการเขียนให้พวกเขา
รายละเอียดแรกของพวกเขา เราพบมันที่ให้กำลังใจ

TLA สามารถสอนโดยวิศวกรที่ยังใหม่กับมันเอง นี้เป็นสิ่งสำคัญสำหรับการปรับใช้อย่างรวดเร็ว

ในองค์กรขนาดใหญ่เป็น Amazon
เขียน b.m. เป็นวิศวกรเช่น .
สเป็คครั้งแรกของเขาสำหรับขั้นตอนวิธี
ทราบว่ามีข้อผิดพลาดบาง บั๊ก
ที่ผ่านมาสังเกตผ่านบทวิจารณ์การออกแบบและหลายรหัสรีวิว
และมี surfaced เพียงหลังจากเดือนของ
การทดสอบ b.m. ใช้เวลาสองสัปดาห์การเรียนรู้
TLA และเขียน spec ใช้เลย

มีแบบตรวจสอบพบข้อผิดพลาดในไม่กี่วินาที ทีมงานได้ออกแบบและตรวจสอบแก้ไขข้อผิดพลาด
ดังนั้น b.m. เปลี่ยนสเป็ครวม
เสนอแก้ไขแบบตรวจสอบ
เจอปัญหายังคงเกิดขึ้นใน
ติดตามการดำเนินการที่แตกต่างกัน a
แก้ไขแข็งแกร่งถูกเสนอ และแบบตรวจสอบ
ตรวจสอบแก้ไข 2 b.m. ต่อมาเขียน
สเป็คอีกสำหรับขั้นตอนวิธีที่แตกต่างกัน .
ที่ Spec ไม่เปิดเผยข้อบกพร่องใด ๆแต่ที่สำคัญหลายงงงวย
ได้ค้นพบในเอกสารสำหรับขั้นตอนวิธี spec ช่วยแก้ไข
.
ค่อนข้างอิสระหลังจากเห็นภายในเสนอ TLA
เขียนเมตร , B และ - สอน -

และตัว pluscal TLA และเริ่มใช้พวกเขาในแต่ละโครงการ
โดยไม่ต้องชักชวนเพิ่มเติมหรือความช่วยเหลือ ปริญญาโทใช้ pluscal เพื่อหาข้อบกพร่องและเขียน 3

ส่วนตัวของเขาสาธารณะบล็อกเกี่ยวกับการทดลองกับ TLA -
ด้านข้างของ Amazon 7 - ใช้ pluscal


เช็คฟรีล็อคพร้อมกันขั้นตอนวิธีแล้วใช้ TLA หาจุดบกพร่องที่สำคัญ

หนึ่ง AWS สำคัญที่สุดใหม่กระจายขั้นตอนวิธี - ยัง
พัฒนาแก้ไขข้อผิดพลาดและตรวจสอบแก้ไข อิสระ , C.N . เขียน
spec สำหรับอัลกอริทึมเดียวกันนั่นคือ
ค่อนข้างแตกต่างในสไตล์จากสเป็ค
เขียนโดย วัฒน์ แต่ทั้งสองพบ
ข้อผิดพลาดเดียวกันในขั้นตอนวิธีการ นี้แสดงให้เห็นประโยชน์ของการใช้ TLA มี
ค่อนข้างมีเสถียรภาพเพื่อการเปลี่ยนแปลงของวิศวกร รายละเอียดมีทั้งใช้ในภายหลังเพื่อตรวจสอบว่า การเพิ่มประสิทธิภาพที่สำคัญ

วิธีไม่แนะนำข้อบกพร่องใด ๆ .

ใช้วิศวกรที่ Amazon ยังคง TLA ใช้ฝึกเขียนแบบร้อยแก้วแบบแรก

เอกสาร แล้วแบบเพิ่มหน่วยการกลั่น
ชิ้นส่วนมันเป็น pluscal หรือ TLA . วิธีนี้

ที่สำคัญมักจะเพิ่มความเข้าใจเกี่ยวกับการออกแบบโดยที่ไม่ต้องเป็น
เท่าที่ครบถ้วน หรือรูปแบบการตรวจสอบ ในอีกกรณีหนึ่ง ซี. กลั่นเป็นร้อยแก้ว

) การออกแบบของระบบที่ถูกออกแบบโดยวิศวกร Amazon อื่น ๆ เขียนแบบและตรวจสอบคุณสมบัติ ซี.

อยู่สองระดับของการ ; คุณสมบัติเหล่านี้ช่วยให้เขาเข้าใจ

ออกแบบดีพอที่จะเสนอการเพิ่มประสิทธิภาพที่สำคัญ

ที่การลดศักยภาพใน
เขียนระบบ นอกจากนี้เรายังได้ค้นพบว่า
TLA เป็นเครื่องมือที่ยอดเยี่ยมสำหรับแบบจำลองข้อมูล เช่น เมื่อออกแบบ schema
สำหรับฐานข้อมูลเชิงสัมพันธ์หรือ " ฐานข้อมูลไม่ SQL " .
เราใช้ TLA ออกแบบไม่ใช่ trivial

ความหมายมาด้วยผลยืนยงกว่าข้อมูลที่ดีขึ้นมากกว่า

ข้อจำกัดและข้อจำกัดหลายอย่างมาตรฐานคีย์ต่างประเทศ เราเพิ่มแล้ว
คุณสมบัติพื้นฐานของบางส่วนของการดำเนินงานหลักในข้อมูล

ช่วยเราที่ถูกต้องและปรับแต่งสคีมา ผลที่ได้นี้แสดงให้เห็นว่าแบบจำลองข้อมูล
สามารถถูกมองว่าเป็นแค่ระดับ
นามธรรมของระบบทั้งหมด นอกจากนี้ยังอาจช่วยให้นักออกแบบ
แนะนำ TLA ปรับปรุง scalability ของระบบ เพื่อที่จะเอาคอขวด (
-
ERS การออกแบบมักจะแบ่ง
ธุรกรรมอะตอมในเมล็ดปลีกย่อยการล่ามโซ่ด้วยกันผ่านงาน -

แบบไหล ; TLA สามารถช่วยสำรวจผลกระทบของการเปลี่ยนแปลงดังกล่าว ด้วยความเคารพ
เพื่อแยกและความสอดคล้อง