A simple application may start out

A simple application may start out with one database, but as you scale and add features, it usually turns into a tangled mess of datastores, replicas, caches, search indexes, analytics systems and message queues. When new data is written, how do you make sure it ends up in all the right places? If something goes wrong, how do you recover?

Change Data Capture (CDC) is an old idea: let the application subscribe to a stream of everything that is written to a database – a feed of data changes. You can use that feed to update search indexes, invalidate caches, create snapshots, generate recommendations, copy data into another database, and so on. For example, LinkedIn’s Databus and Facebook’s Wormhole do this. But the idea is not as widely known as it should be.

In this talk, I will explain why change data capture is so useful, and how it prevents race conditions and other ugly problems. Then I’ll go into the practical details of implementing CDC with PostgreSQL and Apache Kafka, and discuss the approaches you can use to do the same with various other databases.

ผลลัพธ์ (ไทย) 1:

การอาจเริ่มต้น ด้วยฐานข้อมูลหนึ่ง แต่คุณปรับมาตราส่วน และเพิ่มคุณลักษณะ ก็มักจะเปลี่ยนเป็นระเบียบพัน datastores แบบจำลอง แคช ดัชนีการค้นหา ระบบวิเคราะห์ และคิวข้อความ เมื่อข้อมูลใหม่ถูกเขียน คุณให้แน่ใจว่า มันจบลงในขวา ถ้าสิ่งที่ผิดปกติ วิธีทำคุณกู้คืนเปลี่ยนแปลงข้อมูลกิน (CDC) คือ ความคิดเก่า: ให้โปรแกรมประยุกต์ที่ติดตามกระแสของทุกอย่างที่เขียนไปยังฐานข้อมูล – ฟีดของการเปลี่ยนแปลงข้อมูล คุณสามารถใช้ตัวดึงข้อมูลที่การปรับปรุงดัชนีการค้นหา ทำให้แค สร้าง snapshot สร้างคำแนะนำ การคัดลอกข้อมูลลงในฐานข้อมูลอื่น และอื่น ๆ , Databus ของ LinkedIn และรูหนอนของ Facebook ทำเช่น นี้ แต่ความคิดที่ไม่เป็นที่รู้จักอย่างกว้างขวางควรเป็นในพูดคุยนี้ ผมจะอธิบายทำไมจับข้อมูลการเปลี่ยนแปลงที่เป็นประโยชน์ดังนั้น และวิธีจะป้องกันไม่ให้เงื่อนไขการแข่งขันและปัญหาอื่น ๆ น่าเกลียด แล้ว ฉันจะไปลงรายละเอียดภาคปฏิบัติของการใช้ CDC กับ PostgreSQL และ Apache ฟรานส์ และหารือเกี่ยวกับวิธีที่คุณสามารถใช้เพื่อทำแบบเดียวกันกับฐานข้อมูลต่าง ๆ

ผลลัพธ์ (ไทย) 2:

โปรแกรมที่ง่ายอาจเริ่มต้นด้วยฐานข้อมูลหนึ่ง แต่เป็นคุณขนาดและเพิ่มคุณสมบัติก็มักจะกลายเป็นยุ่งเหยิง datastores เลียนแบบแคช, ดัชนีการค้นหาระบบการวิเคราะห์และคิวข้อความ เมื่อมีข้อมูลใหม่จะถูกเขียนอย่างไรคุณให้แน่ใจว่ามันจะจบลงในทุกสถานที่ที่เหมาะสมหรือไม่ ถ้ามีอะไรผิดพลาดอย่างไรคุณสามารถกู้คืน?

เปลี่ยนข้อมูล Capture (CDC) เป็นความคิดเก่า: ให้โปรแกรมสมัครสมาชิกกับกระแสของทุกอย่างที่ถูกเขียนไปยังฐานข้อมูล - ฟีดของการเปลี่ยนแปลงข้อมูล คุณสามารถใช้ฟีดที่ในการปรับปรุงการจัดทำดัชนีการค้นหาโมฆะแคชสร้างภาพรวมการสร้างข้อแนะนำคัดลอกข้อมูลลงในฐานข้อมูลอื่นและอื่น ๆ ยกตัวอย่างเช่น databus LinkedIn และ Facebook ของหนอนทำเช่นนี้ แต่ความคิดที่ไม่เป็นที่รู้จักกันอย่างแพร่หลายเท่าที่ควร.

ในการพูดคุยนี้ผมจะอธิบายว่าทำไมการจับภาพการเปลี่ยนแปลงข้อมูลที่เป็นประโยชน์มากและวิธีการที่จะป้องกันไม่ให้สภาพการแข่งขันและปัญหาอื่น ๆ ที่น่าเกลียด แล้วฉันจะไปลงในรายละเอียดของการดำเนินการในทางปฏิบัติ CDC กับ PostgreSQL และ Apache คาฟคาและหารือเกี่ยวกับวิธีการที่คุณสามารถใช้ในการทำเช่นเดียวกันกับฐานข้อมูลอื่น ๆ