In this new entry of the blog we wi

In this new entry of the blog we will explain how a distributed cache system works. Before I started working on this post my original idea was to explain only one caching algorithm (the idea appear while I was reading groupchache source code to understand the hashing algorithm. By the way, is an amazing piece of software, you should check it) so I started implementing it and when I was done I realize that would be nice to test in some way, so why not implement a simple and basic distributed cache system in a way that is easy to explain? This entry will be splitted as independent entries:

Introduction to a cache system
Understanding the cache/container
Understanding the hashing
Design the protocol [Not ready]
Understanding the discovery system [Not ready]
Here we go ;)

DISCLAIMER
I’m not an expert on caching systems
I’m a python fanatic
The final cache system is not production ready nor finished :)
What is a Cache system?
At a glance a cache system is a basic piece of software, is not rocket sience, afterall is as simple as having a piece of memory for storing data identified by some key.

Well… sounds simple but if we start adding features it becomes more complex, so we need to know when to stop adding fancy stuff. Our system at least will have this requirements:

Modular: Yeah, we need the ability to change the algorithms and stuff as we want without to much trouble
Cache: We want to store things… (Thanks captain obvious :P)
Distributed: We need to add and remove nodes as the data grows…
The least data loss: We should lose the minimun data when removing nodes from the system
Dynamic: We need to add nodes and remove without the need to restart all the nodes (cluster)
Service discovery: Automatic discovery of new nodes when a adding a new one
Our design
The system will be the group of these pieces:

A cache algorithm to store the data
A hashing algorithm to distribute the data across the cluster
A communication protocol to talk to the nodes and between the nodes
A service discovery system so the nodes could talk each other
As I said before this cache system is not for production or use. It has been designed only with educationl pourposes in mind, it has been designed omitting error handling, data replication, optimization… there are a lot of amazing cache systems out there like Memcached or Groupchache (both from the same person bradfitz)

This will be the schema of the cache system when finished, looks exciting, doesn’t it?

Cache schema

Lets start messing around with the cache algorithm! part 2

ผลลัพธ์ (ไทย) 1:

ในรายการนี้ใหม่ของบล็อก เราจะอธิบายวิธีการทำงานของระบบแคชกระจาย ก่อนที่ผมเริ่มทำบทความนี้ความคิดเดิมของฉัน คือการ อธิบายเพียงแคอัลกอริทึม (ความคิดที่ปรากฏในขณะที่ฉันกำลังอ่าน groupchache รหัสแหล่งที่มาจะเข้าใจขั้นตอนวิธีการ hashing โดยวิธี เป็นตื่นตาตื่นใจของซอฟแวร์ คุณควรตรวจสอบ) ดังนั้นฉันเริ่มต้นนำ และเมื่อฉันทำ ฉันตระหนักที่จะดีในการทดสอบในบางวิธี ดังนั้นทำไมไม่ใช้ระบบแคกระจายง่าย และพื้นฐานที่จะอธิบายหรือไม่ รายการนี้จะเป็นรายการอิสระ splitted:แนะนำระบบแคชเข้าใจแค/ภาชนะเข้าใจการ hashingออกแบบโพรโทคอล [ไม่พร้อม]เข้าใจระบบค้นพบ [ไม่พร้อม]ที่นี่เราไป;)การปฏิเสธฉันไม่มีความเชี่ยวชาญในระบบแคชผมเป็นคนที่คลั่งไคล้ของงูระบบสุดท้ายแคไม่ผลิตพร้อม หรือสำเร็จรูป:)ระบบแคชคืออะไรได้อย่างรวดเร็ว ระบบแคชเป็นชิ้นส่วนพื้นฐานของซอฟแวร์ ไม่ sience จรวด นของมีชิ้นส่วนของหน่วยความจำสำหรับจัดเก็บข้อมูลที่ระบุ โดยคีย์บางดี...เสียงง่ายแต่ถ้าเราเริ่มเพิ่มลักษณะการทำงานซับซ้อนมากขึ้น ดังนั้นเราต้องรู้ว่าเมื่อหยุดการเพิ่มสิ่งที่แฟนซี ระบบของเราน้อยจะมีความต้องการนี้:มอดุลาร์: ใช่ เราต้องสามารถเปลี่ยนอัลกอริทึมและสิ่งเราต้องการโดยไม่ต้องการมากแคช: เราต้องการเก็บสิ่ง... (ขอขอบคุณกัปตันชัด: P)กระจาย: เราต้องการเพิ่ม และลบโหนเป็นข้อมูลเติบโต...การสูญเสียข้อมูลน้อยที่สุด: เราจะสูญเสียข้อมูล minimun เมื่อเอาโหนจากระบบแบบไดนามิก: เราจำเป็นต้องเพิ่มโหน และเอาออกโดยไม่จำเป็นต้องรีสตาร์ทโหนทั้งหมด (คลัสเตอร์)บริการค้นหา: การค้นพบใหม่โหนเพิ่มใหม่โดยอัตโนมัติออกแบบของเราระบบจะมีกลุ่มของชิ้นส่วนเหล่านี้:อัลกอริทึมแคชของการเก็บข้อมูลอัลกอริทึม hashing เพื่อกระจายข้อมูลในคลัสเตอร์โพรโทคอลการสื่อสารพูด และ ระหว่างโหนโหนระบบการค้นพบบริการดังนั้นโหนสามารถพูดคุยกันอย่างที่บอกว่า ก่อนนี้ระบบแคชไม่ผลิตหรือใช้ ได้รับการออกแบบเท่ากับ pourposes educationl ในใจ การแบบรัฐบาลจัดการข้อผิดพลาด การจำลองแบบข้อมูล เพิ่มประสิทธิภาพ...มีระบบแคตื่นตาตื่นใจค่ะเช่น Memcached หรือ Groupchache (ทั้งจาก bradfitz คนเดียวกัน)นี้จะเป็นแบบแผนของระบบแคชเมื่อเสร็จแล้ว น่าตื่นเต้น ดูไม่ได้หรือไม่แผนการแคชให้เริ่ม messing รอบ ด้วยอัลกอริทึมแคช ส่วนที่ 2

ผลลัพธ์ (ไทย) 2:

ในรายการใหม่นี้ของบล็อกที่เราจะอธิบายวิธีการทำงานของระบบแคชกระจาย ก่อนที่ผมจะเริ่มทำงานในโพสต์นี้ความคิดเดิมของฉันคือการอธิบายเพียงหนึ่งขั้นตอนวิธีการแคช (ความคิดที่ปรากฏในขณะที่ผมอ่านรหัสที่มา groupchache จะเข้าใจขั้นตอนวิธี hashing. โดยวิธีการที่เป็นชิ้นที่น่าตื่นตาตื่นใจของซอฟต์แวร์ที่คุณควรตรวจสอบได้) ดังนั้นผมจึงเริ่มดำเนินการนั้นและเมื่อฉันได้ทำฉันตระหนักดีว่าจะดีในการทดสอบในทางใดทางหนึ่งดังนั้นทำไมไม่ใช้ระบบแคชกระจายง่ายและพื้นฐานในทางที่เป็นเรื่องง่ายที่จะอธิบายได้หรือไม่ รายการนี้จะเป็นรายการ splitted อิสระ: รู้เบื้องต้นเกี่ยวกับระบบแคชแคชทำความเข้าใจ / ภาชนะเข้าใจคร่ำเครียดออกแบบโปรโตคอล [ไม่พร้อม] ทำความเข้าใจเกี่ยวกับระบบการค้นพบ [ไม่พร้อม] ที่นี่เราไป;) การปฏิเสธความรับผิดฉันไม่ผู้เชี่ยวชาญเกี่ยวกับ ระบบแคชฉันคลั่งหลามระบบแคชสุดท้ายคือการผลิตไม่พร้อมหรือเสร็จ :) อะไรคือสิ่งที่ระบบแคช? ได้อย่างรวดเร็วระบบแคชเป็นชิ้นส่วนพื้นฐานของซอฟแวร์ที่ไม่ Sience จรวด afterall เป็นง่ายๆเป็นมี ชิ้นส่วนของหน่วยความจำสำหรับการจัดเก็บข้อมูลที่ระบุที่สำคัญบางอย่าง. อืม ... ฟังดูง่าย แต่ถ้าเราเริ่มต้นการเพิ่มคุณสมบัติมันจะกลายเป็นความซับซ้อนมากขึ้นดังนั้นเราจึงจำเป็นต้องรู้เมื่อมีการหยุดการเพิ่มสิ่งแฟนซี ระบบของเราอย่างน้อยจะมีความต้องการที่นี้: Modular: ใช่เราต้องการความสามารถในการเปลี่ยนแปลงขั้นตอนวิธีการและสิ่งที่เราต้องการได้โดยไม่ต้องไปที่ปัญหามากแคช: เราต้องการที่จะเก็บสิ่ง ... (ขอขอบคุณกัปตันชัดเจน: P) กระจาย: เราจำเป็นต้อง เพิ่มและลบโหนดเป็นข้อมูลที่เติบโตขึ้น ... อย่างน้อยการสูญหายของข้อมูล: เราควรจะสูญเสียข้อมูล minimun เมื่อลบโหนดจากระบบแบบไดนามิก: เราจำเป็นต้องเพิ่มโหนดและลบโดยไม่จำเป็นต้องรีสตาร์ททุกโหนด (กลุ่ม) การค้นพบการบริการ: อัตโนมัติ การค้นพบของโหนดใหม่เมื่อเพิ่มใหม่การออกแบบของเราระบบจะเป็นกลุ่มของชิ้นส่วนเหล่านี้: ขั้นตอนวิธีการแคชในการเก็บข้อมูลขั้นตอนวิธีคร่ำเครียดในการเผยแพร่ข้อมูลทั่วคลัสเตอร์โปรโตคอลการสื่อสารพูดคุยกับโหนดและระหว่าง โหนดการค้นพบระบบการให้บริการเพื่อให้โหนดสามารถพูดคุยกันที่ผมกล่าวว่าก่อนที่ระบบแคชนี้ไม่ได้สำหรับการผลิตหรือการใช้งาน มันได้รับการออกแบบมาเฉพาะกับ pourposes EDUCATIONL ในใจได้รับการออกแบบถนัดจัดการข้อผิดพลาดการจำลองแบบข้อมูลการเพิ่มประสิทธิภาพ ... มีจำนวนมากของระบบแคชที่น่าตื่นตาตื่นใจออกมีเช่น Memcached หรือ Groupchache (ทั้งจาก bradfitz คนคนเดียวกัน) นี้จะเป็น คีระบบแคชเมื่อเสร็จแล้วดูน่าตื่นเต้นไม่ได้หรือไม่คีแคชให้เริ่มต้น messing รอบด้วยอัลกอริทึมแคช! ส่วนที่ 2

ผลลัพธ์ (ไทย) 3:

ในรายการใหม่นี้ของบล็อกเรา จะอธิบายว่า การกระจายระบบแคชงาน ก่อนที่ผมจะเริ่มทำงานเกี่ยวกับเรื่องนี้ความคิดเดิมของฉันคือการอธิบายขั้นตอนวิธีการแคช ( เพียงหนึ่งความคิดปรากฏขึ้นในขณะที่ผมกำลังอ่าน groupchache รหัสแหล่งที่มาเพื่อให้เข้าใจการ hashing ขั้นตอนวิธี โดยทาง เป็นชิ้นที่น่าตื่นตาตื่นใจของซอฟต์แวร์คุณควรตรวจสอบมัน ) ผมเริ่มใช้มันและเมื่อฉันเสร็จ ฉันตระหนักว่า จะทำดีเพื่อทดสอบในบางวิธี ดังนั้นทำไมไม่ใช้ง่ายและพื้นฐานระบบแคชแบบกระจายในลักษณะที่เป็นเรื่องง่ายที่จะอธิบาย รายการนี้จะถูกแยกเป็นรายการอิสระ :

แนะนำแคชระบบแคช / ตู้

เข้าใจความเข้าใจการ hashing
ออกแบบโปรโตคอล [ ไม่ ]
พร้อมความเข้าใจการค้นพบระบบ [ ไม่เสร็จ ]
เอาเลย ; )

Disclaimer
ฉันไม่ผู้เชี่ยวชาญเกี่ยวกับแคชระบบ
ฉันงูเหลือมคลั่ง
สุดท้ายแคชระบบไม่ใช่การผลิตพร้อมหรือเสร็จ : )
สิ่งที่เป็นระบบแคช ?
มองระบบแคชเป็นชิ้นส่วนพื้นฐานของซอฟต์แวร์ที่ไม่ได้เป็น Sience จรวด นอกนั้นเป็นง่ายๆเป็นมีชิ้นส่วนของหน่วยความจำสำหรับจัดเก็บข้อมูลโดยระบุบางคีย์

อืม . . . ฟังดูง่าย แต่ถ้าเราเริ่มต้นการเพิ่มคุณสมบัติจะกลายเป็นความซับซ้อนมากขึ้น ดังนั้นเราต้องรู้เมื่อจะหยุดการเพิ่มของแฟนซี ระบบของเรา อย่างน้อยก็จะมีความต้องการ :

Modular : ใช่ เราต้องการความสามารถในการเปลี่ยนวิธีการและสิ่งที่เราต้องการโดยไม่ต้องมากปัญหา
แคช : เราต้องการจัดเก็บสิ่งที่ . . . . . . . ( ขอบคุณกัปตันที่ชัดเจน : P )
กระจาย :เราต้องเพิ่มและลบโหนดเป็นข้อมูลที่เติบโตขึ้น . . . . . . .
อย่างน้อยข้อมูลที่สูญหาย : เราต้องสูญเสียข้อมูล minimun เมื่อเอาโหนดจากระบบ
แบบไดนามิก : เราต้องการเพิ่มโหนดและลบโดยไม่ต้องรีสตาร์ทโหนดทั้งหมด ( กลุ่ม ) การค้นพบ
บริการอัตโนมัติค้นพบโหนดใหม่ที่เพิ่ม ออกแบบของเราใหม่

ระบบจะมีกลุ่มของชิ้นส่วนเหล่านี้ :

ใช้วิธีเก็บข้อมูลการ hashing ขั้นตอนวิธีเพื่อกระจายข้อมูลในคลัสเตอร์
เป็นโปรโตคอลการสื่อสารพูดคุยกับโหนดและระหว่างโหนด
ระบบบริการการค้นพบ ดังนั้นโหนดสามารถพูดคุยกัน
ที่ผมกล่าวก่อนระบบแคชนี้ไม่ใช่เพื่อการผลิตหรือการใช้ มันถูกออกแบบมาเฉพาะและ pourposes ในใจ มันได้รับการออกแบบละเว้นการจัดการข้อผิดพลาดข้อมูลการเพิ่มประสิทธิภาพ . . . . . . . มีมากของระบบแคชที่น่าทึ่งออกมีเช่น memcached หรือ groupchache ( ทั้งจากบุคคลเดียวกัน bradfitz )

นี้จะเป็นรูปแบบของระบบแคชเมื่อเสร็จแล้วดูน่าตื่นเต้น ใช่ไหม ?

แคชมา

เริ่มยุ่งกับแคชอัลกอริธึม ! ส่วนที่ 2