We note that our cache action is on

We note that our cache action is only a hint: if there is not enough memory in the cluster to cache all partitions of a dataset, Spark will recompute them when they are used. We chose this design so that Spark programs keep working (at reduced performance) if nodes fail or if a dataset is too big. This idea is loosely analogous to virtual memory.

We also plan to extend Spark to support other levels of persistence (e.g., in-memory replication across multiple nodes). Our goal is to let users trade off between the cost of storing an RDD, the speed of accessing it, the probability of losing part of it, and the cost of recomputing it

ผลลัพธ์ (ไทย) 1:

เราทราบว่า การกระทำของเราแคเฉพาะคำแนะนำ: ถ้ามีไม่พอในคลัสเตอร์การพาร์ติชันทั้งหมดของชุดข้อมูลแคช สปาร์คจะ recompute พวกเขาเมื่อพวกเขาจะใช้ เราเลือกออกแบบนี้เพื่อให้โปรแกรมจุดประกายทำงาน (ที่ประสิทธิภาพลดลง) หากโหนล้มเหลว หรือ หากชุดข้อมูลมีขนาดใหญ่เกินไป ความคิดนี้ได้ซึ่งคล้ายคลึงกับหน่วยความจำเสมือนเรายังวางแผนที่จะขยายจุดประกายเพื่อสนับสนุนระดับอื่น ๆ ที่มีอยู่ (เช่น ในจำลองแบบข้ามหลายโหน) เป้าหมายของเราคือเพื่อ ให้ผู้ค้าปิดระหว่างต้นทุนของการจัดเก็บการ RDD ความเร็วของการเข้าถึง ความน่าเป็นการสูญเสียส่วนหนึ่งของมัน และต้นทุนของ recomputing มัน

ผลลัพธ์ (ไทย) 2:

เราทราบว่าการดำเนินการแคชของเราเป็นเพียงคำแนะนำ: ถ้ามีหน่วยความจำไม่เพียงพอในคลัสเตอร์แคชพาร์ทิชันทั้งหมดของชุด, Spark จะ recompute พวกเขาเมื่อพวกเขาจะใช้ เราเลือกออกแบบนี้เพื่อให้โปรแกรม Spark ให้ทำงาน (ที่ผลการดำเนินงานที่ลดลง) ถ้าโหนดล้มเหลวหรือถ้าชุดข้อมูลที่มีขนาดใหญ่เกินไป ความคิดนี้เป็นอย่างหลวม ๆ คล้ายกับหน่วยความจำเสมือน. นอกจากนี้เรายังวางแผนที่จะขยายจุดประกายให้การสนับสนุนระดับอื่น ๆ ของการติดตา (เช่นการจำลองแบบในหน่วยความจำผ่านโหนดหลาย) เป้าหมายของเราคือเพื่อให้ผู้ใช้ค้าปิดระหว่างค่าใช้จ่ายในการจัดเก็บ RDD ความเร็วของการเข้าถึงความน่าจะเป็นของการสูญเสียส่วนหนึ่งของมันและค่าใช้จ่ายของ recomputing มัน

ผลลัพธ์ (ไทย) 3:

เราทราบว่า การกระทำของของเราเป็นเท่านั้นหากไม่มีหน่วยความจำเพียงพอในกลุ่มแคชทั้งหมดพาร์ทิชันของชุดข้อมูลและประกายไฟจะ recompute พวกเขาเมื่อพวกเขาจะใช้ เราเลือกออกแบบนี้ เพื่อจุดประกายให้โปรแกรมทำงาน ( ที่ลดประสิทธิภาพ ) ถ้าโหนดล้มเหลวหรือถ้าข้อมูลมีขนาดใหญ่เกินไป ความคิดนี้ loosely คล้ายคลึงกับหน่วยความจำเสมือน .

เรายังวางแผนที่จะขยายการจุดประกายเพื่อสนับสนุนระดับอื่นๆ เช่น การคงอยู่ในความทรงจำไปหลายจุด ) เป้าหมายของเราคือเพื่อให้ผู้ใช้การค้าออกระหว่างค่าใช้จ่ายของการจัดเก็บการ rdd ความเร็วในการเข้าถึงมัน ความน่าจะเป็นของการสูญเสียเป็นส่วนหนึ่งของมัน และต้นทุนของ recomputing มัน