Alternating Least Squares: We have

Alternating Least Squares: We have implemented the alternating least squares job in Section 3.3 to measure the benefit of broadcast variables for iterative jobs that copy a shared dataset to multiple nodes. We found that without using broadcast variables, the time to resend the ratings matrix R on each iteration dominated the job’s running time. Furthermore, with a na ̈ıve implementation of broad- cast (using HDFS or NFS), the broadcast time grew linearly with the number of nodes, limiting the scalability of the job. We implemented an application-level multicast system to mitigate this. However, even with fast broad- cast, resending R on each iteration is costly. Caching R in memory on the workers using a broadcast variable im- proved performance by 2.8x in an experiment with 5000 movies and 15000 users on a 30-node EC2 cluster.
Interactive Spark: We used the Spark interpreter to load a 39 GB dump of Wikipedia in memory across 15 “m1.xlarge” EC2 machines and query it interactively. The first time the dataset is queried, it takes roughly 35 sec- onds, comparable to running a Hadoop job on it. How- ever, subsequent queries take only 0.5 to 1 seconds, even if they scan all the data. This provides a qualitatively dif- ferent experience, comparable to working with local data.

ผลลัพธ์ (ไทย) 1:

สลับกำลังสองน้อยสุด: เราได้ใช้งานอย่างน้อยสี่เหลี่ยมสลับใน 3.3 ส่วนเพื่อประโยชน์ของตัวแปรออกอากาศซ้ำงานที่คัดลอกการชุดข้อมูลที่ใช้ร่วมกันกับโหนหลายวัด เราพบว่า โดยไม่ต้องใช้ตัวแปรออกอากาศ เวลาที่จะส่งประเมินเมตริกซ์ R บนเนื่องครอบงำของงานเวลาทำงาน นอกจากนี้ กับปฏิบัติการ ̈ıve นาหล่อกว้าง (ใช้ HDFS หรือ NFS), เวลาที่ออกอากาศขยายตัวเชิงเส้น ด้วยหมายเลขของโหน จำกัดขนาดของงาน เราใช้ระบบแบบหลายผู้รับระดับโปรแกรมประยุกต์การลดนี้ อย่างไรก็ตาม แม้กว้างรวดเร็วหล่อ ส่ง R อีกครั้งบนเนื่องมีค่าใช้จ่าย แค R ในหน่วยความจำในคนงานที่ใช้ออกอากาศแปร im แบบพิสูจน์ประสิทธิภาพ โดย x 2.8 ในการทดลองกับภาพยนตร์ 5000 15000 ผู้ใช้บน EC2 30-โหนคลัสเตอร์หัวเทียนแบบโต้ตอบ: เราใช้ล่ามประกายโหลดการ 39 GB ถ่ายโอนข้อมูลของวิกิพีเดียในหน่วยความจำในเครื่อง "m1.xlarge" EC2 15 และแบบสอบถามสำหรับ ครั้งแรกสอบถามชุดข้อมูล ใช้เวลาประมาณ 35 วินาที - onds เทียบเท่ากับการใช้งานอย่างไร Hadoop มัน วิธี - เคย แบบสอบถามภายหลังใช้เพียง 0.5-1 วินาที แม้ว่าพวกเขาสแกนข้อมูลทั้งหมด ให้เป็น qualitatively dif ferent ประสบการณ์ เทียบเท่ากับการทำงานกับข้อมูลภายในเครื่อง

ผลลัพธ์ (ไทย) 2:

สลับสี่เหลี่ยมน้อย: เราได้ดำเนินการสลับงานสี่เหลี่ยมน้อยในมาตรา 3.3 การวัดประโยชน์ของตัวแปรออกอากาศสำหรับงานที่ซ้ำคัดลอกชุดข้อมูลที่ใช้ร่วมกันเพื่อโหนดหลาย เราพบว่าโดยไม่ต้องใช้ตัวแปรออกอากาศเวลาในการส่งการจัดอันดับเมทริกซ์ R ในแต่ละซ้ำเวลาการทำงานที่โดดเด่นของงาน นอกจากนี้ยังมี na Ive การดำเนินงานของที่ทำงานแบบกว้างหล่อ (ใช้ HDFS หรือ NFS) เวลาออกอากาศเพิ่มขึ้นเป็นเส้นตรงกับจำนวนโหนดที่ จำกัด การขยายขนาดของงาน เราดำเนินการระบบหลายผู้รับระดับโปรแกรมประยุกต์เพื่อบรรเทานี้ อย่างไรก็ตามแม้จะมีนักแสดงที่ทำงานแบบกว้างอย่างรวดเร็ว resending R ในแต่ละย้ำเป็นค่าใช้จ่าย แคช R ในความทรงจำเกี่ยวกับคนงานโดยใช้ตัวแปรออกอากาศญได้รับการพิสูจน์ประสิทธิภาพโดย 2.8 เท่าในการทดสอบกับ 5000 ภาพยนตร์และ 15000 ผู้ใช้ในคลัสเตอร์ EC2 30 โหนด.
อินเตอร์แอคที Spark: เราใช้ล่ามจุดประกายในการโหลดการถ่ายโอนข้อมูล 39 กิกะไบต์ วิกิพีเดียในหน่วยความจำข้าม 15 "m1.xlarge" เครื่อง EC2 และแบบสอบถามมันโต้ตอบ ครั้งแรกชุดข้อมูลที่จะถูกสอบถามก็จะใช้เวลาประมาณ 35 วินาทีเมื่อเทียบกับการทำงานงาน Hadoop บนมัน อย่างไรก็ตามการที่เคยคำสั่งที่ตามมาจะใช้เวลาเพียง 0.5-1 วินาทีแม้ว่าพวกเขาจะสแกนข้อมูลทั้งหมด นี้จะให้ประสบการณ์ที่แตกต่างกันในเชิงคุณภาพเทียบเท่ากับการทำงานกับข้อมูลท้องถิ่น

ผลลัพธ์ (ไทย) 3:

อย่างน้อยเราได้ใช้สลับ : สลับอย่างน้อยงานในส่วน 3.3 วัดประโยชน์ตัวแปรที่แพร่ภาพซ้ำงานที่คัดลอกข้อมูลไปยังโหนดที่ใช้ร่วมกันหลาย ๆ เราพบว่ามีการใช้ตัวแปรออกอากาศ เวลาที่จะส่งคะแนนเมตริกซ์ R ในแต่ละ iteration ครอบงำของงานทำงานเวลา นอกจากนี้ด้วยนา ̈ıเคยใช้กว้าง - หล่อ ( ใช้ hdfs หรือ NFS ) , เวลาออกอากาศเพิ่มขึ้นตามจำนวนของโหนดจำกัด ( งาน เราใช้ระบบการส่งข้อมูลเพื่อลดระดับนี้ อย่างไรก็ตาม แม้ด้วยความรวดเร็วกว้าง - หล่อ , การส่ง R ในแต่ละ iteration เป็นบทเรียนราคาแพงแคชในหน่วยความจำที่คนงานใช้ตัวแปรออกอากาศ im - พิสูจน์ผลงานโดย 2.8x ในการทดลองกับ 5000 ภาพยนตร์ และ 15 , 000 ผู้ใช้บน EC2 30 โหนดคลัสเตอร์
จุดประกายโต้ตอบ : เราใช้ประกายล่ามโหลด 39 GB ถ่ายโอนข้อมูลจากวิกิพีเดียในความทรงจำผ่าน 15 " M1 xlarge " EC2 เครื่องและค้นหามัน แบบโต้ตอบ ครั้งแรกข้อมูลเป็นสอบถาม ใช้เวลาประมาณ 35 - onds วินาที ,เปรียบได้กับใช้ Hadoop งานบน วิธีการค้นหาเคยต่อมาใช้เวลาเพียง 0.5 - 1 วินาที แม้ว่าพวกเขาจะสแกนข้อมูลทั้งหมด นี้มีคุณภาพ ferent DIF - ประสบการณ์ เปรียบได้กับการทำงานกับข้อมูลท้องถิ่น