5.1.1 System Installation, Configur

5.1.1 System Installation, Configuration, and Tuning
We were able to get Hadoop installed and running jobs with little
effort. Installing the system only requires setting up data directories
on each node and deploying the system library and configuration
files. Configuring the system for optimal performance was done
through trial and error. We found that certain parameters, such as
the size of the sort buffers or the number of replicas, had no affect
on execution performance, whereas other parameters, such as using
larger block sizes, improved performance significantly.
The DBMS-X installation process was relatively straightforward.
A GUI leads the user through the initial steps on one of the cluster
nodes, and then prepares a file that can be fed to an installer utility in
parallel on the other nodes to complete the installation. Despite this
simple process, we found that DBMS-X was complicated to configure in order to start running queries. Initially, we were frustrated by
the failure of anything but the most basic of operations. We eventually discovered each node’s kernel was configured to limit the total
amount of allocated virtual address space. When this limit was hit,
new processes could not be created and DBMS-X operations would
fail. We mention this even though it was our own administrative error, as we were surprised that DBMS-X’s extensive system probing
and self-adjusting configuration was not able to detect this limitation. This was disappointing after our earlier Hadoop successes.
Even after these earlier issues were resolved and we had DBMSX running, we were routinely stymied by other memory limitations.
We found that certain default parameters, such as the sizes of the
buffer pool and sort heaps, were too conservative for modern systems. Furthermore, DBMS-X proved to be ineffective at adjusting
memory allocations for changing conditions. For example, the system automatically expanded our buffer pool from the default 4MB
to only 5MB (we later forced it to 512 MB). It also warned us that
performance could be degraded when we increased our sort heap
size to 128 MB (in fact, performance improved by a factor of 12).
Manually changing some options resulted in the system automatically altering others. On occasion, this combination of manual
and automatic changes resulted in a configuration for DBMS-X that
caused it to refuse to boot the next time the system started. As most
configuration settings required DBMS-X to be running in order to
adjust them, it was unfortunately easy to lock ourselves out with no
failsafe mode to restore to a previous state.
Vertica was relatively easy to install as an RPM that we deployed
on each node. An additional configuration script bundled with the
RPM is used to build catalog meta-data and modify certain kernel
parameters. Database tuning is minimal and is done through hints
to the resource manager; we found that the default settings worked
well for us. The downside of this simplified tuning approach, however, is that there is no explicit mechanism to determine what resources were granted to a query nor is there a way to manually
adjust per query resource allocation.
The take-away from our efforts is that we found parallel DBMSs
to be much more challenging than Hadoop to install and configure
properly. There is, however, a significant variation with respect to
ease of installation and configuration across the different parallel
database products. One small advantage for the database systems is
that the tuning that is needed is mostly done prior to query execution, and that certain tuning parameters (e.g., sort buffer sizes) are
suitable for all tasks. In contrast, for Hadoop we not only had to
tune the system (e.g., block sizes), but we also occasionally needed
to tune each individual task to work well with the system (e.g.,
changing code). Finally, the parallel database products came with
tools to aid in the tuning process whereas with Hadoop we were
forced to resort to trial and error tuning; clearly a more mature MR
implementation could include such tuning tools as well.

ผลลัพธ์ (ไทย) 1:

5.1.1 ติดตั้งระบบ โครงแบบ และปรับแต่งเราไม่ได้รับอย่างไร Hadoop ติดตั้ง และใช้งานน้อยด้วยความพยายาม เพียงติดตั้งระบบต้องตั้งค่าไดเรกทอรีข้อมูลบนแต่ละโหนด และปรับใช้ระบบไลบรารีการตั้งค่าคอนฟิกแฟ้ม ตั้งค่าคอนฟิกระบบเพื่อประสิทธิภาพสูงสุดทำผ่านการทดลองและข้อผิดพลาด เราพบว่าพารามิเตอร์บางอย่าง เช่นขนาดของบัฟเฟอร์การเรียงลำดับหรือหมายเลขของแบบจำลอง ก็ไม่มีผลต่อประสิทธิภาพการดำเนินการ ในขณะที่พารามิเตอร์อื่น ๆ เช่นใช้บล็อกใหญ่ขนาด ปรับปรุงประสิทธิภาพอย่างมีนัยสำคัญกระบวนการติดตั้ง DBMS X ค่อนข้างตรงไปตรงมาได้GUI นำผู้ใช้ผ่านขั้นตอนการเริ่มต้นคลัสเตอร์อย่างใดอย่างหนึ่งโหน และจากนั้น จัดเตรียมแฟ้มที่สามารถติดตามโปรแกรมการติดตั้งในขนานบนโหนอื่น ๆ เพื่อทำการติดตั้ง แม้นี้ขั้นตอนง่าย เราพบว่า DBMS X ที่ซับซ้อนในการกำหนดค่าเพื่อเริ่มต้นเรียกใช้แบบสอบถาม เริ่มแรก เราไม่ผิดหวังโดยความล้มเหลวของ anything but พื้นฐานที่สุดของการดำเนินงาน เราในที่สุดค้นพบโหนแต่ละเมล็ดถูกกำหนดให้จำกัดผลรวมจำนวนช่องว่างที่อยู่เสมือนที่ปันส่วน เมื่อข้อจำกัดนี้ถูกตีไม่สามารถสร้างกระบวนการใหม่ และการดำเนินงานของ DBMS X จะล้มเหลว เราพูดถึงเรื่องนี้แม้ว่ามันเป็นข้อผิดพลาดของเราเองดูแล เป็นประหลาดใจที่ DBMS-รายโดยอาศัยระบบและไม่ได้ตั้งค่าคอนฟิกการปรับปรุงตนเองเพื่อตรวจสอบข้อจำกัดนี้ นี้นั้นย่อมหลังจากความสำเร็จของเราอย่างไร Hadoop ก่อนหน้าแม้หลังจากที่มีแก้ไขปัญหาก่อนหน้านี้ และเรามี DBMSX ที่ทำงาน เราอยู่เป็นประจำคิดไม่ออก ด้วยข้อจำกัดของหน่วยความจำอื่น ๆเราพบว่าบางพารามิเตอร์เริ่มต้น เช่นขนาดของการสระว่ายน้ำบัฟเฟอร์และเรียงลำดับ heaps ได้หัวเก่าเกินไปสำหรับระบบที่ทันสมัย นอกจากนี้ DBMS X พิสูจน์ให้ผลในการปรับปรุงการปันส่วนหน่วยความจำสำหรับการเปลี่ยนแปลงเงื่อนไข ตัวอย่าง ระบบอัตโนมัติขยายสระบัฟเฟอร์จากเริ่มต้น 4MBการเพียง 5MB (เราภายหลังบังคับมันให้ 512 MB) นอกจากนี้ยังเตือนเราที่ประสิทธิภาพสามารถเสื่อมโทรมเมื่อเราเพิ่มกองเรียงของเราขนาด 128 เมกะไบต์ (ในความเป็นจริง ประสิทธิภาพที่ดีขึ้น โดยตัวของ 12)เปลี่ยนแปลงตัวเองให้ระบบอัตโนมัติเปลี่ยนแปลงผู้อื่น ในโอกาส คู่มือชุดนี้และเปลี่ยนแปลงโดยอัตโนมัติส่งผลให้การกำหนดค่าสำหรับ DBMS X ที่เกิดจากการปฏิเสธที่จะเริ่มต้นในครั้งถัดไปที่เริ่มต้นระบบ เป็นส่วนใหญ่ตั้งค่าคอนฟิกต้อง X DBMS จะทำงานเพื่อปรับปรุง มันง่ายแต่ล็อกตนเองออกมีโหมด failsafe เพื่อคืนค่าสถานะก่อนหน้านี้Vertica ถูกติดตั้งเป็นรอบต่อนาทีที่เราใช้งานค่อนข้างง่ายบนแต่ละโหน สคริปต์การกำหนดค่าเพิ่มเติมรวมอยู่กับRPM ใช้สร้างแค็ตตาล็อกข้อมูลเมตา และปรับเปลี่ยนบางเมล็ดพารามิเตอร์ ปรับแต่งฐานข้อมูลมีน้อย และจะกระทำผ่านคำแนะนำการจัดการทรัพยากร เราพบว่า การตั้งค่าเริ่มต้นทำงานดีสำหรับเรา ข้อเสียของวิธีนี้ปรับแต่งง่าย อย่างไรก็ตาม เป็นที่มีกลไกไม่ชัดเจนเพื่อกำหนดทรัพยากรได้รับการสอบถาม หรือมีวิธีการด้วยตนเองปรับปรุงต่อแบบสอบถามการปันส่วนทรัพยากรจากความพยายามของเราหน่อยคือ ว่า เราพบ DBMSs ขนานเป็น สิ่งที่ท้าทายมากขึ้นกว่าอย่างไร Hadoop เพื่อติดตั้ง และตั้งค่าคอนฟิกถูกต้อง มี อย่างไรก็ตาม การเปลี่ยนแปลงที่สำคัญกับ respect เพื่อความง่ายในการติดตั้งและตั้งค่าคอนฟิกผ่านขนานแตกต่างกันฐานข้อมูลผลิตภัณฑ์ หนึ่งประโยชน์ขนาดเล็กสำหรับระบบฐานข้อมูลคือส่วนใหญ่จะทำให้การปรับแต่งที่จำเป็นก่อนการดำเนินการแบบสอบถาม และพารามิเตอร์การปรับแต่งที่แน่นอน (เช่น เรียงบัฟเฟอร์ขนาด)เหมาะสำหรับงานทั้งหมด ในทางตรงกันข้าม สำหรับอย่างไร Hadoop ไม่เท่าเลยปรับแต่งระบบ (เช่น บล็อกขนาด), แต่เราต้องการบางการปรับแต่งแต่ละงานแต่ละการทำงานกับระบบ (เช่นเปลี่ยนรหัส) ในที่สุด ผลิตภัณฑ์ฐานข้อมูลคู่ขนานมากับเครื่องมือที่ช่วยในการปรับแต่งในขณะที่ มีอย่างไร Hadoop เราได้บังคับให้หันไปลองผิดลองถูกปรับแต่ง อย่างนายผู้ใหญ่มากขึ้นงานอาจรวมถึงเครื่องมือปรับแต่งดังกล่าวเป็นอย่างดี

ผลลัพธ์ (ไทย) 2:

ติดตั้งระบบ 5.1.1
การกำหนดค่าและปรับแต่งเราก็สามารถที่จะได้รับHadoop ติดตั้งและใช้งานเล็ก ๆ น้อย ๆ
กับความพยายาม การติดตั้งระบบจะต้องตั้งค่าไดเรกทอรีข้อมูลในแต่ละโหนดและการปรับใช้ระบบห้องสมุดและการกำหนดค่าไฟล์ การกำหนดค่าระบบสำหรับประสิทธิภาพที่ดีที่สุดที่ได้กระทำผ่านการทดลองและข้อผิดพลาด เราพบว่าพารามิเตอร์บางอย่างเช่นขนาดของบัฟเฟอร์การจัดเรียงหรือจำนวนของแบบจำลองที่ได้ไม่ส่งผลกระทบต่อประสิทธิภาพการทำงานของการดำเนินการในขณะที่พารามิเตอร์อื่นๆ เช่นการใช้บล็อกขนาดขนาดใหญ่ประสิทธิภาพที่เพิ่มขึ้นอย่างมีนัยสำคัญ. กระบวนการติดตั้ง DBMS-X ค่อนข้าง ตรงไปตรงมา. GUI ที่นำไปสู่ผู้ใช้ผ่านขั้นตอนการเริ่มต้นที่หนึ่งของกลุ่มโหนดและจากนั้นเตรียมไฟล์ที่สามารถป้อนให้กับยูทิลิตี้การติดตั้งในแบบคู่ขนานบนโหนดอื่นๆ ที่จะดำเนินการติดตั้ง อย่างไรก็ตามเรื่องนี้ขั้นตอนง่ายๆเราพบว่า DBMS-X ซับซ้อนในการกำหนดค่าเพื่อเริ่มทำงานคำสั่ง ในขั้นต้นเรากำลังผิดหวังจากความล้มเหลวของอะไร แต่พื้นฐานที่สุดของการดำเนินงาน ในที่สุดเราค้นพบเคอร์เนลของแต่ละโหนดมีการกำหนดค่าที่จะ จำกัด รวมจำนวนของพื้นที่ที่อยู่เสมือนการจัดสรร เมื่อขีด จำกัด นี้ถูกตีกระบวนการใหม่ไม่สามารถสร้างและการดำเนินงานDBMS-X จะล้มเหลว เราพูดถึงนี้แม้ว่ามันจะเป็นความผิดพลาดในการบริหารของเราเองที่เราประหลาดใจว่าระบบที่กว้างขวาง DBMS-X ของละเอียดและการกำหนดค่าปรับตัวเองไม่สามารถที่จะตรวจสอบข้อจำกัด นี้ นี้เป็นที่น่าผิดหวังหลังจากที่ประสบความสำเร็จก่อนหน้านี้ Hadoop เรา. แม้หลังจากที่ปัญหาเหล่านี้ก่อนหน้านี้ได้รับการแก้ไขและเราได้ DBMSX ทำงานเราได้กองหน้าเป็นประจำโดยข้อ จำกัด ของหน่วยความจำอื่น ๆ . เราพบว่าค่าเริ่มต้นบางอย่างเช่นขนาดของบัฟเฟอร์และกองเรียงลำดับเป็นอนุรักษ์นิยมเกินไปสำหรับระบบที่ทันสมัย นอกจากนี้ DBMS-X ได้รับการพิสูจน์จะไม่ได้ผลในการปรับการจัดสรรหน่วยความจำสำหรับการเปลี่ยนแปลงเงื่อนไข ยกตัวอย่างเช่นระบบอัตโนมัติขยายบัฟเฟอร์ของเราจาก 4MB เริ่มต้นเพียง5MB (ต่อมาเราบังคับให้มัน 512 MB) นอกจากนี้ยังเตือนเราว่าผลการดำเนินงานอาจจะสลายตัวเมื่อเราเพิ่มขึ้นการจัดเรียงกองของเราขนาด128 MB (ในความเป็นจริงประสิทธิภาพที่เพิ่มขึ้นโดยปัจจัยที่ 12). ด้วยตนเองการเปลี่ยนแปลงตัวเลือกบางอย่างส่งผลให้ระบบอัตโนมัติการเปลี่ยนแปลงอื่น ๆ เนื่องในโอกาสการรวมกันของคู่มือฉบับนี้การเปลี่ยนแปลงและอัตโนมัติส่งผลให้การกำหนดค่าสำหรับ DBMS-X ที่ทำให้เกิดการปฏิเสธที่จะบูตครั้งต่อไปที่ระบบเริ่มต้น เป็นส่วนใหญ่การตั้งค่าที่จำเป็น DBMS-X จะทำงานเพื่อที่จะปรับพวกเขามันเป็นเรื่องง่ายที่โชคไม่ดีที่จะล็อคตัวเองออกมาพร้อมกับไม่มีโหมดfailsafe ที่จะเรียกคืนสู่สภาวะเดิม. Vertica เป็นค่อนข้างง่ายที่จะติดตั้งเป็นรอบที่เรานำไปใช้ในแต่ละโหนด สคริปต์การกำหนดค่าเพิ่มเติมรวมกับรอบต่อนาทีใช้ในการสร้างแคตตาล็อกข้อมูล meta และปรับเปลี่ยนเคอร์เนลบางพารามิเตอร์ การปรับแต่งฐานข้อมูลเป็นน้อยที่สุดและจะกระทำผ่านคำแนะนำในการจัดการทรัพยากร; เราพบว่าการตั้งค่าเริ่มต้นทำงานได้ดีสำหรับเรา ข้อเสียของการนี้ง่ายจูนวิธีการแต่คือว่ามีไม่ชัดเจนกลไกในการตรวจสอบสิ่งที่ทรัพยากรที่ได้รับการแบบสอบถามหรือมีวิธีที่จะปรับตนเองต่อแบบสอบถามทรัพยากรที่จัดสรร. โดยใช้เวลาห่างจากเราความพยายามคือการที่เราพบ DBMSs ขนานจะมากขึ้นกว่าที่ท้าทายHadoop ในการติดตั้งและกำหนดค่าอย่างถูกต้อง มี แต่ที่สำคัญการเปลี่ยนแปลงที่เกี่ยวกับความสะดวกในการติดตั้งและการตั้งค่าในแบบคู่ขนานที่แตกต่างกันผลิตภัณฑ์ฐานข้อมูล ข้อดีอย่างหนึ่งที่มีขนาดเล็กสำหรับระบบฐานข้อมูลเป็นที่การปรับจูนที่จำเป็นที่จะทำส่วนใหญ่ก่อนที่จะมีการดำเนินการสอบถามและการปรับแต่งพารามิเตอร์บางอย่าง (เช่นการจัดเรียงขนาด buffer) จะเหมาะสำหรับงานทั้งหมด ในทางตรงกันข้ามสำหรับ Hadoop เราไม่เพียง แต่มีการปรับแต่งระบบ(เช่นบล็อกขนาด) แต่เรายังต้องตาม แต่โอกาสที่จะปรับแต่งแต่ละงานแต่ละงานจะทำงานได้ดีกับระบบ(เช่นรหัสการเปลี่ยนแปลง) ในที่สุดผลิตภัณฑ์ฐานข้อมูลแบบขนานมาพร้อมกับเครื่องมือที่จะช่วยในกระบวนการปรับในขณะที่มี Hadoop เราถูกบังคับให้หันไปทดลองใช้และการปรับแต่งข้อผิดพลาด; เห็นได้ชัดว่านายเป็นผู้ใหญ่มากขึ้นการดำเนินการอาจรวมถึงการปรับแต่งเครื่องมือดังกล่าวได้เป็นอย่างดี

ผลลัพธ์ (ไทย) 3:

5.1.1 ระบบการติดตั้ง , การตั้งค่าและการปรับแต่ง
เราสามารถที่จะได้รับการติดตั้งและใช้งาน Hadoop กับความพยายามเล็ก ๆน้อย ๆ

การติดตั้งระบบที่ต้องใช้เพียงการตั้งค่าไดเรกทอรีข้อมูล
ในแต่ละโหนดและการปรับใช้ระบบห้องสมุดและไฟล์ค่า

การกำหนดค่าระบบสำหรับประสิทธิภาพที่ดีที่สุดคือทำ
ผ่านการทดลองและข้อผิดพลาด เราพบว่าพารามิเตอร์บางอย่างเช่น
ขนาดของบัฟเฟอร์หรือเรียงหมายเลขของแบบจําลอง ไม่มีผลต่อประสิทธิภาพในการ
และพารามิเตอร์อื่น ๆ เช่น ใช้
ขนาดของบล็อกขนาดใหญ่ , การปรับปรุงประสิทธิภาพอย่างมีนัยสำคัญ .
dbms-x กระบวนการติดตั้งค่อนข้างตรงไปตรงมา
GUI นำผู้ใช้ผ่านขั้นตอนเริ่มต้นที่หนึ่งในกลุ่ม
โหนแล้วเตรียมไฟล์ที่สามารถป้อนการติดตั้งสาธารณูปโภคใน
ขนานในโหนดอื่น ๆเพื่อติดตั้งเสร็จสมบูรณ์ แม้จะมีขั้นตอนง่าย ๆนี้
, เราพบว่า dbms-x ซับซ้อนกำหนดค่าเพื่อเริ่มต้นแบบสอบถาม ตอนแรก เราผิดหวัง
ความล้มเหลวของอะไร แต่พื้นฐานที่สุดของการดำเนินงานในที่สุดเราค้นพบโหนดแต่ละเมล็ดถูกกำหนดค่าเพื่อ จำกัด ปริมาณจัดสรรรวม
เสมือนที่อยู่พื้นที่ เมื่อขีด จำกัด นี้ถูกชก
กระบวนการใหม่ไม่สามารถสร้างได้และการดำเนินงาน dbms-x จะ
ล้มเหลว ที่เราพูดถึงนี้ถึงแม้ว่ามันคือการบริหารงานผิดพลาดของเราเอง เราก็ยังแปลกใจว่า dbms-x ที่ต้องการระบบละเอียด
การปรับตั้งค่าและไม่สามารถตรวจสอบข้อ จำกัด นี้ นี้เป็นที่น่าผิดหวัง หลังก่อนหน้านี้ Hadoop สำเร็จ .
หลังจากปัญหาก่อนหน้านี้เหล่านี้ถูกแก้ไข และเราก็มี dbmsx วิ่ง เราตรวจ stymied โดยการทดสอบหน่วยความจำอื่น ๆ เราพบว่าบางค่า
พารามิเตอร์เช่นขนาดของบัฟเฟอร์และกอง
สระเรียงเป็นหัวโบราณเกินไปสำหรับระบบทันสมัยนอกจากนี้ dbms-x พิสูจน์จะไม่ได้ผลในการปรับการจัดสรรหน่วยความจำสำหรับ
เปลี่ยนแปลงเงื่อนไข ตัวอย่างเช่น ระบบโดยอัตโนมัติขยายสระว่ายน้ำบัฟเฟอร์ของเราตั้งแต่เริ่มต้น 4MB
เพียง 5MB ( เราทีหลัง บังคับให้ 512 MB ) มันยังเตือนเราว่า
ประสิทธิภาพสามารถถูกย่อยสลายได้เมื่อเราเพิ่มของเราเรียงกอง
ขนาด 128 MB ( ในความเป็นจริงประสิทธิภาพที่ดีขึ้นโดยปัจจัย
12 )ด้วยตนเองการเปลี่ยนแปลงตัวเลือกบางอย่าง ส่งผลให้ระบบโดยอัตโนมัติการเปลี่ยนแปลงผู้อื่น ในโอกาสนี้ การรวมกันของการเปลี่ยนแปลงโดยอัตโนมัติและคู่มือ
ส่งผลค่า
dbms-x ที่ทำให้เกิดการปฏิเสธที่จะบูตครั้งต่อไประบบจะเริ่ม ในขณะที่การตั้งค่ามากที่สุด
dbms-x ที่ต้องการจะวิ่งเพื่อ
ปรับพวกเขามันน่าเสียดายที่ง่ายต่อการล็อคตัวเองไม่มี
ระบบป้องกันโหมดการเรียกคืนไปยังสถานะก่อนหน้า
ฐานค่อนข้างง่ายที่จะติดตั้งเป็นรอบที่เราใช้
ในแต่ละโหนด สคริปต์ปรับแต่งเพิ่มเติมพร้อมกับ
รอบต่อนาที ใช้ในการสร้างแคตตาล็อกข้อมูลเมตาและปรับเปลี่ยนพารามิเตอร์ของเคอร์เนล
แน่นอน ปรับฐานข้อมูลน้อยที่สุดและผ่านคำแนะนำ
กับผู้จัดการทรัพยากร เราพบว่า การตั้งค่าเริ่มต้นทำงาน
ดีสำหรับเราข้อเสียของการปรับแต่ง วิธีนี้ง่าย แต่เป็นว่าไม่มีกลไกที่ชัดเจนเพื่อตรวจสอบว่าทรัพยากรที่ได้รับการสอบถาม หรือมีวิธีการปรับการจัดสรรทรัพยากรด้วยตนเอง

ต่อแบบสอบถาม ใช้เวลาห่างจากความพยายามของเราที่เราพบ
DBMSs ขนานจะท้าทายมากขึ้นกว่า Hadoop ที่จะติดตั้ง ปรับแต่ง
อย่างถูกต้อง มี , อย่างไรก็ตามการเปลี่ยนแปลงที่สำคัญ ด้วยความเคารพ

ง่ายการติดตั้งและตั้งค่าผ่านที่แตกต่างกันขนาน
ฐานข้อมูลผลิตภัณฑ์ หนึ่งประโยชน์เล็ก ๆสําหรับระบบฐานข้อมูลคือ
ที่การปรับแต่งที่จำเป็นส่วนใหญ่จะทำก่อนการประหาร และที่แน่นอนการปรับแต่งพารามิเตอร์ ( เช่นเรียงขนาดบัฟเฟอร์ )
เหมาะสำหรับทุกงาน ในทางตรงกันข้าม สำหรับ Hadoop เราไม่เพียงแต่ต้อง
ปรับแต่งระบบ ( เช่นขนาดของบล็อก ) แต่เราบางครั้งต้อง
แต่งงานแต่ละทำงานได้ดีกับระบบ ( เช่น
เปลี่ยนรหัส ) สุดท้ายผลิตภัณฑ์ฐานข้อมูลขนานมากับ
เครื่องมือที่จะช่วยในกระบวนการปรับเทียบกับ Hadoop เรา
ต้องรีสอร์ทเพื่อการทดลองและข้อผิดพลาดการปรับแต่ง ; ชัดเจนเป็นผู้ใหญ่มากขึ้นคุณสามารถรวมการปรับแต่งเครื่องมือ
ดังกล่าวเช่นกัน