The State of The Art in HadoopIt is

The State of The Art in Hadoop
It is possible to blend operational and analytics together in Hadoop today, and in fact we see many of our customers doing it.

The pieces you need are already in Hadoop:

Apache HBase is the NoSQL database for Hadoop and is great at fast updates and low latency data access.
Apache Phoenix (pioneered by Salesforce) is a SQL skin for data in HBase. Phoenix is already investigating integration with transaction managers like Tephra (from Cask).
Apache Hive is the de-facto SQL engine for Hadoop providing the deepest SQL analytics and supporting both batch and interactive query patterns. See our recent Stinger.Next post for advances such as Hive LLAP.
We see our customers using these parts today to build applications with deep analytics, for example a very common pattern we see includes:

Using HBase as the online operational data store for fast updates on hot data such as current partition for the hour, day etc.
Executing operational queries directly against HBase using Apache Phoenix.
Aging data in HBase to Hive tables using standard ETL patterns.
Performing deep SQL analytics using Hive
This works but it creates a number of complexities for developers. For example:

Which SQL interface do I use and when? Do I use Hive which offers deep SQL but low TPS? Or do I use Phoenix with high TPS and basic SQL? Or do I use both?
If I use both, how do I share data between Hive and HBase?
How do I tune my cluster so that I can successfully co-locate HBase and Hive while meeting my SLAs?
These questions suggest deeper integration is needed to simplify building applications with deep analytics on Hadoop.

ผลลัพธ์ (ไทย) 1:

ทันสมัยในอย่างไร Hadoopเป็นการผสมผสานการดำเนินงานและวิเคราะห์อย่างไร Hadoop ในวันนี้ และในความเป็นจริงเราเห็นของลูกค้าของเราทำชิ้นส่วนที่ต้องมีอยู่อย่างไร Hadoop:อะแพชี HBase เป็นฐานข้อมูลอย่างไร Hadoop NoSQL และเหมาะที่ปรับปรุงอย่างรวดเร็วและเข้าถึงข้อมูลเวลาแฝงต่ำ อะแพชีฟีนิกซ์ (เป็นผู้บุกเบิก โดย Salesforce) สกิน SQL ข้อมูลใน HBase ได้ ฟีนิกซ์เป็นแล้วตรวจสอบรวมกับธุรกรรมการผู้จัดการเช่น Tephra (จากถัง) กลุ่มอะแพชีเป็นดีแฟ็คโตเดอของเครื่องมือที่ใช้ SQL อย่างไร Hadoop ให้วิเคราะห์ SQL ชมเชย และสนับสนุนทั้งชุดและรูปแบบของแบบสอบถามที่โต้ตอบ ดูโพสต์ Stinger.Next ของเราล่าสุดสำหรับความก้าวหน้าเช่นกลุ่ม LLAP เราเห็นลูกค้าของเราใช้ชิ้นส่วนเหล่านี้วันนี้เพื่อสร้างโปรแกรมประยุกต์ที่ มีการวิเคราะห์ลึก ตัวอย่าง แบบธรรมดาที่เราเห็นรวม:ใช้ HBase เป็นข้อมูลดำเนินงานออนไลน์จัดเก็บการปรับปรุงอย่างรวดเร็วบนข้อมูลร้อนเช่นพาร์ติชันปัจจุบันชั่วโมง วันอื่น ๆ ดำเนินงานแบบสอบถามโดยตรงกับ HBase ที่ใช้ Apache ฟีนิกซ์ อายุข้อมูลใน HBase กลุ่มตารางโดยใช้รูปแบบมาตรฐาน ETL ดำเนินการวิเคราะห์ SQL ลึกโดยใช้กลุ่ม ใช้งาน ได้เป็นสร้างจำนวนของความซับซ้อนสำหรับนักพัฒนา ตัวอย่าง:อินเทอร์เฟซ SQL ที่เราใช้ และเมื่อไร ใช้กลุ่มซึ่ง SQL ลึกแต่ TPS ต่ำทำได้อย่างไร หรือเราใช้ฟีนิกซ์กับ TPS สูงและ SQL พื้นฐาน หรือเราใช้ทั้งสองอย่าง ถ้าใช้ทั้งสองอย่าง วิธีทำผมใช้ข้อมูลร่วมกันระหว่างกลุ่มและ HBase วิธีทำฉันแต่งคลัสเตอร์ของฉันเพื่อให้ฉันสามารถสำเร็จร่วมค้นหา HBase และกลุ่มขณะประชุม Sla ของฉัน คำถามเหล่านี้แนะนำรวมลึกต้องทำโปรแกรมอาคารวิเคราะห์ลึกบนอย่างไร Hadoop

ผลลัพธ์ (ไทย) 3:

รัฐของศิลปะใน Hadoop
มันเป็นไปได้ที่จะผสมผสานการดำเนินงาน และการวิเคราะห์ร่วมกันใน Hadoop ในวันนี้ และในความเป็นจริงที่เราเห็นหลายของลูกค้าของเราทำ

ส่วนที่คุณต้องการมีอยู่ใน Apache Hadoop :

hbase เป็น nosql ฐานข้อมูลสำหรับ Hadoop และเป็นที่ดีในการปรับปรุงอย่างรวดเร็วและต่ำ latency ข้อมูล การเข้าถึง
Apache ฟินิกซ์ ( บุกเบิกโดย Salesforce ) เป็น SQL ผิวสำหรับข้อมูลใน hbase .ฟินิกซ์กำลังสอบสวนรวมกับธุรกรรมผู้จัดการชอบเทบพรา ( จากถัง )
Apache รังเป็นพฤตินัย SQL เครื่องมือสำหรับ Hadoop ให้ลึกและการวิเคราะห์ SQL สนับสนุนทั้งชุดและแบบสอบถาม รูปแบบ เห็นเหล็กในล่าสุดของเรา โพสต์ต่อไปให้ก้าวหน้า เช่น llap รังผึ้ง
เราเห็นลูกค้าของเราใช้ชิ้นส่วนเหล่านี้วันนี้เพื่อสร้างโปรแกรมประยุกต์กับลึกวิเคราะห์ตัวอย่างทั่วไปมาก แบบเราดูรวมถึง :

ใช้ hbase เป็นออนไลน์ข้อมูลการดำเนินงานการจัดเก็บสำหรับการปรับปรุงอย่างรวดเร็วบนข้อมูลที่ร้อนเช่นพาร์ทิชันปัจจุบันสำหรับชั่วโมงวัน , ฯลฯ การดำเนินงานโดยตรงต่อ hbase
แบบสอบถามโดยใช้ Apache ฟินิกซ์
อายุข้อมูลใน hbase เพื่อรังตารางโดยใช้รูปแบบ ETL มาตรฐาน แสดงการวิเคราะห์ SQL ลึกโดยใช้รัง

งานนี้ แต่มันสร้างจํานวนของความซับซ้อนสำหรับนักพัฒนา ตัวอย่าง :

ซึ่ง SQL อินเตอร์เฟซที่ผมใช้และเมื่อ ผมใช้ SQL แต่ต่ำลึกรังซึ่งมีการเปลี่ยนแปลง ? หรือผมใช้ Phoenix TPS สูงและ SQL พื้นฐาน หรือจะใช้ทั้งสอง
ถ้าผมใช้ทั้ง ฉันจะแบ่งปันข้อมูลระหว่างกลุ่ม และ hbase ?
ผมปรับกลุ่มของฉันเพื่อที่ฉันสามารถค้นหาและร่วม hbase รังขณะประชุม สามารถของฉัน ?
คำถามเหล่านี้แนะนำการรวมลึกเป็นสิ่งจำเป็นเพื่อลดความซับซ้อนของการใช้งานอาคารวิเคราะห์ลึกใน Hadoop .