Building a Big Data PlatformAs with

Building a Big Data Platform
As with data warehousing, web stores or any IT platform, an infrastructure for big data has unique requirements. In considering all the components of a big data platform, it is important to remember that the end goal is to easily integrate your big data with your enterprise data to allow you to conduct deep analytics on the combined data set.
Infrastructure Requirements
The requirements in a big data infrastructure span data acquisition, data organization and data analysis.
Acquire Big Data
The acquisition phase is one of the major changes in infrastructure from the days before big data. Because big data refers to data streams of higher velocity and higher variety, the infrastructure required to support the acquisition of big data must deliver low, predictable latency in both capturing data and in executing short, simple queries; be able to handle very high transaction volumes, often in a distributed environment; and support flexible, dynamic data structures.
NoSQL databases are frequently used to acquire and store big data. They are well suited for dynamic data structures and are highly scalable. The data stored in a NoSQL database is typically of a high variety because the systems are intended to simply capture all data without categorizing and parsing the data into a fixed schema.
For example, NoSQL databases are often used to collect and store social media data. While customer facing applications frequently change, underlying storage structures are kept simple. Instead of designing a schema with relationships between entities, these simple structures often just contain a major key to identify the data point, and then a content container holding the relevant data (such as a customer id and a customer profile). This simple and dynamic structure allows changes to take place without costly reorganizations at the storage layer (such as adding new fields to the customer profile).
Organize Big Data
In classical data warehousing terms, organizing data is called data integration. Because there is such a high volume of big data, there is a tendency to organize data at its initial destination location, thus saving both time and money by not moving around large volumes of data. The infrastructure required for organizing big data must be able to process and manipulate data in the original storage location; support very high throughput (often in batch) to deal with large data processing steps; and handle a large variety of data formats, from unstructured to structured.
Hadoop is a new technology that allows large data volumes to be organized and processed while keeping the data on the original data storage cluster. Hadoop Distributed File System (HDFS) is the long-term storage system for web logs for example. These web logs are turned into browsing behavior (sessions) by running MapReduce programs on the cluster and generating aggregated
Oracle White Paper—Big Data for the Enterprise
6
results on the same cluster. These aggregated results are then loaded into a Relational DBMS system.
Analyze Big Data
Since data is not always moved during the organization phase, the analysis may also be done in a distributed environment, where some data will stay where it was originally stored and be transparently accessed from a data warehouse. The infrastructure required for analyzing big data must be able to support deeper analytics such as statistical analysis and data mining, on a wider variety of data types stored in diverse systems; scale to extreme data volumes; deliver faster response times driven by changes in behavior; and automate decisions based on analytical models. Most importantly, the infrastructure must be able to integrate analysis on the combination of big data and traditional enterprise data. New insight comes not just from analyzing new data, but from analyzing it within the context of the old to provide new perspectives on old problems.
For example, analyzing inventory data from a smart vending machine in combination with the events calendar for the venue in which the vending machine is located, will dictate the optimal product mix and replenishment schedule for the vending machine.
Solution Spectrum
Many new technologies have emerged to address the IT infrastructure requirements outlined above. At last count, there were over 120 open source key-value databases for acquiring and storing big data, while Hadoop has emerged as the primary system for organizing big data and relational databases maintain their footprint as a data warehouse and expand their reach into less structured data sets to analyze big data. These new systems have created a divided solutions spectrum comprised of:
 Not Only SQL (NoSQL) solutions: developer-centric specialized systems
 SQL solutions: the world typically equated with the manageability, security and trusted nature of relational database management systems (RDBMS)
NoSQL systems are designed to capture all data without categorizing and parsing it upon entry into the system, and therefore the data is highly varied. SQL systems, on the other hand, typically place data in well-defined structures and impose metadata on the data captured to ensure
Oracle White Paper—Big Data for the Enterprise
7
consistency and validate data types.
Figure 1 Divided solution spectrum
Distributed file systems and transaction (key-value) stores are primarily used to capture data and are generally in line with the requirements discussed earlier in this paper. To interpret and distill information from the data in these solutions, a programming paradigm called MapReduce is used. MapReduce programs are custom written programs that run in parallel on the distributed data nodes.
The key-value stores or NoSQL databases are the OLTP databases of the big data world; they are optimized for very fast data capture and simple query patterns. NoSQL databases are able to provide very fast performance because the data that is captured is quickly stored with a single indentifying key rather than being interpreted and cast into a schema. By doing so, NoSQL database can rapidly store large numbers of transactions.
However, due to the changing nature of the data in the NoSQL database, any data organization effort requires programming to interpret the storage logic used. This, combined with the lack of support for complex query patterns, makes it difficult for end users to distill value out of data in a NoSQL database.
To get the most from NoSQL solutions and turn them from specialized, developer-centric solutions into solutions for the enterprise, they must be combined with SQL solutions into a single proven infrastructure that meets the manageability and security requirements of today’s enterprises.

ผลลัพธ์ (ไทย) 1:

สร้างแพลตฟอร์มข้อมูลขนาดใหญ่เช่นเดียวกับข้อมูลคลังสินค้า เว็บร้านค้า หรือแพลตฟอร์มใด ๆ ได้ มีโครงสร้างพื้นฐานสำหรับข้อมูลขนาดใหญ่มีความต้องการเฉพาะ ในการพิจารณาส่วนประกอบทั้งหมดของแพลตฟอร์มข้อมูลขนาดใหญ่ ได้จำว่า เป้าหมายสุดท้ายคือการ เข้ากับข้อมูลใหญ่กับข้อมูลองค์กรของคุณเพื่อให้คุณสามารถทำการวิเคราะห์ลึกชุดข้อมูลรวมความต้องการโครงสร้างพื้นฐานความต้องการในโครงสร้างพื้นฐานข้อมูลขนาดใหญ่ครอบคลุมข้อมูลการ องค์กรข้อมูล และวิเคราะห์ข้อมูลรับข้อมูลขนาดใหญ่ขั้นตอนการซื้อเป็นหนึ่งของการเปลี่ยนแปลงที่สำคัญในโครงสร้างพื้นฐานจากวันก่อนข้อมูลขนาดใหญ่ เนื่องจากข้อมูลขนาดใหญ่ถึงกระแสข้อมูลข้อมูลความเร็วสูงและความหลากหลายที่สูง โครงสร้างพื้นฐานที่จำเป็นต่อการสนับสนุนการซื้อข้อมูลใหญ่ต้องส่งเวลาแฝงต่ำ ได้ทั้งข้อมูลภาพ และดำเนินการสอบถามที่สั้น ง่าย สามารถจัดการปริมาณธุรกรรมสูงมาก มักจะอยู่ในสภาพแวดล้อมแบบกระจาย และสนับสนุนโครงสร้างข้อมูลแบบไดนามิก ยืดหยุ่นฐานข้อมูล NoSQL มักใช้รับ และเก็บข้อมูลขนาดใหญ่ พวกเขาจะเหมาะสมสำหรับโครงสร้างข้อมูลแบบไดนามิก และเป็นเร็ว ข้อมูลที่เก็บในฐานข้อมูล NoSQL ได้โดยทั่วไปของสูงเนื่องจากระบบมีวัตถุประสงค์เพื่อเพียงรวบรวมข้อมูลทั้งหมด โดยไม่มีการจัดประเภท และแยกวิเคราะห์ข้อมูลในแผนคงที่ตัวอย่าง NoSQL ฐานมักใช้เพื่อรวบรวม และจัดเก็บข้อมูลสื่อสังคม ในขณะที่ลูกค้าหันใช้งานบ่อย ๆ เปลี่ยน เก็บงบอยู่ง่าย แทนการออกแบบแบบแผนความสัมพันธ์ระหว่างเอนทิตี โครงสร้างอย่างง่ายประกอบด้วยคีย์หลักเพื่อระบุข้อมูล และที่เก็บเนื้อหาที่เก็บข้อมูลที่เกี่ยวข้อง (เช่นรหัสลูกค้าและประวัติลูกค้า) บ่อยเพียง โครงสร้างแบบง่าย และแบบไดนามิกนี้ช่วยให้การเปลี่ยนแปลงทำได้โดยไม่เสียค่าใช้จ่าย reorganizations ในชั้นการจัดเก็บข้อมูล (เช่นการเพิ่มเขตข้อมูลใหม่ในส่วนกำหนดค่าลูกค้า)จัดการข้อมูลขนาดใหญ่ในคลาสสิกข้อมูลคลัง จัดการข้อมูลคือการรวมข้อมูล เนื่องจากมีปริมาณดังกล่าวสูงของข้อมูลขนาดใหญ่ มีแนวโน้มที่จะจัดระเบียบข้อมูลที่ปลายทางเริ่มต้นตำแหน่ง จึง ประหยัดทั้งเวลาและเงิน โดยไม่ย้ายรอบข้อมูลจำนวนมาก โครงสร้างพื้นฐานที่จำเป็นสำหรับการจัดการข้อมูลขนาดใหญ่สามารถประมวลผล และจัดการข้อมูลในตำแหน่งเก็บเดิม สนับสนุนอัตราความเร็วสูงมาก (มักจะอยู่ในชุด) เพื่อจัดการกับขั้นตอนการประมวลผลข้อมูลขนาดใหญ่ และจัดการความหลากหลายของรูปแบบข้อมูล จากไม่มีโครงสร้างการจัดโครงสร้างอย่างไร Hadoop เป็นเทคโนโลยีใหม่ที่ช่วยให้ไดรฟ์ข้อมูลขนาดใหญ่ที่จะจัดระเบียบ และประมวลผลในขณะที่เก็บข้อมูลบนคลัสเตอร์เก็บข้อมูลต้นฉบับ อย่างไร Hadoop กระจายแฟ้มระบบ (HDFS) เป็นระบบการจัดเก็บระยะยาวสำหรับล็อกเว็บตัวอย่าง เปิดบันทึกเว็บเหล่านี้เป็นลักษณะการทำงาน (เซสชัน) เรียกดูโดยการเรียกใช้โปรแกรม MapReduce ในคลัสเตอร์ และสร้างรวมกระดาษขาว oracle — ข้อมูลสำหรับองค์กรขนาดใหญ่6ผลลัพธ์ในคลัสเตอร์เดียวกัน เหล่านี้รวมผลแล้วโหลดเข้าสู่ระบบ DBMS เชิงสัมพันธ์วิเคราะห์ข้อมูลขนาดใหญ่เนื่องจากข้อมูลไม่เสมอย้ายระหว่างขั้นตอนขององค์กร การวิเคราะห์อาจทำในสภาพแวดล้อมแบบกระจาย ซึ่งข้อมูลบางอย่างจะอยู่มันเดิมเก็บ และจะโปร่งใสเข้าถึงได้จากคลังข้อมูลได้ โครงสร้างพื้นฐานที่จำเป็นสำหรับการวิเคราะห์ข้อมูลขนาดใหญ่สามารถสนับสนุนวิเคราะห์ลึกวิเคราะห์ทางสถิติและการทำเหมืองข้อมูล ในหลากหลายชนิดข้อมูลที่เก็บอยู่ในระบบที่หลากหลาย มาตราส่วนเป็นปริมาณข้อมูลมาก ส่งเวลาการตอบสนองเร็วขับเคลื่อน โดยการเปลี่ยนแปลงในลักษณะการทำงาน และทำตามรูปแบบการวิเคราะห์การตัดสินใจ สำคัญที่สุด โครงสร้างพื้นฐานต้องสามารถรวมวิเคราะห์ชุดข้อมูลขนาดใหญ่และข้อมูลองค์กรแบบดั้งเดิม เข้าใจใหม่มาไม่ใช่แค่ จากการวิเคราะห์ข้อมูลใหม่ แต่ จากการวิเคราะห์ในบริบทของเก่าเพื่อให้มุมมองใหม่ในปัญหาเก่าตัวอย่าง การวิเคราะห์สินค้าคงคลังข้อมูลจากเครื่องหยอดเหรียญสมาร์ทร่วมกับปฏิทินเหตุการณ์ในสถานที่จะหยอดอยู่ จะบอกผลิตภัณฑ์ที่เหมาะสมผสมผสานและเพิ่มเติมกำหนดการสำหรับเครื่องหยอดเหรียญสเปกตรัมของโซลูชันเทคโนโลยีใหม่มากมายมีชุมนุมเพื่อความต้องการโครงสร้างพื้นฐาน IT ที่อธิบายไว้ข้างต้น ที่นับครั้งสุดท้าย มีฐานข้อมูลของค่าคีย์มาเปิดกว่า 120 ได้รับ และจัดเก็บข้อมูลขนาดใหญ่ ในขณะที่มีชุมนุมอย่างไร Hadoop เป็นระบบหลักสำหรับจัดการข้อมูลขนาดใหญ่ และรักษารอยที่เท้าเป็นคลังข้อมูลฐานข้อมูลเชิงสัมพันธ์ และขยายความถึงเป็นโครงสร้างน้อยกว่าข้อมูลชุดวิเคราะห์ข้อมูลขนาดใหญ่ ระบบใหม่เหล่านี้ได้สร้างสเปกตรัมถูกแบ่งโซลูชันที่ประกอบด้วย:โซลูชั่น SQL เท่านั้นไม่ (NoSQL) คล้าย: พัฒนาเกี่ยวกับระบบเฉพาะโซลูชั่น SQL คล้าย: โลกปกติ equated กับจัดการ ความปลอดภัยและธรรมชาติที่น่าเชื่อถือของระบบการจัดการฐานข้อมูลเชิงสัมพันธ์ (RDBMS)ระบบ NoSQL ถูกออกแบบมาเพื่อรวบรวมข้อมูลทั้งหมด โดยไม่มีการจัดประเภท และแยกตามรายการเข้าสู่ระบบ และดังนั้น ข้อมูลสูงแตกต่างกัน ระบบ SQL คง ปกติวางข้อมูลในโครงสร้างที่กำหนดไว้อย่างดี และกำหนดข้อมูลเมตาของข้อมูลที่รวบรวมให้กระดาษขาว oracle — ข้อมูลสำหรับองค์กรขนาดใหญ่7ความสอดคล้องกัน และตรวจสอบชนิดของข้อมูลรูปที่ 1 Divided โซลูชันสเปกตรัมระบบแฟ้มแบบกระจายและร้านค้า (ค่าคีย์) ธุรกรรมที่ใช้ในการรวบรวมข้อมูล และโดยทั่วไปตามข้อกำหนดที่กล่าวถึงก่อนหน้าในเอกสารนี้ การตี และแยกจากข้อมูลในการแก้ไขปัญหาเหล่านี้ เป็นใช้กระบวนทัศน์การเขียนโปรแกรมเรียกว่า MapReduce โปรแกรม MapReduce เป็นโปรแกรมเขียนแบบกำหนดเองที่รันในขนานบนโหนแบบกระจายข้อมูลเก็บค่าคีย์หรือฐานข้อมูล NoSQL เป็นฐานข้อมูล OLTP ของโลกข้อมูลใหญ่ พวกนี้เหมาะสำหรับการเก็บข้อมูลอย่างรวดเร็วและรูปแบบสอบถามอย่างง่าย NoSQL ฐานข้อมูลจะให้ประสิทธิภาพอย่างรวดเร็วเนื่องจากข้อมูลที่จับภาพได้อย่างรวดเร็วเก็บ indentifying คีย์เดียวแทนที่ถูกแปล และโยนเป็นแบบแผน โดยการทำเช่นนั้น NoSQL ฐานอย่างรวดเร็วสามารถเก็บธุรกรรมจำนวนมากอย่างไรก็ตาม เนื่องจากเปลี่ยนแปลงข้อมูลในฐานข้อมูล NoSQL ความพยายามใด ๆ ข้อมูลองค์กรต้องเขียนโปรแกรมแปลตรรกะจัดเก็บที่ใช้ นี้ รวมกับการขาดการสนับสนุนสำหรับรูปแบบสอบถาม ทำให้ยากสำหรับผู้ใช้ในการแยกค่าข้อมูลในฐานข้อมูล NoSQLรับสูงสุดจากโซลูชั่น NoSQL และเปลี่ยนจากโซลูชั่นพิเศษ เกี่ยวกับนักพัฒนาเป็นโซลูชั่นสำหรับองค์กร จะต้องรวมกับ SQL โซลูชั่นโครงสร้างพื้นฐานพิสูจน์เดียวที่ตรงกับความต้องการจัดการและความปลอดภัยขององค์กรวันนี้

ผลลัพธ์ (ไทย) 2:

การสร้างแพลตฟอร์มข้อมูลขนาดใหญ่เช่นเดียวกับคลังข้อมูลร้านค้าเว็บหรือแพลตฟอร์มไอทีโครงสร้างพื้นฐานสำหรับข้อมูลขนาดใหญ่มีความต้องการที่ไม่ซ้ำกัน ในการพิจารณาองค์ประกอบทั้งหมดของแพลตฟอร์มข้อมูลขนาดใหญ่เป็นสิ่งสำคัญที่ต้องจำไว้ว่าเป้าหมายสุดท้ายคือการได้อย่างง่ายดายรวมข้อมูลขนาดใหญ่ของคุณด้วยข้อมูลขององค์กรของคุณเพื่อให้คุณสามารถดำเนินการวิเคราะห์ลึกลงไปในชุดข้อมูลที่รวม. ความต้องการโครงสร้างพื้นฐานความต้องการในช่วงโครงสร้างพื้นฐานข้อมูลขนาดใหญ่เก็บข้อมูลองค์กรข้อมูลและการวิเคราะห์ข้อมูล. ได้รับข้อมูลขนาดใหญ่ขั้นตอนการเข้าซื้อกิจการเป็นหนึ่งในการเปลี่ยนแปลงที่สำคัญในโครงสร้างพื้นฐานจากวันก่อนที่ข้อมูลขนาดใหญ่ เพราะข้อมูลขนาดใหญ่หมายถึงสตรีมข้อมูลความเร็วสูงและความหลากหลายสูงโครงสร้างพื้นฐานที่จำเป็นในการสนับสนุนการเข้าซื้อกิจการของข้อมูลขนาดใหญ่จะต้องส่งมอบต่ำแฝงที่คาดการณ์ทั้งในการจับและข้อมูลในการดำเนินสั้นแบบสอบถามง่าย จะสามารถจัดการกับปริมาณการซื้อขายสูงมากมักจะอยู่ในสภาพแวดล้อมแบบกระจาย และการสนับสนุนที่มีความยืดหยุ่นของโครงสร้างข้อมูลแบบไดนามิก. ฐานข้อมูล NoSQL มักมีการใช้ที่จะได้รับและจัดเก็บข้อมูลขนาดใหญ่ พวกเขามีความเหมาะสมดีสำหรับโครงสร้างข้อมูลแบบไดนามิกและปรับขนาดได้อย่าง ข้อมูลที่เก็บไว้ในฐานข้อมูล NoSQL โดยทั่วไปจะมีความหลากหลายสูงเนื่องจากระบบมีความตั้งใจที่จะเพียงแค่รวบรวมข้อมูลทั้งหมดโดยไม่มีการจัดหมวดหมู่และการแยกข้อมูลลงในคีคงที่. ตัวอย่างเช่นฐานข้อมูล NoSQL มักจะใช้ในการรวบรวมและจัดเก็บข้อมูลสื่อสังคม ในขณะที่การใช้งานของลูกค้าที่หันหน้าไปทางเปลี่ยนแปลงบ่อยโครงสร้างพื้นฐานการจัดเก็บข้อมูลจะถูกเก็บไว้ที่เรียบง่าย แทนการออกแบบสคีกับความสัมพันธ์ระหว่างหน่วยงานโครงสร้างเหล่านี้มักจะง่ายเพียงแค่มีกุญแจสำคัญที่จะระบุจุดข้อมูลแล้วภาชนะถือเนื้อหาข้อมูลที่เกี่ยวข้อง (เช่นรหัสลูกค้าและรายละเอียดของลูกค้า) นี้โครงสร้างที่เรียบง่ายและแบบไดนามิกช่วยให้การเปลี่ยนแปลงที่จะเกิดขึ้นได้โดยไม่ต้องเสียค่าใช้จ่าย reorganizations ที่ชั้นจัดเก็บข้อมูล (เช่นการเพิ่มช่องใหม่กับรายละเอียดของลูกค้า). การจัดระเบียบข้อมูลขนาดใหญ่ในแง่ข้อมูลที่คลาสสิกคลังสินค้าการจัดระเบียบข้อมูลที่เรียกว่าบูรณาการข้อมูล เพราะมีเช่นปริมาณสูงของข้อมูลขนาดใหญ่มีแนวโน้มที่จะจัดระเบียบข้อมูลในสถานที่ปลายทางเริ่มต้นจึงช่วยประหยัดทั้งเวลาและเงินโดยไม่ได้ย้ายไปรอบ ๆ ปริมาณข้อมูลขนาดใหญ่ โครงสร้างพื้นฐานที่จำเป็นสำหรับการจัดการข้อมูลขนาดใหญ่จะต้องสามารถที่จะดำเนินการและจัดการกับข้อมูลที่จัดเก็บอยู่ในตำแหน่งเดิม; การสนับสนุนการส่งผ่านสูงมาก (มักจะอยู่ในชุด) จะจัดการกับขั้นตอนการประมวลผลข้อมูลขนาดใหญ่ และจัดการความหลากหลายของรูปแบบข้อมูลจากการที่ไม่มีโครงสร้างโครงสร้าง. Hadoop เป็นเทคโนโลยีใหม่ที่ช่วยให้ปริมาณข้อมูลขนาดใหญ่ที่จะจัดและประมวลผลในขณะที่เก็บข้อมูลในข้อมูลเดิมกลุ่มการจัดเก็บข้อมูล แจกจ่าย File System Hadoop (HDFS) เป็นระบบจัดเก็บข้อมูลระยะยาวสำหรับการบันทึกการใช้เว็บตัวอย่างเช่น บันทึกการใช้เว็บเหล่านี้จะกลายเป็นพฤติกรรมการเรียกดู (ครั้ง) โดยใช้โปรแกรม MapReduce ในกลุ่มและสร้างรวมออราเคิลสีขาวข้อมูลกระดาษที่ยิ่งใหญ่สำหรับองค์กร6 ผลในกลุ่มเดียวกัน ผลรวมเหล่านี้จะเต็มแล้วในระบบ DBMS สัมพันธ์. วิเคราะห์ข้อมูลขนาดใหญ่เนื่องจากข้อมูลจะไม่ย้ายไปอยู่เสมอในระหว่างขั้นตอนขององค์กรการวิเคราะห์อาจจะทำในสภาพแวดล้อมแบบกระจายที่ข้อมูลบางอย่างจะอยู่ที่มันถูกเก็บไว้อย่างชาญฉลาดและมีความโปร่งใสเข้าถึงได้จากคลังข้อมูล โครงสร้างพื้นฐานที่จำเป็นสำหรับการวิเคราะห์ข้อมูลขนาดใหญ่จะต้องสามารถที่จะสนับสนุนการวิเคราะห์ลึกลงไปเช่นการวิเคราะห์ทางสถิติและการทำเหมืองข้อมูลเกี่ยวกับความหลากหลายของชนิดข้อมูลที่เก็บไว้ในระบบที่แตกต่างกัน; ขนาดปริมาณข้อมูลมาก; ส่งมอบครั้งที่ตอบสนองได้เร็วแรงหนุนจากการเปลี่ยนแปลงในพฤติกรรม โดยอัตโนมัติและการตัดสินใจบนพื้นฐานของการวิเคราะห์แบบจำลอง สิ่งสำคัญที่สุดคือโครงสร้างพื้นฐานที่จะต้องสามารถที่จะบูรณาการวิเคราะห์เกี่ยวกับการรวมกันของข้อมูลขนาดใหญ่และข้อมูลขององค์กรแบบดั้งเดิม ข้อมูลเชิงลึกใหม่มาไม่เพียง แต่จากการวิเคราะห์ข้อมูลใหม่ แต่จากการวิเคราะห์ภายในบริบทของเดิมที่จะให้มุมมองใหม่เกี่ยวกับปัญหาเก่า. ยกตัวอย่างเช่นการวิเคราะห์ข้อมูลสินค้าคงคลังจากเครื่องจำหน่ายสมาร์ทในการรวมกันกับปฏิทินกิจกรรมสำหรับสถานที่ เครื่องหยอดเหรียญตั้งอยู่จะกำหนดผสมผลิตภัณฑ์ที่เหมาะสมและระยะเวลาในการเติมเต็มสำหรับเครื่องจำหน่าย. โซลูชั่น Spectrum เทคโนโลยีใหม่หลายคนได้โผล่ออกมาที่อยู่ที่ต้องการโครงสร้างพื้นฐานด้านไอทีระบุไว้ข้างต้น ที่นับมีกว่า 120 แหล่งที่มาเปิดฐานข้อมูลที่สำคัญที่มีมูลค่าการซื้อและการจัดเก็บข้อมูลขนาดใหญ่ในขณะที่ Hadoop ได้กลายเป็นระบบหลักสำหรับการจัดระเบียบข้อมูลขนาดใหญ่และฐานข้อมูลเชิงสัมพันธ์รักษารอยเท้าของพวกเขาเป็นคลังข้อมูลและขยายการเข้าถึงของพวกเขาเป็นโครงสร้างน้อย ชุดข้อมูลในการวิเคราะห์ข้อมูลขนาดใหญ่ เหล่านี้ระบบใหม่ได้สร้างสเปกตรัมการแก้ปัญหาแบ่งออกประกอบด้วย: ไม่เพียง แต่ SQL (NoSQL) โซลูชั่น: พัฒนาเป็นศูนย์กลางระบบเฉพาะการแก้ปัญหาSQL: โลกบรรจุโดยปกติจะมีการบริหารจัดการการรักษาความปลอดภัยและธรรมชาติที่เชื่อถือได้ของระบบการจัดการฐานข้อมูลเชิงสัมพันธ์ (RDBMS) NoSQL ระบบถูกออกแบบมาเพื่อเก็บข้อมูลทั้งหมดโดยไม่มีการจัดหมวดหมู่และแยกมันเมื่อเข้าสู่ระบบและดังนั้นข้อมูลจะแตกต่างกันอย่างมาก ระบบ SQL ในมืออื่น ๆ ที่มักจะวางข้อมูลในโครงสร้างที่ดีที่กำหนดและกำหนด metadata กับข้อมูลที่ถูกจับเพื่อให้แน่ใจว่าออราเคิลสีขาวข้อมูลกระดาษที่ยิ่งใหญ่สำหรับองค์กร7 ความมั่นคงและการตรวจสอบชนิดของข้อมูล. รูปสเปกตรัมทางออกที่ 1 แบ่งกระจายระบบไฟล์และการทำธุรกรรม (ค่าคีย์) ร้านค้าที่ใช้เป็นหลักในการเก็บข้อมูลและมักจะสอดคล้องกับความต้องการที่กล่าวถึงก่อนหน้านี้ในบทความนี้ การตีความและสกัดข้อมูลจากข้อมูลในการแก้ปัญหาเหล่านี้กระบวนทัศน์การเขียนโปรแกรมที่เรียกว่า MapReduce ถูกนำมาใช้ โปรแกรม MapReduce จะเขียนโปรแกรมที่กำหนดเองที่ทำงานแบบขนานบนโหนดกระจายข้อมูล. เก็บค่าคีย์หรือฐานข้อมูล NoSQL เป็นฐานข้อมูล OLTP ของโลกข้อมูลขนาดใหญ่; พวกเขาจะเหมาะสำหรับการเก็บข้อมูลอย่างรวดเร็วและรูปแบบที่เรียบง่ายแบบสอบถาม ฐานข้อมูล NoSQL สามารถที่จะให้ประสิทธิภาพการทำงานที่รวดเร็วมากเพราะข้อมูลที่ถูกจับจะถูกเก็บไว้ได้อย่างรวดเร็วด้วยการระบุคีย์เดียวมากกว่าการตีความและโยนลงไปในคี โดยการทำเช่นฐานข้อมูล NoSQL อย่างรวดเร็วสามารถจัดเก็บจำนวนมากของการทำธุรกรรม. แต่เนื่องจากลักษณะการเปลี่ยนแปลงของข้อมูลในฐานข้อมูล NoSQL ที่ความพยายามขององค์กรข้อมูลใด ๆ ต้องมีการเขียนโปรแกรมในการตีความตรรกะที่ใช้ในการจัดเก็บข้อมูล นี้รวมกับการขาดการสนับสนุนรูปแบบแบบสอบถามที่ซับซ้อนที่ทำให้เป็นเรื่องยากสำหรับผู้ใช้เพื่อสกัดค่าจากข้อมูลในฐานข้อมูล NoSQL. เพื่อให้ได้รับประโยชน์สูงสุดจากการแก้ปัญหา NoSQL และเปิดพวกเขาจากการเฉพาะการแก้ปัญหาการพัฒนาเป็นศูนย์กลางในการแก้ปัญหาสำหรับ องค์กรที่พวกเขาจะต้องรวมกับการแก้ปัญหา SQL เป็นโครงสร้างพื้นฐานที่ได้รับการพิสูจน์เดียวที่ตรงกับความสามารถในการจัดการและความต้องการความปลอดภัยของผู้ประกอบการในวันนี้

ผลลัพธ์ (ไทย) 3:

สร้างแพลตฟอร์มข้อมูล
ใหญ่กับโกดังข้อมูล เว็บร้านค้า หรือใด ๆแพลตฟอร์มโครงสร้างพื้นฐานข้อมูลใหญ่มีความต้องการเฉพาะ ในการพิจารณาองค์ประกอบทั้งหมดของแพลตฟอร์มข้อมูลใหญ่ มันเป็นสิ่งสำคัญที่ต้องจำไว้ว่าเป้าหมายก็คือการได้อย่างง่ายดายรวมข้อมูลสำคัญของคุณกับข้อมูลที่องค์กรของคุณเพื่อให้คุณสามารถดำเนินการวิเคราะห์ลึกบนรวมชุดข้อมูล .
ความต้องการโครงสร้างพื้นฐาน
ความต้องการในขนาดใหญ่โครงสร้างพื้นฐานข้อมูลช่วงการจัดระเบียบข้อมูลและการวิเคราะห์ข้อมูล ซึ่งข้อมูลใหญ่

ซื้อเฟสเป็นหลักในการเปลี่ยนแปลงโครงสร้างพื้นฐานจากวันก่อนข้อมูลใหญ่ เพราะข้อมูลใหญ่ หมายถึง กระแสข้อมูลความเร็วสูงและความหลากหลายสูงโครงสร้างพื้นฐานที่จำเป็นเพื่อสนับสนุนการเข้าซื้อกิจการของข้อมูลใหญ่ต้องส่งต่ำ ทายแฝงทั้งในการจับข้อมูลและประมวลผลแบบสอบถามสั้น ง่าย สามารถจัดการกับปริมาณธุรกรรมสูงมาก มักจะกระจายสิ่งแวดล้อม และสนับสนุนความยืดหยุ่นโครงสร้างข้อมูลพลวัต
nosql ฐานข้อมูลที่ใช้บ่อยที่จะได้รับและเก็บข้อมูลใหญ่พวกเขาจะเหมาะสำหรับโครงสร้างข้อมูลแบบไดนามิกและประสิทธิภาพการทำงาน . ข้อมูลที่จัดเก็บในฐานข้อมูล nosql โดยทั่วไปของความหลากหลายสูงเนื่องจากระบบมีวัตถุประสงค์เพียงแค่จับข้อมูลทั้งหมด โดยไม่มีการแยกแยะ และวิเคราะห์ข้อมูลใน schema แก้ไข .
ตัวอย่างเช่น nosql ฐานข้อมูลมักจะถูกใช้เพื่อรวบรวมและจัดเก็บข้อมูลสื่อสังคมในขณะที่ลูกค้าหันใช้งานบ่อยเปลี่ยนออกจากกระเป๋าโครงสร้างจะถูกเก็บไว้อย่างง่าย แทนที่จะออกแบบ schema กับความสัมพันธ์ระหว่างองค์กร โครงสร้างเหล่านี้มักจะประกอบด้วยคีย์หลักเพื่อระบุจุดข้อมูลและเนื้อหาคอนเทนเนอร์ถือข้อมูลที่เกี่ยวข้อง ( เช่น รหัสลูกค้า และลูกค้ารายละเอียด )โครงสร้างแบบง่ายและแบบไดนามิกนี้ช่วยให้การเปลี่ยนแปลงที่จะเกิดขึ้นไม่มีใหม่ราคาแพงที่กระเป๋าชั้น ( เช่นการเพิ่มเขตข้อมูลใหม่ให้รายละเอียดลูกค้า )

ข้อมูลจัดใหญ่เป็นคลังข้อมูลคลาสสิก , ข้อมูลเรียกว่าการรวมข้อมูล เนื่องจากมีปริมาณสูงของข้อมูลใหญ่ มีแนวโน้มที่จะจัดระเบียบข้อมูลที่สถานที่ปลายทางของการเริ่มต้นจึงช่วยประหยัดทั้งเวลาและเงิน โดยไม่ย้ายไปรอบ ๆปริมาณมากของข้อมูล โครงสร้างพื้นฐานที่จำเป็นสำหรับการจัดใหญ่ข้อมูลต้องสามารถประมวลผล และจัดการข้อมูลในสถานที่เก็บต้นฉบับ ; สนับสนุนอัตราความเร็วสูงมาก ( มักจะอยู่ในชุด ) เพื่อจัดการกับขั้นตอนการประมวลผลข้อมูลขนาดใหญ่ และจัดการกับความหลากหลายของรูปแบบข้อมูลจากอินเทอร์เน็ตเพื่อโครงสร้าง .
Hadoop เป็นเทคโนโลยีใหม่ที่ช่วยให้ปริมาณข้อมูลขนาดใหญ่เพื่อจัดระเบียบและประมวลผลโดยเก็บข้อมูลในกลุ่มการจัดเก็บข้อมูลต้นฉบับ การกระจายแฟ้มระบบ ( hdfs Hadoop ) เป็นระบบการจัดเก็บข้อมูลระยะยาวสำหรับเว็บล็อก ตัวอย่างเช่น บันทึกการใช้เว็บเหล่านี้จะกลายเป็นการเรียกดูพฤติกรรม ( ครั้ง ) โดยการเรียกใช้โปรแกรม mapreduce บนคลัสเตอร์ และสร้างมวล
Oracle สีขาวกระดาษใหญ่ข้อมูลสำหรับองค์กร
6
ผลลัพธ์ในกลุ่มเดียวกัน ผลลัพธ์เหล่านี้รวมแล้วโหลดเข้าไปในระบบ DBMS เชิงสัมพันธ์

ข้อมูลวิเคราะห์ใหญ่เนื่องจากข้อมูลไม่เสมอย้ายในระหว่างขั้นตอนขององค์กร การวิเคราะห์อาจจะทำในการสภาพแวดล้อมที่ข้อมูลจะอยู่ที่ เดิมจัดเก็บและโปร่งใสเข้าถึงได้จากคลังข้อมูลโครงสร้างพื้นฐานที่จำเป็นสำหรับการวิเคราะห์ข้อมูลใหญ่ต้องสามารถสนับสนุนการวิเคราะห์ลึก เช่น การวิเคราะห์ทางสถิติและการทำเหมืองข้อมูลในความหลากหลายของประเภทของข้อมูลที่เก็บไว้ในระบบที่หลากหลาย แบบสุดโต่ง ปริมาณข้อมูล ส่งเร็วเวลาตอบสนองขับเคลื่อนด้วยการเปลี่ยนแปลงในพฤติกรรม และทำให้การตัดสินใจบนพื้นฐานของแบบจำลองเชิงวิเคราะห์ ที่สำคัญที่สุดระบบต้องสามารถบูรณาการการวิเคราะห์การรวมกันของข้อมูลและข้อมูลองค์กรแบบดั้งเดิม ข้อมูลเชิงลึกมาใหม่ไม่เพียง แต่จากการวิเคราะห์ข้อมูลใหม่ แต่จากการวิเคราะห์ภายในบริบทของเก่าให้มุมมองใหม่เกี่ยวกับปัญหาเก่า
ตัวอย่างเช่นวิเคราะห์ข้อมูลสินค้าคงคลังจาก Smart Vending Machine ในการรวมกันกับปฏิทินเหตุการณ์สำหรับสถานที่ที่เครื่องอยู่ จะบอกส่วนผสมผลิตภัณฑ์ที่เหมาะสมและตารางเวลาการเติมเต็มสำหรับ Vending Machine .

โซลูชั่นสเปกตรัมเทคโนโลยีใหม่หลาย ได้กลายเป็นที่อยู่ในความต้องการของโครงสร้างพื้นฐานไอทีที่ระบุไว้ข้างต้น ในที่สุดนับมีมากกว่า 120 ค่าคีย์ฐานข้อมูลเปิดแหล่งที่มาสำหรับการรับและจัดเก็บข้อมูลใหญ่ ในขณะที่ Hadoop ได้กลายเป็นระบบหลักสำหรับการจัดระเบียบข้อมูลและฐานข้อมูลเชิงสัมพันธ์ รักษารอยของพวกเขาเป็นคลังข้อมูลและขยายการเข้าถึงของพวกเขาน้อยกว่าโครงสร้างชุดข้อมูลเพื่อวิเคราะห์ข้อมูลใหญ่ ระบบใหม่นี้ออกแบบโดยโซลูชั่นสเปกตรัม :
1ไม่เพียงแต่ SQL ( nosql ) โซลูชั่น : นักพัฒนาศูนย์กลางผู้เชี่ยวชาญระบบ
 SQL โซลูชั่น : โลกจะ equated กับการจัดการความปลอดภัยและเชื่อถือได้ ลักษณะของระบบจัดการฐานข้อมูลเชิงสัมพันธ์ ( RDBMS )
nosql ระบบถูกออกแบบมาเพื่อจับข้อมูลทั้งหมด โดยการจัดหมวดหมู่และแยกเมื่อเข้าระบบ ดังนั้นข้อมูลที่หลากหลาย สูง ระบบ SQL ,บนมืออื่น ๆที่มักจะสถานที่ข้อมูลในโครงสร้างและเมตาดาต้าที่กำหนดไว้เพื่อให้แน่ใจว่าข้อมูลถูก
Oracle สีขาวกระดาษใหญ่ข้อมูลสำหรับองค์กร

7 ความสอดคล้องและตรวจสอบชนิดข้อมูล .
รูปที่ 1
แบ่งสเปกตรัม โซลูชั่นการกระจายแฟ้มระบบและการดำเนินการ ( ค่าคีย์ ) ร้านค้าจะใช้เป็นหลักในการเก็บข้อมูลและโดยทั่วไปจะสอดคล้องกับความต้องการที่กล่าวถึงก่อนหน้าในบทความนี้ การตีความและสกัดข้อมูลจากข้อมูลในการแก้ปัญหาเหล่านี้ เรียกว่า mapreduce กระบวนทัศน์การเขียนโปรแกรมที่ใช้ เป็นโปรแกรมที่กำหนดเองเขียนโปรแกรม mapreduce วิ่งคู่ขนานบนข้อมูลแบบกระจายโหนด .
ค่าคีย์ nosql เป็นร้านค้าหรือฐานข้อมูลและฐานข้อมูลของโลกใหญ่ข้อมูล พวกเขาจะเหมาะสำหรับข้อมูลที่รวดเร็วมาก จับภาพ และรูปแบบแบบสอบถามอย่างง่าย nosql ฐานข้อมูลสามารถให้ประสิทธิภาพที่รวดเร็วมาก เพราะข้อมูลที่ถูกเก็บไว้กับเดียวที่ซับซ้อนได้อย่างรวดเร็วคีย์มากกว่าการตีความและโยนเป็นสคีมา โดยการทำเช่นนั้นฐานข้อมูล nosql อย่างรวดเร็วสามารถจัดเก็บจำนวนมากของการทำธุรกรรม .
แต่เนื่องจากลักษณะการเปลี่ยนแปลงของข้อมูลในฐานข้อมูลใด ๆ nosql , ข้อมูลองค์กรความพยายามต้องการเขียนโปรแกรมเพื่อตีความกระเป๋าลอจิกที่ใช้ นี้รวมกับการขาดการสนับสนุนสำหรับรูปแบบแบบสอบถามที่ซับซ้อนทำให้ยากสำหรับผู้ใช้เพื่อแยกค่าของข้อมูลใน nosql
ฐานข้อมูล .ที่จะได้รับประโยชน์สูงสุดจากโซลูชั่น nosql และเปลี่ยนพวกเขาจากผู้เชี่ยวชาญ , นักพัฒนาเป็นศูนย์กลางโซลูชั่น เป็นโซลูชั่นสำหรับองค์กร พวกเขาจะต้องรวมกับ SQL โซลูชั่นลงในเดียวพิสูจน์โครงสร้างพื้นฐานที่ตรงตามความต้องการขององค์กรการจัดการและการรักษาความปลอดภัยในวันนี้