Recent studies show that the use of

Recent studies show that the use of a multiple layer architecture is an option for dealing with big data. The Distributed Parallel architecture distributes data across multiple processing units and parallel processing units provide data much faster, by improving processing speeds. This type of architecture inserts data into a parallel DBMS, which implements the use of MapReduce and Hadoop frameworks. This type of framework looks to make the processing power transparent to the end user by using a front end application server.[33]

Big Data Analytics for Manufacturing Applications can be based on a 5C architecture (connection, conversion, cyber, cognition, and configuration). Please see http://www.imscenter.net/cyber-physical-platform . In the "Connection" level, devices can be designed to self-connect and self-sensing for its behavior. In the "Conversion" level, data from self-connected devices and sensors are measuring the features of critical issues with self-aware capabilities, machines can use the self-aware information to self-predict its potential issues. In the "Cyber" level, each machine is creating its own "twin" by using these instrumented features and further characterize the machine health pattern based on a "Time-Machine" methodology. The established "twin" in the cyber space can perform self-compare for peer-to-peer performance for further synthesis. In the "Cognition" level, the outcomes of self-assessment and self-evaluation will be presented to users based on an "infographic" meaning to show the content and context of the potential issues. In the "Configuration" level, the machine or production system can be reconfigured based on the priority and risk criteria to achieve resilient performance.[34]

The 5C Level Architecture can be described as: Smart Connection- Acquiring accurate and reliable data from machines and their components is the first step in developing a cyber-physical system application. The data might be directly measured by sensors or obtained from controller or enterprise manufacturing systems such as ERP, MES, SCM and CMM. Two important factors at this level have to be considered. First, considering various types of data, a seamless and tether-free method to manage data acquisition procedure and transferring data to the central server is required where specific protocols such as MTConnect, etc. are effectively useful. On the other hand, selecting proper sensors (type and specification) is the second important consideration for the first level. Data-to-Information Conversion-Meaningful information has to be inferred from the data. Currently, there are several tools and methodologies available for the data to information conversion level. In recent years, extensive focus has been applied to develop these algorithms specifically for prognostics and health management applications. By calculating health value, estimated remaining useful life, etc., the second level of CPS architecture brings self-awareness to machines. Cyber-The cyber level acts as central information hub in this architecture. Information is being pushed to it from every connected machine to form the machines network. Having massive information gathered, specific analytics has to be used to extract additional information that provide better insight over the status of individual machines among the fleet. These analytics provide machines with self-comparison ability, where the performance of a single machine can be compared with and rated among the fleet and on the other hand, similarities between machine performance and previous assets (historical information) can be measured to predict the future behavior of the machinery. In this paper we briefly introduce an efficient yet effective methodology for managing and analyzing information at cyber level. Cognition-Implementing CPS upon this level generates a thorough knowledge of the monitored system. Proper presentation of the acquired knowledge to expert users supports the correct decision to be taken. Since comparative information as well as individual machine status is available, decision on priority of tasks to optimize the maintaining process can be made. For this level, proper info-graphics are necessary to completely transfer acquired knowledge to the users. Configuration-The configuration level is the feedback from cyber space to physical space and act as supervisory control to make machines self-configure and self-adaptive. This stage acts as resilience control system (RCS) to apply the corrective and preventive decisions, which has been made in cognition level, to the monitored system.[24][25]

Technologies
Big data requires exceptional technologies to efficiently process large quantities of data within tolerable elapsed times. A 2011 McKinsey report[35] suggests suitable technologies include A/B testing, crowdsourcing, data fusion and integration, genetic algorithms, machine learning, natural language processing, signal processing, simulation, time series analysis and visualisation. Multidimensional big data can also be represented as tensors, which can be more efficiently handled by tensor-based computation,[36] such as multilinear subspace learning.[37] Additional technologies being applied to big data include massively parallel-processing (MPP) databases, search-based applications, data mining, distributed file systems, distributed databases, cloud based infrastructure (applications, storage and computing resources) and the Internet.[citation needed]

Some but not all MPP relational databases have the ability to store and manage petabytes of data. Implicit is the ability to load, monitor, back up, and optimize the use of the large data tables in the RDBMS.[38]

DARPA’s Topological Data Analysis program seeks the fundamental structure of massive data sets and in 2008 the technology went public with the launch of a company called Ayasdi.[39]

The practitioners of big data analytics processes are generally hostile to slower shared storage,[40] preferring direct-attached storage (DAS) in its various forms from solid state drive (SSD) to high capacity SATA disk buried inside parallel processing nodes. The perception of shared storage architectures—Storage area network (SAN) and Network-attached storage (NAS) —is that they are relatively slow, complex, and expensive. These qualities are not consistent with big data analytics systems that thrive on system performance, commodity infrastructure, and low cost.

Real or near-real time information delivery is one of the defining characteristics of big data analytics. Latency is therefore avoided whenever and wherever possible. Data in memory is good—data on spinning disk at the other end of a FC SAN connection is not. The cost of a SAN at the scale needed for analytics applications is very much higher than other storage techniques.

There are advantages as well as disadvantages to shared storage in big data analytics, but big data analytics practitioners as of 2011 did not favour it.[41]

ผลลัพธ์ (ไทย) 1:

การศึกษาล่าสุดแสดงว่าการใช้สถาปัตยกรรมชั้นหลายตัวเลือกสำหรับจัดการกับข้อมูลขนาดใหญ่ สถาปัตยกรรมกระจายขนานกระจายข้อมูลผ่านหลายหน่วยประมวลผล และหน่วยประมวลผลแบบขนานให้ข้อมูลรวดเร็วมาก โดยการปรับปรุงความเร็วในการประมวลผล สถาปัตยกรรมชนิดนี้แทรกข้อมูลใน DBMS ขนาน ซึ่งใช้การใช้กรอบ MapReduce และอย่างไร Hadoop กรอบชนิดนี้มีลักษณะที่ทำให้พลังการประมวลผลโปร่งใสผู้โดยเซิร์ฟเวอร์แอพลิเคชันสิ้นสุดหน้า[33]วิเคราะห์ข้อมูลขนาดใหญ่สำหรับการใช้งานที่ผลิตสามารถยึดตามสถาปัตยกรรม 5C (เชื่อมต่อ การแปลง ไซเบอร์ ประชาน และตั้งค่าคอนฟิก) โปรดดู http://www.imscenter.net/cyber-physical-platform ในระดับ "เชื่อมต่อ" อุปกรณ์สามารถออกแบบการเชื่อมต่อด้วยตนเอง และตรวจลักษณะการทำงานของตนเอง ในระดับ "แปลง" ข้อมูลจากอุปกรณ์ที่เชื่อมต่อด้วยตนเองและเซนเซอร์จะวัดคุณลักษณะของประเด็นสำคัญมีความสามารถ self-aware เครื่องสามารถใช้ข้อมูล self-aware เพื่อทายปัญหาของตนเอง ในระดับ "ไซเบอร์" เครื่องสร้าง "ห้อง" ของตนเอง โดยใช้คุณลักษณะเหล่านี้ instrumented และเพิ่มเติม ลักษณะรูปแบบสุขภาพเครื่องตามวิธี "เวลาเครื่องจักร" การก่อตั้ง "เตียง" ในพื้นที่ไซเบอร์สามารถเปรียบเทียบประสิทธิภาพเพียร์เพื่อเพียร์สำหรับสังเคราะห์เพิ่มเติมด้วยตนเอง ผลของการประเมินตนเองและประเมินตนเองจะแสดงกับผู้ใช้ตาม "อินโฟกราฟิกส์" หมายถึง การแสดงเนื้อหาและบริบทของปัญหาอาจเกิดขึ้นในระดับ "ประชาน" ในระดับ "กำหนดค่า" ระบบการผลิตหรือเครื่องจักรสามารถจะเรียบร้อยแล้วตามเงื่อนไขลำดับความสำคัญและความเสี่ยงเพื่อให้บรรลุประสิทธิภาพความยืดหยุ่น[34]C 5 สามารถอธิบายระดับสถาปัตยกรรมเป็น: สมาร์ท - เชื่อมต่อได้ถูกต้อง และเชื่อถือได้ข้อมูลจากเครื่องจักรและส่วนประกอบอื่น ๆ เป็นขั้นตอนแรกในการพัฒนาโปรแกรมประยุกต์ระบบทางกายภาพและทางไซเบอร์ ข้อมูลอาจไม่ตรงวัด ด้วยเซนเซอร์ หรือได้รับจากการควบคุมหรือผลิตระบบ ERP, MES ห่วง และ CMM องค์กร ปัจจัยสำคัญสองระดับนี้ต้องได้รับการพิจารณา ครั้งแรก พิจารณาข้อมูลชนิดต่าง ๆ วิธีการจำแนก และ ปราศจากการออกในการจัดการข้อมูลขั้นตอนการซื้อและการโอนย้ายข้อมูลไปยังเซิร์ฟเวอร์ส่วนกลางจำเป็นที่เฉพาะโพรโทคอลเช่น MTConnect ฯลฯ มีประโยชน์อย่างมีประสิทธิภาพ บนมืออื่น ๆ เลือกเซนเซอร์ที่เหมาะสม (ชนิดและข้อมูลจำเพาะ) เป็นการพิจารณาสำคัญสองระดับแรก แปลงข้อมูลให้ข้อมูล-ความหมายข้อมูลเป็นสรุปจากข้อมูล ในปัจจุบัน มีเครื่องมือและวิธีการต่าง ๆ สำหรับข้อมูลระดับการแปลงข้อมูล ในปีที่ผ่านมา ความละเอียดมีการใช้การพัฒนาอัลกอริทึมเหล่านี้โดยเฉพาะสำหรับ prognostics และโปรแกรมประยุกต์การจัดการสุขภาพ โดยคำนวณค่าสุขภาพ อายุคงเหลือประมาณ ฯลฯ ระดับสองของวิทยาลัยสถาปัตยกรรมนำ self-awareness การเครื่อง ระดับโลกไซเบอร์โลกไซเบอร์ทำหน้าที่เป็นศูนย์กลางข้อมูลในสถาปัตยกรรมนี้ ข้อมูลจะเป็นผลักจะจากทุกเครื่องที่เชื่อมต่อแบบเครือข่ายเครื่อง มีข้อมูลขนาดใหญ่ที่รวบรวม การวิเคราะห์เฉพาะได้ที่จะใช้ในการดึงข้อมูลเพิ่มเติมที่ให้ความเข้าใจดีกว่าสถานะของแต่ละเครื่องในเรือ วิเคราะห์เหล่านี้ให้เครื่อง มีความสามารถในการเปรียบเทียบตนเอง ซึ่งประสิทธิภาพของเครื่องจักรเดียวสามารถเปรียบเทียบกับ และคะแนนระหว่างเรือ และในทางกลับกัน สามารถวัดความคล้ายคลึงระหว่างประสิทธิภาพการทำงานของเครื่องจักรและสินทรัพย์ก่อนหน้า (ข้อมูลย้อนหลัง) เพื่อทำนายพฤติกรรมในอนาคตของเครื่องจักร ในเอกสารนี้ เราสั้น ๆ นำวิธีมีประสิทธิภาพ ยังมีประสิทธิภาพในการจัดการ และการวิเคราะห์ข้อมูลระดับโลกไซเบอร์ ใช้ประชานของวิทยาลัยตามระดับนี้สร้างความรู้อย่างละเอียดในระบบตรวจสอบ งานนำเสนอที่เหมาะสมของความรู้ได้รับผู้เชี่ยวชาญสนับสนุนการตัดสินใจที่ถูกต้องควร ตั้งแต่ข้อมูลเปรียบเทียบด้วย เป็นเครื่องจักรแต่ละสถานะว่าง ตัดสินใจเกี่ยวกับระดับความสำคัญของงานเพื่อเพิ่มประสิทธิภาพกระบวนการรักษาการสามารถทำ สำหรับระดับนี้ ข้อมูลกราฟิกที่เหมาะสมจำเป็นต้องใช้ความรู้ทั้งหมดโอนมาสำหรับผู้ใช้ ระดับการตั้งค่าคอนฟิกการตั้งค่าคอนฟิกที่เป็นคำติชมจากพื้นที่ไซเบอร์กับพื้นที่จริงและการกระทำเป็นผู้ควบคุมงานควบคุมทำให้เครื่องกำหนดค่าด้วยตนเอง และการ self-adaptive ขั้นตอนนี้ทำหน้าที่เป็นระบบควบคุมความยืดหยุ่น (RCS) ต้องตัดสินใจแก้ไข และป้องกัน ซึ่งได้ทำในระดับประชาน ระบบตรวจสอบ[24][25]เทคโนโลยีข้อมูลขนาดใหญ่จำเป็นต้องใช้เทคโนโลยีพิเศษมีประสิทธิภาพประมวลผลข้อมูลภายในเวลาผ่านไป tolerable จำนวนมาก ตัว 2011 แมคเคน [35] แนะนำเทคโนโลยีที่เหมาะสมรวม A / B ทดสอบ crowdsourcing ข้อมูลฟิวชั่นและรวม อัลกอริทึมทางพันธุกรรม เครื่องจักรการเรียนรู้ การประมวลผลภาษาธรรมชาติ การประมวลผลสัญญาณ การ จำลอง เวลาชุดวิเคราะห์และสร้างมโนภาพ นอกจากนี้ยังสามารถแสดงข้อมูลหลายมิติขนาดใหญ่เป็น tensors ซึ่งสามารถได้อย่างมีประสิทธิภาพจัดการ โดยคำนวณตาม tensor, [36] เช่นเรียน multilinear subspace[37] เพิ่มเติมเทคโนโลยีที่ถูกนำไปใช้กับข้อมูลขนาดใหญ่ไว้อย่างหนาแน่นพร้อมกันการประมวลผลฐานข้อมูล (MPP) โปรแกรมประยุกต์ที่ใช้ค้นหา การทำเหมืองข้อมูล ระบบแฟ้มแบบกระจาย ฐานข้อมูลแบบกระจาย โครงสร้างพื้นฐานคลาวด์ที่อยู่ (ใบสมัคร เก็บข้อมูล และคอมพิวเตอร์) และอินเทอร์เน็ต[ต้องการอ้างอิง]ความสามารถในการจัดเก็บ และจัดการ petabytes ข้อมูลบางส่วน แต่ไม่ทั้งหมดกลุ่มฐานข้อมูลเชิงสัมพันธ์ได้ สามารถโหลด ตรวจสอบ สำรองข้อมูล และการเพิ่มประสิทธิภาพการใช้ตารางข้อมูลขนาดใหญ่ใน RDBMS มีนัย[38]โปรแกรมวิเคราะห์ข้อมูล Topological ของ DARPA หาโครงสร้างพื้นฐานของชุดข้อมูลขนาดใหญ่ และในปี 2551 เทคโนโลยีไปสาธารณะ ด้วยการเปิดตัวของบริษัทที่เรียกว่า Ayasdi[39]ผู้ของกระบวนการวิเคราะห์ข้อมูลขนาดใหญ่โดยทั่วไปสู้กับช้าร่วมเก็บ, [40] พลุกพล่านตรงแนบเก็บ (DAS) ในรูปแบบต่าง ๆ จากสถานะของแข็ง (SSD) ดิสก์ SATA ความจุสูงที่ฝังอยู่ภายในโหนประมวลผลแบบขนานได้ การรับรู้ของสถาปัตยกรรมร่วมเก็บ — เครือข่ายพื้นที่เก็บข้อมูล (SAN) และเก็บบนเครือข่าย (NAS) — เป็นที่พวกเขาจะค่อนข้างช้า ซับซ้อน และราคาแพง คุณสมบัติเหล่านี้ไม่สอดคล้องกับระบบวิเคราะห์ข้อมูลขนาดใหญ่ที่เจริญเติบโตในประสิทธิภาพของระบบ โครงสร้างพื้นฐานสินค้า และต้นทุนต่ำจัดส่งข้อมูลเวลาจริง หรือใกล้จริงเป็นหนึ่งในการกำหนดลักษณะของการวิเคราะห์ข้อมูลขนาดใหญ่ แฝงจึงหลีกเลี่ยงทุกครั้ง และเป็นไป ข้อมูลในหน่วยความจำไม่ดี — ข้อมูลบนดิสก์ที่สุดของการเชื่อมต่อ FC ซานปั่นไม่ ต้นทุนของซานที่มาตราส่วนที่จำเป็นสำหรับโปรแกรมประยุกต์วิเคราะห์มากสูงกว่าเทคนิคอื่น ๆ จัดเก็บได้มีข้อดีกับข้อเสียการจัดเก็บที่ใช้ร่วมกันในการวิเคราะห์ข้อมูลขนาดใหญ่ แต่ผู้วิเคราะห์ข้อมูลขนาดใหญ่ 2554 ไม่โปรดปราน[41]

ผลลัพธ์ (ไทย) 2:

การศึกษาล่าสุดแสดงให้เห็นว่าการใช้สถาปัตยกรรมหลายชั้นเป็นตัวเลือกในการจัดการกับข้อมูลขนาดใหญ่ สถาปัตยกรรมแบบขนานกระจายกระจายข้อมูลผ่านหน่วยประมวลผลหลายและหน่วยประมวลผลแบบขนานให้ข้อมูลได้เร็วขึ้นมากโดยการปรับปรุงความเร็วในการประมวลผล ประเภทของสถาปัตยกรรมแทรกข้อมูลนี้เป็น DBMS ขนานซึ่งดำเนินการใช้ MapReduce และกรอบ Hadoop ประเภทของกรอบนี้มีลักษณะที่จะทำให้พลังการประมวลผลที่โปร่งใสให้กับผู้ใช้โดยใช้ปลายด้านหน้าแอพพลิเคชันเซิร์ฟเวอร์. [33] บิ๊กการวิเคราะห์ข้อมูลสำหรับการประยุกต์การผลิตจะขึ้นอยู่กับสถาปัตยกรรม 5C (การเชื่อมต่อการแปลงไซเบอร์ความรู้ความเข้าใจและการกำหนดค่า ) โปรดดู http://www.imscenter.net/cyber-physical-platform ใน "การเชื่อมต่อ" ระดับอุปกรณ์ที่สามารถออกแบบให้เชื่อมต่อตนเองและการตรวจวัดพฤติกรรมของมัน ใน "การแปลง" ระดับข้อมูลจากอุปกรณ์เชื่อมต่อตัวเองและเซ็นเซอร์มีการวัดคุณสมบัติของปัญหาที่สำคัญที่มีความสามารถทราบตนเอง, เครื่องสามารถใช้ข้อมูลทราบตนเองด้วยตนเองคาดการณ์ปัญหาที่อาจเกิดขึ้น ใน "ไซเบอร์" ระดับแต่ละเครื่องคือการสร้างของตัวเอง "คู่" โดยใช้คุณสมบัติ instrumented เหล่านี้และอีกลักษณะรูปแบบสุขภาพเครื่องขึ้นอยู่กับ "เวลาเครื่อง" วิธีการ จัดตั้ง "คู่" ในพื้นที่ไซเบอร์สามารถดำเนินการด้วยตัวเองเปรียบเทียบเพื่อให้ได้ประสิทธิภาพแบบ peer-to-peer สำหรับการสังเคราะห์เพิ่มเติม ใน "ความรู้" ระดับผลการประเมินตนเองและการประเมินผลตนเองจะนำเสนอให้ผู้ใช้ตาม "Infographic" ความหมายที่จะแสดงเนื้อหาและบริบทของปัญหาที่อาจเกิด ใน "การตั้งค่า" ระดับเครื่องหรือระบบการผลิตที่สามารถรองรับตามเกณฑ์ที่มีความสำคัญและความเสี่ยงเพื่อให้เกิดประสิทธิภาพความยืดหยุ่น [34]. 5C ระดับสถาปัตยกรรมสามารถอธิบาย: สมาร์ท connection- รับข้อมูลที่ถูกต้องและเชื่อถือได้จากเครื่องและ ส่วนประกอบของพวกเขาเป็นขั้นตอนแรกในการพัฒนาแอพลิเคชันระบบไซเบอร์ทางกายภาพ ข้อมูลอาจจะวัดได้โดยตรงโดยเซ็นเซอร์หรือได้รับจากตัวควบคุมหรือองค์กรระบบการผลิตเช่น ERP, MES, SCM และ CMM สองปัจจัยที่สำคัญในระดับนี้จะต้องได้รับการพิจารณา ขั้นแรกให้พิจารณาหลายประเภทของข้อมูลที่ไร้รอยต่อและโยงฟรีวิธีการในการจัดการขั้นตอนการเก็บข้อมูลและถ่ายโอนข้อมูลไปยังเซิร์ฟเวอร์กลางเป็นสิ่งจำเป็นที่โปรโตคอลที่เฉพาะเจาะจงเช่น MTConnect ฯลฯ มีประโยชน์ได้อย่างมีประสิทธิภาพ ในทางตรงกันข้ามการเลือกเซ็นเซอร์ที่เหมาะสม (ชนิดและข้อกำหนด) คือการพิจารณาที่สำคัญที่สองสำหรับระดับแรก ข้อมูลการข้อมูลข้อมูลการแปลงความหมายจะต้องมีการสรุปจากข้อมูลที่ ปัจจุบันมีเครื่องมือต่างๆและวิธีการให้บริการสำหรับข้อมูลในระดับแปลงข้อมูล ในปีที่ผ่านมามุ่งเน้นกว้างขวางได้ถูกนำมาใช้ในการพัฒนาขั้นตอนวิธีการเหล่านี้โดยเฉพาะสำหรับการคาดคะเนและการประยุกต์ใช้การจัดการสุขภาพ โดยการคำนวณค่าสุขภาพโดยประมาณที่เหลืออายุการใช้งานและอื่น ๆ ระดับที่สองของสถาปัตยกรรม CPS นำความรู้ด้วยตนเองกับเครื่อง กล้อง Cyber-ระดับโลกไซเบอร์ทำหน้าที่เป็นศูนย์กลางข้อมูลกลางในสถาปัตยกรรมนี้ ข้อมูลจะถูกผลักไปจากทุกเครื่องที่เชื่อมต่อกับเครือข่ายในรูปแบบเครื่อง มีข้อมูลขนาดใหญ่ที่รวบรวมการวิเคราะห์เฉพาะจะต้องมีการใช้ในการดึงข้อมูลเพิ่มเติมที่ให้ข้อมูลเชิงลึกที่ดีกว่าสถานะของเครื่องแต่ละเครื่องในหมู่กองทัพเรือ การวิเคราะห์เหล่านี้ให้เครื่องที่มีความสามารถในการเปรียบเทียบตนเองที่ประสิทธิภาพการทำงานของเครื่องเดียวสามารถนำมาเปรียบเทียบกับการจัดอันดับในหมู่กองทัพเรือและบนมืออื่น ๆ ที่คล้ายคลึงกันระหว่างประสิทธิภาพของเครื่องและสินทรัพย์ที่ก่อนหน้านี้ (ข้อมูลทางประวัติศาสตร์) สามารถวัดได้ในการทำนายอนาคต ลักษณะการทำงานของเครื่องจักร ในบทความนี้เราสั้นแนะนำวิธีการที่มีประสิทธิภาพและมีประสิทธิภาพสำหรับการจัดการและการวิเคราะห์ข้อมูลในระดับโลกไซเบอร์ ความรู้ความเข้าใจการใช้-CPS เมื่อระดับนี้จะสร้างความรู้อย่างละเอียดของระบบการตรวจสอบ การนำเสนอที่เหมาะสมของความรู้ที่ได้มาให้กับผู้ใช้ผู้เชี่ยวชาญสนับสนุนการตัดสินใจที่ถูกต้องจะต้องดำเนินการ เนื่องจากข้อมูลเปรียบเทียบรวมทั้งสถานะแต่ละเครื่องสามารถใช้ได้การตัดสินใจเกี่ยวกับการจัดลำดับความสำคัญของงานที่จะเพิ่มประสิทธิภาพกระบวนการการรักษาสามารถทำได้ สำหรับระดับนี้เหมาะสมข้อมูลกราฟิกที่มีความจำเป็นที่จะสมบูรณ์ถ่ายทอดความรู้ที่ได้มาให้กับผู้ใช้ กำหนดค่าระดับการกำหนดค่าเป็นข้อเสนอแนะที่ได้จากพื้นที่ไซเบอร์ไปยังพื้นที่ทางกายภาพและทำหน้าที่เป็นผู้ควบคุมกำกับดูแลเพื่อให้เครื่องกำหนดค่าด้วยตนเองและตนเองในการปรับตัว ขั้นตอนนี้จะทำหน้าที่เป็นระบบการควบคุมความยืดหยุ่น (RCS) เพื่อใช้ในการตัดสินใจแก้ไขและป้องกันซึ่งได้รับการทำในระดับความรู้ความเข้าใจกับระบบการตรวจสอบ. [24] [25] เทคโนโลยีข้อมูลขนาดใหญ่ต้องใช้เทคโนโลยีพิเศษในการประมวลผลได้อย่างมีประสิทธิภาพปริมาณข้อมูลขนาดใหญ่ ภายในเวลาที่ผ่านไปพอประมาณ รายงาน McKinsey 2011 [35] แนะนำเทคโนโลยีที่เหมาะสมรวมถึงการทดสอบ / B crowdsourcing, ฟิวชั่นข้อมูลและบูรณาการขั้นตอนวิธีทางพันธุกรรม, การเรียนรู้เครื่องประมวลผลภาษาธรรมชาติ, การประมวลผลสัญญาณการจำลองการวิเคราะห์อนุกรมเวลาและการมองเห็น ข้อมูลขนาดใหญ่หลายมิตินอกจากนี้ยังสามารถแสดงเป็นเทนเซอร์ซึ่งสามารถจัดการได้อย่างมีประสิทธิภาพโดยการคำนวณเมตริกซ์ที่ใช้ [36] เช่นการเรียนรู้สเปซ multilinear. [37] เทคโนโลยีเพิ่มเติมถูกนำไปใช้กับข้อมูลขนาดใหญ่อย่างหนาแน่นรวมถึงการประมวลผลแบบขนาน (MPP) ฐานข้อมูล การประยุกต์ใช้การค้นหาที่ใช้การทำเหมืองข้อมูลกระจายระบบไฟล์ฐานข้อมูลเมฆกระจายโครงสร้างพื้นฐาน (โปรแกรมจัดเก็บข้อมูลและทรัพยากรในการคำนวณ) และอินเทอร์เน็ต. [อ้างจำเป็น] บางคน แต่ไม่ทั้งหมด MPP ฐานข้อมูลเชิงสัมพันธ์มีความสามารถในการจัดเก็บและจัดการ petabytes ของข้อมูล โดยนัยก็คือความสามารถในการโหลดตรวจสอบกลับขึ้นและเพิ่มประสิทธิภาพการใช้งานของตารางข้อมูลขนาดใหญ่ใน RDBMS. [38] DARPA ของทอพอโลยีโปรแกรมการวิเคราะห์ข้อมูลพยายามโครงสร้างพื้นฐานของชุดข้อมูลขนาดใหญ่และในปี 2008 เทคโนโลยีไปในที่สาธารณะด้วย การเปิดตัวของ บริษัท ที่เรียกว่า Ayasdi. [39] ผู้ปฏิบัติงานของกระบวนการการวิเคราะห์ข้อมูลขนาดใหญ่โดยทั่วไปมักจะเป็นศัตรูกับการจัดเก็บข้อมูลที่ใช้ร่วมกันช้าลง [40] เลือกที่จัดเก็บโดยตรงแนบ (DAS) ในรูปแบบต่าง ๆ จากไดรฟ์ของรัฐที่มั่นคง (SSD) กำลังการผลิตสูง ดิสก์ SATA ฝังอยู่ภายในโหนดประมวลผลแบบขนาน การรับรู้ของการจัดเก็บข้อมูลที่ใช้ร่วมกันสถาปัตยกรรมเครือข่ายการจัดเก็บข้อมูล (SAN) และหน่วยเก็บข้อมูลบนเครือข่าย (NAS) เค้าว่าพวกเขาจะค่อนข้างช้าที่ซับซ้อนและมีราคาแพง คุณสมบัติเหล่านี้จะไม่สอดคล้องกับระบบการวิเคราะห์ข้อมูลขนาดใหญ่ที่เจริญเติบโตในการทำงานของระบบโครงสร้างพื้นฐานของสินค้าโภคภัณฑ์และต้นทุนต่ำ. จริงหรือเวลาใกล้จริงจัดส่งข้อมูลเป็นหนึ่งในการกำหนดลักษณะของการวิเคราะห์ข้อมูลขนาดใหญ่ แฝงจึงจะหลีกเลี่ยงและเมื่อใดก็ตามที่เป็นไปได้ ข้อมูลในหน่วยความจำข้อมูลที่ดีบนดิสก์หมุนที่ปลายอีกด้านของการเชื่อมต่อ FC SAN ไม่ได้ ค่าใช้จ่ายของ SAN ในระดับที่จำเป็นสำหรับการใช้งานการวิเคราะห์เป็นอย่างมากสูงกว่าเทคนิคการเก็บข้อมูลอื่น ๆ . มีข้อได้เปรียบเช่นเดียวกับข้อเสียในการจัดเก็บข้อมูลที่ใช้ร่วมกันในการวิเคราะห์ข้อมูลขนาดใหญ่ แต่ผู้ปฏิบัติงานด้านการวิเคราะห์ข้อมูลขนาดใหญ่เป็นของปี 2011 ไม่เข้าข้างมัน. [ 41]