Basically, data processing is seen

Basically, data processing is seen as the gathering, process- ing, management of data for producing “new” information for end users [3]. Over time, key challenges are related to stor- age, transportation and processing of high throughput data. It is different from Big Data challenges to which we have to add ambiguity, uncertainty and variety [3]. Consequently, these re- quirements imply an additional step where data are cleaned, tagged, classified and formatted [3,14]. Karmasphere5 cur- rently splits Big Data analysis into four steps: Acquisition or Access, Assembly or Organization, Analyze and Action or Decision. Thus, these steps are mentioned as the “4 A’s”. The Computing Community Consortium [14] similarly to [3], divides the organi- zation step into an Extraction/Cleaning step and an Integration step.

Acquisition. Big Data architecture has to acquire high speed data from a variety of sources (web, DBMS(OLTP), NoSQL, HDFS) and has to deal with diverse access protocols. It is where a filter could be established to store only data which could be helpful or “raw” data with a lower degree of uncer- tainty [14]. In some applications, the conditions of generation of data are important, thus it could be interesting for further analysis to capture these metadata and store them with the corresponding data [14].
Organization. At this point the architecture has to deal
with various data formats (texts formats, compressed files, variously delimited, etc.) and must be able to parse them and extract the actual information like named entities, relation between them, etc. [14]. Also this is the point where data have to be clean, put in a computable mode, structured or semi-structured, integrated and stored in the right location (existing data warehouse, data marts, Operational Data Store, Complex Event Processing engine, NoSQL database) [14]. Thus, a kind of ETL (extract, transform, load) had to be done. Successful cleaning in Big Data architecture is not entirely guaranteed; in fact “the volume, velocity, variety, and variability of Big Data may preclude us from taking the time to cleanse it all thoroughly”.6
Analyze. Here we have running queries, modeling, and building algorithms to find new insights. Mining requires in- tegrated, cleaned, trustworthy data; at the same time, data mining itself can also be used to help improve the quality and trustworthiness of the data, understand its semantics, and provide intelligent querying functions [14]. Decision. Being able to take valuable decisions means to be able to efficiently interpret results from analysis. Consequently it is very im- portant for the user to “understand and verify” outputs [14]. Furthermore, provenance of the data (supplementary informa- tion that explains how each result was derived) should be pro- vided to help the user to understand what he obtains.
If we can easily see how volume, velocity, veracity and va-
riety influence the pipeline of Big Data architecture, there is another important aspect in data to handle in Big Data Ar- chitecture: privacy. R. Hillard7 considers it to be very impor- tant that privacy appears in a good place in his definition of Big Data. Privacy can cause problems at the creation of data (someone who wants to hide some piece of information), at the analysis on data [1] because if we want to aggregate data or to correlate it we could have to access private data; and pri- vacy can also cause inconsistencies at the purging of database. Indeed if we delete all individuals data we can get incoher- ences with aggregate data.
To sum up handle Big Data implies having an infrastructure linear scalable, able to handle high throughput multi-formatted data, fault tolerant, auto recoverable, with a high degree of parallelism and a distributed data processing [3]. It is important to note that, in this management, integrating data (i.e “access, parse, normalize, standardize, integrate, cleanse, extract, match, classify, mask, and deliver data.” [4, chap. 21]) represents 80% of a Big Data project. This aspect is deeply discussed in Section 3.3.

ผลลัพธ์ (ไทย) 1:

โดยทั่วไป ประมวลผลข้อมูลจึงเป็นการรวบรวม อิงกระบวนการ การจัดการข้อมูลการผลิตข้อมูล "ใหม่" สำหรับผู้ใช้ [3] เวลา ความท้าทายเกี่ยวข้องกับ stor-อายุ การขนส่งและประมวลข้อมูลอัตราความเร็วสูง จึงแตกต่างจากข้อมูลที่ท้าทายที่เราต้องเพิ่มความคลาดเคลื่อน ความไม่แน่นอน และหลาย [3] ดังนั้น อีกครั้ง quirements เหล่านี้บ่งบอกถึงขั้นตอนเพิ่มเติมที่ข้อมูลทำความสะอาด แท็ก ประเภท และรูปแบบ [3,14] ปัจจุบัน Karmasphere5 - rently แยกวิเคราะห์ข้อมูลเป็นขั้นตอนที่สี่: ซื้อ หรือเข้า แอสเซมบลี หรือองค์กร วิเคราะห์ และดำเนินการ หรือตัดสินใจ ดังนั้น ดังกล่าวถึงเป็น "4 ของ A" การใช้งานเปลี่ยนชุมชนองค์กร [14] ในทำนองเดียวกัน [3], แบ่งขั้นความ organi ในขั้นตอนการสกัด/ซักและขั้นตอนการรวม ซื้อ สถาปัตยกรรมข้อมูลขนาดใหญ่ได้รับข้อมูลความเร็วสูงจากแหล่ง (เว็บ DBMS(OLTP), NoSQL, HDFS) และมีการจัดการกับโพรโทคอลการเข้าถึงที่หลากหลาย ที่สามารถสร้างตัวกรองการจัดเก็บข้อมูลซึ่งอาจเป็นประโยชน์หรือข้อมูลในระดับล่างของ uncer-tainty [14] "ดิบ" อยู่ ในโปรแกรมประยุกต์บางโปรแกรม เงื่อนไขของการสร้างข้อมูลมีความสำคัญ ดังนั้น มันอาจจะน่าสนใจสำหรับการวิเคราะห์เพิ่มเติมเหล่านี้ข้อมูลเมตาของการจับภาพ และเก็บข้อมูลสอดคล้องกัน [14]องค์กร จุดนี้ สถาปัตยกรรมมีการจัดการมีรูปแบบข้อมูลต่าง ๆ (ข้อความรูปแบบ การบีบอัดไฟล์ แตกต่างคั่น ฯลฯ) และต้องสามารถแยกได้และแยกข้อมูลจริงเช่นชื่อหน่วยงาน ความสัมพันธ์ระหว่าง และอื่น ๆ [14] นอกจากนี้ยัง เป็นจุดที่ข้อมูลมีการทำความสะอาด ใส่ในโหมด computable โครงสร้าง หรือกึ่งโครงสร้าง รวม และเก็บไว้ในตำแหน่งที่ถูกต้อง (ข้อมูลที่มีอยู่ของคลังสินค้า โปรแกรมการประมวลผลเหตุการณ์ซับซ้อนมาร์ท ปฏิบัติการเก็บข้อมูล ข้อมูล ฐานข้อมูล NoSQL) [14] ดังนั้น ชนิดของ ETL (สารสกัด แปลง โหลด) มีการดำเนินการ ทำความสะอาดประสบความสำเร็จในสถาปัตยกรรมข้อมูลไม่ทั้งหมดรับประกัน ในความเป็นจริง "เสียง ความเร็ว ความหลากหลาย และความแปรปรวนของข้อมูลอาจได้ห้ามเราจากสละเวลาในการทำความสะอาดทั้งหมดอย่างละเอียด" .6วิเคราะห์ นี่เรา ได้เรียกใช้แบบสอบถาม แบบจำลอง สร้างอัลกอริทึมการค้นหาข้อมูลเชิงลึกของใหม่ การทำเหมืองแร่ต้องใน-tegrated ทำความสะอาด ข้อมูลน่าเชื่อถือ ในเวลาเดียวกัน การทำเหมืองข้อมูลตัวเองยังใช้เพื่อช่วยปรับปรุงคุณภาพและความน่าเชื่อถือของข้อมูล เข้าใจความหมายของมัน และมีฟังก์ชันการสอบถามอัจฉริยะ [14] การตัดสินใจ ความสามารถในการตัดสินคุณค่าที่หมายถึง การสามารถแปลผลการวิเคราะห์ได้อย่างมีประสิทธิภาพ จึง เป็น im เกาะมากสำหรับผู้ใช้ "เข้าใจ และตรวจสอบ" ผล [14] นอกจากนี้ provenance ข้อมูล (เสริม informa-ทางการค้าที่อธิบายวิธีได้มาแต่ละผล) ควรจะโป - vided ช่วยให้ผู้ใช้เข้าใจสิ่งที่เขาได้รับถ้าเราสามารถเห็นได้ว่าระดับเสียง ความเร็ว จริง และ va -riety มีอิทธิพลต่อขั้นตอนของสถาปัตยกรรมข้อมูลขนาดใหญ่ มีอีกเรื่องที่สำคัญในข้อมูลในใหญ่ Ar ข้อมูล - chitecture: ส่วนบุคคล R. Hillard7 พิจารณาให้ tant นำที่ส่วนปรากฏในสถานที่ดีในนิยามของเขาใหญ่ข้อมูล มาก ความเป็นส่วนตัวทำให้เกิดปัญหาในการสร้างข้อมูล (ผู้ที่ต้องการซ่อนข้อมูลบางชิ้น), ในการวิเคราะห์ข้อมูล [1] เนื่องจากหากเราต้อง การรวมข้อมูล หรือ การเชื่อมโยงมัน เราอาจเข้าถึงข้อมูลส่วนตัว และ pri-vacy ทำให้เกิดความไม่สอดคล้องที่ล้างข้อมูลของฐานข้อมูล แน่นอนถ้าเราลบข้อมูลบุคคลทั้งหมด เราได้ incoher-ences รวมข้อมูลรวมการจัดการ ข้อมูลขนาดใหญ่หมายถึงมีโครงสร้างพื้นฐานเชิงเส้นปรับขนาดได้ สามารถจัดการข้อมูลจัดรูปแบบหลายอัตราความเร็วสูง อดทน ความบกพร่องรถยนต์คืน มีระดับสูงขนานและประมวลผลข้อมูลแบบกระจาย [3] จะต้องทราบว่า ในการจัดการนี้ การรวมข้อมูล (เช่น "เข้า แยก ปกติ มาตรฐาน รวม ทำความสะอาด แยก ตรง จัดประเภท หน้ากาก และส่งข้อมูล" [4, chap. 21]) ถึง 80% ของโครงการข้อมูลขนาดใหญ่ ด้านนี้อย่างลึกซึ้งได้รับการกล่าวถึงในส่วนที่ 3.3

ผลลัพธ์ (ไทย) 2:

โดยทั่วไปการประมวลผลข้อมูลถูกมองว่าเป็นการชุมนุม, การประมวลผลการจัดการข้อมูลการผลิตข้อมูล "ใหม่" สำหรับผู้ใช้ [3] เมื่อเวลาผ่านไปความท้าทายที่สำคัญที่เกี่ยวข้องกับการเก็บไวอายุการขนส่งและการประมวลผลของการรับส่งข้อมูลสูง มันแตกต่างจากความท้าทายข้อมูลขนาดใหญ่ที่เราต้องเพิ่มความคลุมเครือไม่แน่นอนและความหลากหลาย [3] ดังนั้นเหล่านี้อีกครั้ง quirements บ่งบอกถึงขั้นตอนเพิ่มเติมที่ข้อมูลมีการทำความสะอาด, Tagged, จำแนกและจัดรูปแบบ [3,14] Karmasphere5 rently cur- แยกการวิเคราะห์ข้อมูลขนาดใหญ่เป็นสี่ขั้นตอน: การได้มาหรือ Access สภาหรือองค์กรการวิเคราะห์และการดำเนินการหรือการตัดสินใจ ดังนั้นขั้นตอนเหล่านี้จะกล่าวถึงในฐานะ "4 ของ" คอมพิวเตอร์ชุมชน Consortium [14] ในทำนองเดียวกันกับ [3] แบ่งขั้นตอน zation องค์กรต่างๆลงในการสกัด / ทำความสะอาดและขั้นตอนขั้นตอนที่บูรณาการ. การได้มาซึ่ง สถาปัตยกรรมข้อมูลขนาดใหญ่มีที่จะได้รับข้อมูลความเร็วสูงจากความหลากหลายของแหล่งที่มาของเว็บ (DBMS (OLTP) NoSQL, HDFS) และมีการจัดการกับโปรโตคอลการเข้าถึงความหลากหลาย มันเป็นที่ตัวกรองจะได้รับการจัดตั้งขึ้นเพื่อเก็บข้อมูลเท่านั้นซึ่งอาจจะเป็นประโยชน์หรือข้อมูล "ดิบ" ที่มีระดับที่ต่ำกว่าของ tainty uncer- [14] ในการใช้งานบางเงื่อนไขของยุคของข้อมูลที่มีความสำคัญดังนั้นมันอาจจะเป็นที่น่าสนใจสำหรับการวิเคราะห์ต่อไปในการจับภาพเมตาดาต้าเหล่านี้และเก็บไว้กับข้อมูลที่สอดคล้องกัน [14]. องค์การ ณ จุดนี้สถาปัตยกรรมมีการจัดการกับรูปแบบต่างๆข้อมูล (รูปแบบข้อความ, ไฟล์บีบอัด, ที่คั่นนานัปการ, ฯลฯ ) และจะต้องสามารถที่จะแยกพวกเขาและดึงข้อมูลจริงเช่นหน่วยงานที่ชื่อความสัมพันธ์ระหว่างพวกเขาและอื่น ๆ [14] . นอกจากนี้ยังเป็นจุดที่ข้อมูลจะต้องมีการทำความสะอาดใส่ในโหมดการคำนวณโครงสร้างหรือกึ่งโครงสร้างแบบบูรณาการและเก็บไว้ในสถานที่ที่เหมาะสม (คลังข้อมูลที่มีอยู่ marts ข้อมูล, ร้านข้อมูลการดำเนินงาน, การประมวลผลเหตุการณ์คอมเพล็กซ์ฐานข้อมูล NoSQL ) [14] ดังนั้นชนิดของ ETL A (สารสกัดจากแปลงโหลด) ที่จะต้องทำ การทำความสะอาดที่ประสบความสำเร็จในงานสถาปัตยกรรมข้อมูลขนาดใหญ่จะไม่รับประกันทั้งหมด; ในความเป็นจริง "ไดรฟ์ความเร็วความหลากหลายและความแปรปรวนของข้อมูลขนาดใหญ่อาจดักคอเราจากการสละเวลาในการทำความสะอาดมันทั้งหมดได้อย่างทั่วถึง" 0.6 วิเคราะห์ ที่นี่เราได้ทำงานคำสั่งการสร้างแบบจำลองอาคารและขั้นตอนวิธีการหาข้อมูลเชิงลึกใหม่ การทำเหมืองแร่ต้องห tegrated ทำความสะอาดข้อมูลที่น่าเชื่อถือ; ในเวลาเดียวกันการทำเหมืองข้อมูลตัวเองยังสามารถนำมาใช้เพื่อช่วยในการปรับปรุงคุณภาพและความน่าเชื่อถือของข้อมูลที่เข้าใจความหมายของตนและให้ฟังก์ชั่นการสอบถามอัจฉริยะ [14] การตัดสิน ความสามารถในการตัดสินใจที่มีคุณค่าหมายถึงการที่จะสามารถแปลผลได้อย่างมีประสิทธิภาพจากการวิเคราะห์ เพราะฉะนั้นมันก็เป็น portant ญมากสำหรับผู้ใช้ "เข้าใจและตรวจสอบ" เอาท์พุท [14] นอกจากนี้ที่มาของข้อมูล (สารสนเทศเสริมที่อธิบายถึงวิธีการที่แต่ละผลที่ได้มา) ควรจะสาโปรที่จะช่วยให้ผู้ใช้สามารถเข้าใจสิ่งที่เขาได้รับ. ถ้าเราสามารถมองเห็นได้อย่างง่ายดายว่าปริมาณความเร็วและความจริง va- อิทธิพล riety ท่อของสถาปัตยกรรมข้อมูลขนาดใหญ่ที่มีความสำคัญอีกอย่างหนึ่งในข้อมูลที่จะจัดการกับข้อมูลขนาดใหญ่ใน Ar- chitecture: ความเป็นส่วนตัว อาร์ Hillard7 คิดว่ามันจะเป็นสำาคัญมากว่าข้อมูลส่วนบุคคลที่ปรากฏอยู่ในสถานที่ที่ดีในความหมายของเขาของข้อมูลขนาดใหญ่ ความเป็นส่วนตัวอาจทำให้เกิดปัญหาในการสร้างข้อมูล (คนที่ต้องการที่จะซ่อนชิ้นส่วนของข้อมูลบางส่วน) ในการวิเคราะห์เกี่ยวกับข้อมูล [1] เพราะถ้าเราต้องการที่จะรวบรวมข้อมูลหรือความสัมพันธ์มันเราจะได้มีการเข้าถึงข้อมูลส่วนตัว และลับขององค์กรโดยยังสามารถทำให้เกิดความไม่สอดคล้องกันในการกวาดล้างของฐานข้อมูล อันที่จริงถ้าเราลบบุคคลข้อมูลทั้งหมดที่เราจะได้รับความแตก incoher- กับข้อมูลโดยรวม. เพื่อสรุปผลการจัดการข้อมูลขนาดใหญ่หมายถึงการมีโครงสร้างพื้นฐานเชิงเส้นสามารถปรับขนาดได้สามารถจัดการกับการส่งผ่านข้อมูลสูงหลายรูปแบบทนความผิดอัตโนมัติคืนที่มีระดับสูง ขนานและการประมวลผลข้อมูลกระจาย [3] มันเป็นสิ่งสำคัญที่จะทราบว่าในการจัดการนี้การบูรณาการข้อมูล (เช่น "การเข้าถึงแยกปกติมาตรฐานบูรณาการทำความสะอาด, สารสกัด, การแข่งขัน, การจำแนกหน้ากากและส่งข้อมูล." [4 CHAP. 21]) แสดงให้เห็นถึง 80% ของโครงการข้อมูลขนาดใหญ่ ด้านนี้จะกล่าวถึงลึกในส่วน 3.3

ผลลัพธ์ (ไทย) 3:

Basically，数据处理，过程是看到作为一个采访，数据管理，增加生产的“新信息”，在用户端，3 ] [时间- related to key挑战是要处理，运输和存储的高吞吐量的数据。这是不同的从大数据中必须添加到我们的挑战，不确定性和ambiguity品种，这些3 Consequently [ ] .一步重新要求数据意味着，在additional是cleaned tagged formatted 3,14，classified和电流- Karmasphere5 [ ] .分析当前大数据splits four steps : Access为收购或汇编，或组织，或Analyze和行动这些决策。因此，作为一个“4 steps是所计算的“A”。14 ]社区[ [联盟]，将3 similarly to一步的分析为zation organi -和一个集成步骤/清洗步骤。对大数据采集体系结构。从已经获得的高速数据网络，各种来源的（A，NoSQL DBMS（OLTP），HDFS）diverse接入协议和协议与已到。这是建立在一个filter可能是到商店中不仅能数据helpful或“原始”的数据是与一个低的不确定性的程度。14 ] [ -在一些应用条件（一），这是thus重要数据，为进一步分析可能是有趣的和他们捕捉这些商店与元数据14 corresponding data [ ]。面向服务架构的组织。在这一点上有个协议与各种文本数据压缩（周，周，等。delimited files，一直到将一定能够）和他们的行列这叫信息实体的实际影响之间的关系，等等，他们也14 ] . [这是在数据点。我是在一个清洁，把computable模式，网络集成和过程，或在semi-structured right location（existing数据仓库，数据集市，操作数据存储，复杂事件处理引擎，14 ] [ NoSQL数据库），因此，一种。蛋白胨（Load，ETL（变换）。要有清洁Successful做了大数据下是不是在entirely guaranteed；“的事实，在各种速度，音量，和我们的大数据variability可能妨碍到cleanse从这一切的时间以6 thoroughly”。我们已经运行queries。这里Analyze算法，建模，和建立新insights to find，在挖掘requires集成。cleaned，trustworthy数据；在相同时间，数据挖掘是一个致力于帮助提高也能用的和trustworthiness它的数据，了解和查询功能，提供智能semantics 14 ] . [一把有价值的Being到决策。一是要来决定。从分析结果efficiently interpret Consequently非常重要，这是我的配置。“了解到现场14 ]和[ verify”。此外，provenance补充信息的数据中，这explains结果是：每个衍生到亲分）应该是帮助他了解到什么obtains配置。如果我们可以看到，如何增加容量，easily veracity和VA -大数据的riety管道的影响下，有一个重要数据是在aspect to handle在大数据建筑：Ar - Hillard7 considers隐私。它是非常重要的是在一个高温的隐私appears在他的地方：大数据是隐私的问题。在不希望有谁（creation of data to some of information），隐藏在一片对数据的分析[ 1 ]，因为如果我们想对我们aggregate数据或它必须能访问correlate私有数据；和也可以是inconsistencies PRI vacy在我们的数据库。purging删除所有个人数据Indeed如果我们可以得到incoher aggregate也与数据。游戏就是为了和一个大数据处理一般采用组合的基础设施，拥有一scalable线性高吞吐量multi-formatted to handle。汽车故障数据，tolerant recoverable高度），与一个分散的数据处理和parallelism 3 ] [这是重要。这是一个集，在这个数据管理，访问（即，将“standardize，normalize integrate cleanse，蛋白胨，，，一、classify，匹配，和数据。4 DELIVER”，chap [ ]。a 21 80%（泰国这个项目是大数据aspect深讨论。在3.3段。