The big data revolution will transf

The big data revolution will transform the way we understand the
surrounding economic or social processes. We can no longer ignore the
enormous volume of data being produced every day. The term “big data”
was defi ned as data sets of increasing volume, velocity and variety (MayerSchönberger,
2012), (Beyer, 2011). Big data sizes are ranging from a few
hundreds terabytes to many petabytes of data in a single data set. Such amount
of data is hard to be managed and processed with classical relational database
management systems and statistics and visualization software packages – it
requires high computing power and large storage devices.
Offi cial statistics need to harness the potential of big data to derive
more relevant and timely statistics but this not an easy process. The fi rst step is to identify the sources of big data possible to be used in offi cial statistics.
According to (HLG, 2013) large data sources that can be used in offi cial
statistics are:
• Administrative data;
• Commercial or transactional data, such as on-line transactions using
credit cards;
• Data provided by sensors (satellite imaging, climate sensors, etc.);
• Data provided by tracking devices (GPS, mobile devices, etc.);
• Behavioral data (for example Internet searches);
• Data provided by social media.
Using big data in offi cial statistics raises several challenges (HLG,
2013). Among them we ca mention: legislative issues, maintaining the privacy
of the data, fi nancial problems regarding the cost of sourcing data, data quality
and suitability of statistical methods and technological challenges. At this time
there are several international initiatives that try to outline an action plan for
using Big Data in offi cial statistics: Eurostat Task Force on Big Data, UNECE’s
Big data HLG project.
At this time there are some ongoing projects that already used big
data for developing new statistics implemented by statistical agencies. We can
mention (HLG, 2013):
• Traffi c and transport statistics computed by Statistics Netherlands
using traffi c loop detection records generated every day. There are
10,000 detection loops on Dutch roads that produce 100 million
records every day;
• Social media statistics computed also by Statistics Netherlands.
Dutch Twitter produces around 1 million public social media
messages on a daily basis. These messages were analyzed from the
perspective of content and sentiment;
• The software developed at Eurostat for price scrapping from the
Internet to assist in computing the Consumer Price Index;
• The Billion project developed at MIT (http://bpp.mit.edu/) is a
project that collect prices from retailers around the world to conduct
economic research;
• Tourism Statistics developed in Estonia by using mobile positioning
data (Ahas, 2013);
In this paper we will investigate a technological problem – we will
present a way of integrating Hadoop (White, 2012), a software framework
for distributed computing used for big data processing with R (R Core Team,

ผลลัพธ์ (ไทย) 1:

การปฏิวัติใหญ่ข้อมูลจะเปลี่ยนตามที่เราเข้าใจการกระบวนการทางเศรษฐกิจ หรือสังคมที่อยู่โดยรอบ เราไม่สามารถละเว้นการปริมาณมหาศาลของข้อมูลที่กำลังจะผลิตทุกวัน คำว่า "ข้อมูลขนาดใหญ่"มีบริษัทฯ เป็นข้อมูลชุดเพิ่มระดับเสียง ความเร็ว และความหลากหลาย (MayerSchönberger, defi2012), (beyer, 2011) ขนาดข้อมูลขนาดใหญ่ตั้งแต่กี่ร้อยไบต์การ petabytes จำนวนมากของข้อมูลในชุดข้อมูลเดียวกัน ยอดเงินดังกล่าวข้อมูลจะยากที่จะจัดการ และประมวลผลร่วมกับฐานข้อมูลเชิงสัมพันธ์ที่คลาสสิกระบบการจัดการและสถิติและแสดงภาพประกอบเพลงซอฟต์แวร์แพคเกจก็ต้องใช้พลังงานสูงระบบคอมพิวเตอร์และอุปกรณ์เก็บข้อมูลขนาดใหญ่ สำนักงานสถิติซึ่งกันและกันต้องเทียมศักยภาพของข้อมูลขนาดใหญ่สามารถรับเพิ่มเติมที่เกี่ยวข้อง และทันเวลาสถิติแต่นี้ไม่มีขั้นตอนที่ง่าย ขั้นตอน rst ไร้สายคือการ ระบุแหล่งมาของข้อมูลขนาดใหญ่ที่สุดที่จะใช้ในสำนักงานสถิติซึ่งกันและกันตาม (HLG, 2013) แหล่งข้อมูลขนาดใหญ่ที่ใช้ในสำนักงานซึ่งกันและกันสถิติคือ: •จัดการข้อมูล •ทางการค้า หรือธุรกรรมข้อมูล เช่นธุรกรรมง่ายดายโดยใช้บัตรเครดิต •ข้อมูลจากเซนเซอร์ (ดาวเทียมภาพ เซนเซอร์อากาศ ฯลฯ); •ข้อมูลโดยติดตามอุปกรณ์ (จีพีเอส อุปกรณ์มือถือ ฯลฯ); •ข้อมูลพฤติกรรม (เช่นอินเทอร์เน็ตค้นหา); •ข้อมูลโดยสังคม โดยใช้ข้อมูลขนาดใหญ่ในสำนักงานสถิติซึ่งกันและกันเพิ่มความท้าทายหลาย (HLG2013) ระหว่างนั้นเราพูดถึง ca: ปัญหาสภา การรักษาความเป็นส่วนตัวข้อมูล สาย nancial ปัญหาเกี่ยวกับต้นทุนของข้อมูล ข้อมูลคุณภาพและความเหมาะสมของวิธีการทางสถิติและความท้าทายทางเทคโนโลยี ในเวลานี้มีหลายประเทศที่ริเริ่มที่พยายามที่จะร่างแผนการดำเนินการสำหรับโดยใช้ข้อมูลขนาดใหญ่ในสำนักงานสถิติซึ่งกันและกัน: แรงงาน Eurostat ในข้อมูลขนาดใหญ่ UNECE ของโครงการ HLG ข้อมูลขนาดใหญ่ ขณะนี้ มีโครงการบางอย่างที่ใช้แล้วดีข้อมูลสำหรับการพัฒนาสถิติใหม่ที่ดำเนินการ โดยหน่วยงานทางสถิติ เราสามารถพูดถึง (HLG, 2013):• Traffi c ขนส่งสถิติและคำนวณตามสถิติเนเธอร์แลนด์ใช้ traffi วน c ตรวจสอบระเบียนที่สร้างขึ้นทุกวัน มีวนรอบตรวจสอบ 10000 บนถนนดัตช์ที่ 100 ล้านคอร์ดทุกวัน•สถิติสื่อทางสังคมยังคำนวณจากสถิติประเทศเนเธอร์แลนด์ทวิตเตอร์ดัตช์สร้างสังคมสาธารณะประมาณ 1 ล้านข้อความประจำวัน ข้อความเหล่านี้ได้วิเคราะห์จากการมุมมองของเนื้อหาและความเชื่อมั่น•ซอฟต์แวร์พัฒนาที่ Eurostat ในราคาที่เป็นเศษซากจากการอินเทอร์เน็ตเพื่อช่วยในการคำนวณดัชนีราคาผู้บริโภค•พันล้านพัฒนาขึ้นที่ MIT (ส่วน http://bpp.mit.edu/) เป็นการโครงการที่รวบรวมราคาจากร้านค้าปลีกทั่วโลกดำเนินการวิจัยเศรษฐกิจ•สถิติการท่องเที่ยวพัฒนาในเอสโตเนียโดยเคลื่อนตำแหน่งข้อมูล (Ahas, 2013); ในเอกสารนี้ เราจะตรวจสอบปัญหาเทคโนโลยี – เราจะนำเสนอวิธีการบูรณาการอย่างไร Hadoop (สีขาว 2012), ซอฟต์แวร์กรอบสำหรับแจกจ่ายคอมพิวเตอร์ใช้สำหรับการประมวลผลข้อมูลขนาดใหญ่ด้วย R (R Core ทีม

ผลลัพธ์ (ไทย) 2:

การปฏิวัติข้อมูลขนาดใหญ่จะเปลี่ยนวิธีที่เราเข้าใจที่รอบกระบวนการทางเศรษฐกิจหรือสังคม
เราไม่สามารถละเลยปริมาณมหาศาลของข้อมูลการผลิตทุกวัน คำว่า "ข้อมูลขนาดใหญ่"
ถูก DEFI ned เป็นชุดข้อมูลที่เพิ่มขึ้นของปริมาณความเร็วและความหลากหลาย (MayerSchönberger,
2012), (เบเยอร์ 2011)
ขนาดข้อมูลขนาดใหญ่มีตั้งแต่ไม่กี่ร้อยเทราไบต์จะเพตาไบต์จำนวนมากของข้อมูลในชุดข้อมูลเดียว เงินจำนวนดังกล่าวของข้อมูลเป็นเรื่องยากที่จะได้รับการจัดการและการประมวลผลด้วยฐานข้อมูลเชิงสัมพันธ์คลาสสิกระบบการจัดการและสถิติและซอฟแวร์การสร้างภาพ- มัน. ต้องใช้พลังในการคำนวณสูงและอุปกรณ์จัดเก็บข้อมูลที่มีขนาดใหญ่offi สถิติทางการจำเป็นต้องใช้ประโยชน์จากศักยภาพของข้อมูลขนาดใหญ่ที่ได้รับมาเกี่ยวข้องมากขึ้นและ สถิติทันเวลา แต่ตอนนี้ไม่ได้เป็นกระบวนการที่ง่าย ขั้นตอนที่สายแรกคือการระบุแหล่งที่มาของข้อมูลขนาดใหญ่ไปได้ที่จะนำมาใช้ในสถิติทางการ offi ได้. ตาม (HLG 2013) แหล่งข้อมูลขนาดใหญ่ที่สามารถนำไปใช้ในทางการ offi สถิติ: •ข้อมูลการบริหาร; •พาณิชย์หรือข้อมูลการทำธุรกรรม เช่นการทำธุรกรรมเกี่ยวกับสายที่ใช้บัตรเครดิต; •ข้อมูลให้โดยเซ็นเซอร์ (การถ่ายภาพดาวเทียมเซ็นเซอร์สภาพภูมิอากาศ ฯลฯ ); •ข้อมูลให้โดยอุปกรณ์ติดตาม (GPS, โทรศัพท์มือถือ ฯลฯ ); •ข้อมูลเกี่ยวกับพฤติกรรม (เช่นอินเทอร์เน็ต การค้นหา);. •ข้อมูลให้โดยสื่อสังคมการใช้ข้อมูลขนาดใหญ่ในสถิติทางการ offi เพิ่มความท้าทายหลายคน (HLG, 2013) ในหมู่พวกเขาพูดถึงเรา ca: ประเด็นกฎหมายที่ยังคงรักษาความเป็นส่วนตัวของข้อมูลปัญหาทางการเงินเกี่ยวกับค่าใช้จ่ายในการจัดหาข้อมูลที่ข้อมูลที่มีคุณภาพและความเหมาะสมของวิธีการทางสถิติและความท้าทายทางเทคโนโลยี ในเวลานี้มีความคิดริเริ่มในหลายประเทศที่มีความพยายามที่จะร่างแผนการดำเนินการสำหรับการใช้ข้อมูลขนาดใหญ่ในสถิติทางการoffi: Eurostat Task Force ในข้อมูลขนาดใหญ่ UNECE ของ. ข้อมูลขนาดใหญ่โครงการ HLG ในเวลานี้มีบางโครงการต่อเนื่องที่มีอยู่แล้วมาใช้ขนาดใหญ่ข้อมูลสำหรับการพัฒนาสถิติใหม่ที่ดำเนินการโดยหน่วยงานทางสถิติ เราสามารถพูดถึง (HLG 2013): •ค traffi และสถิติการขนส่งคำนวณโดยสถิติเนเธอร์แลนด์ใช้traffi คห่วงบันทึกการตรวจสอบที่เกิดทุกวัน มี10,000 การตรวจสอบลูปบนถนนดัตช์ที่ผลิต 100 ล้านบันทึกทุกวันสื่อสังคม•สถิติคำนวณโดยสถิติเนเธอร์แลนด์. ดัตช์ทวิตเตอร์ผลิตทั่ว 1000000 ประชาชนสื่อสังคมข้อความในชีวิตประจำวัน ข้อความเหล่านี้ถูกนำมาวิเคราะห์จากมุมมองของเนื้อหาและความเชื่อมั่น; •ซอฟต์แวร์ที่พัฒนาขึ้นใน Eurostat ราคาทิ้งจากอินเทอร์เน็ตเพื่อช่วยในการคำนวณดัชนีราคาผู้บริโภค; •โครงการพันล้านพัฒนาที่เอ็มไอที (http://bpp.mit.edu /) เป็นโครงการที่รวบรวมราคาจากร้านค้าปลีกทั่วโลกที่จะดำเนินการวิจัยทางเศรษฐกิจ•สถิติการท่องเที่ยวการพัฒนาในเอสโตเนียโดยใช้การวางตำแหน่งมือถือข้อมูล(AHAs 2013) ในบทความนี้เราจะตรวจสอบปัญหาทางเทคโนโลยี - เราจะนำเสนอวิธีการที่ของการบูรณาการ Hadoop (สีขาว, 2012) กรอบซอฟต์แวร์สำหรับคอมพิวเตอร์ที่ใช้สำหรับการกระจายการประมวลผลข้อมูลขนาดใหญ่ที่มีการวิจัย(R ทีมหลัก

ผลลัพธ์ (ไทย) 3:

การปฏิวัติใหญ่ข้อมูลจะเปลี่ยนวิธีที่เราเข้าใจ
รอบกระบวนการทางเศรษฐกิจหรือสังคม เราไม่สามารถละเว้น
ปริมาณมหาศาลของข้อมูลที่ถูกผลิตทุกวัน เทอมใหญ่ " ข้อมูล "
ถูกเดฟีเน็ดเป็นข้อมูลชุดเพิ่มปริมาณความเร็วและความหลากหลาย ( mayersch ö nberger
, 2012 ) , ( เบเยอร์ , 2011 ) ขนาดข้อมูลใหญ่ มีตั้งแต่ไม่กี่
หลายร้อยหลาย petabytes เทราไบต์ของข้อมูลในหนึ่งชุดข้อมูล
จำนวนดังกล่าวของข้อมูลเป็นเรื่องยากที่จะได้รับการจัดการ และการประมวลผลด้วยฐานข้อมูลเชิงสัมพันธ์การจัดการระบบคลาสสิกและสถิติและซอฟต์แวร์ภาพแพคเกจซึ่งต้องใช้พลังงานสูง และ คอมพิวเตอร์

อุปกรณ์จัดเก็บขนาดใหญ่ ้่สถิติต้องเทียมที่มีศักยภาพของข้อมูล เพื่อให้ได้มาซึ่ง
ใหญ่เพิ่มเติมที่เกี่ยวข้องและทันเวลา สถิติ แต่นี้ไม่ได้ง่ายกระบวนการ โดย RST fi ขั้นตอนคือการระบุแหล่งที่มาของข้อมูลที่ใหญ่ที่สุดที่จะใช้ใน ้่สถิติ .
ตาม ( ที่ 2013 ) ขนาดใหญ่ แหล่งข้อมูลที่สามารถใช้ใน ้่สถิติ :
-

- การบริหารข้อมูล หรือข้อมูลการติดต่อทางการค้า เช่น การทำธุรกรรมออนไลน์โดยใช้
เครดิต การ์ด
- ข้อมูลที่ให้ไว้โดยเซ็นเซอร์ ( เซ็นเซอร์รับภาพ , ภูมิอากาศ , ฯลฯ ) ;
- ข้อมูลที่มาจากอุปกรณ์ติดตาม ( GPS , อุปกรณ์มือถือ , ฯลฯ ) ;
- พฤติกรรมข้อมูล ( ตัวอย่างเช่นอินเทอร์เน็ตค้นหา ) ;
-
ข้อมูลให้สื่อสังคม โดยใช้ข้อมูลสถิติเพิ่มความท้าทายใหญ่ในราคาที่่ ( ที่หลาย ,
2013 ) ในหมู่พวกเขาเราสามารถพูดถึงประเด็นทางกฎหมาย , การรักษาความเป็นส่วนตัว
ของข้อมูลฟี nancial ปัญหาเกี่ยวกับต้นทุนของการจัดหาข้อมูล
คุณภาพข้อมูลและความเหมาะสมของวิธีการทางสถิติและความท้าทายเทคโนโลยี ในเวลานี้
มีหลายระหว่างประเทศ โดยลองร่างแผนการดําเนินการสําหรับ
โดยใช้ข้อมูลใหญ่้่สถิติของงานข้อมูลใหญ่ของ UNECE ใหญ่ข้อมูลที่โครงการ

.ขณะนี้มีบางโครงการต่อเนื่องที่ได้ใช้ข้อมูลใหญ่
พัฒนาสถิติใหม่ดำเนินการโดยหน่วยงานทางสถิติ เราสามารถพูดถึง ( ที่ 2013 )
:
- traffi c และสถิติการขนส่งคำนวณโดยสถิติประเทศเนเธอร์แลนด์
ใช้ traffi C การสร้างลูปบันทึกทุกวัน มีการตรวจจับลูปบนถนน
10000 ดัตช์ที่ผลิต 100 ล้าน

บันทึกทุกวันบริการสังคมสื่อทดสอบด้วยสถิติประเทศเนเธอร์แลนด์ .
Twitter ดัตช์สร้างประมาณ 1 ล้านบาท สื่อสาธารณะ
ข้อความทางสังคมบนพื้นฐานทุกวัน ข้อความเหล่านี้มาวิเคราะห์จากมุมมองของเนื้อหาและความเชื่อมั่น
;
- พัฒนาซอฟแวร์ที่ของราคาตั้งจาก
อินเทอร์เน็ตเพื่อช่วยในการคำนวณดัชนีราคาผู้บริโภค ;
- พันล้านโครงการพัฒนาที่ MIT ( http://bpp.mit.edu/ ) เป็นโครงการที่รวบรวม
ราคาจากร้านค้าปลีกทั่วโลกเพื่อดำเนินการวิจัยเศรษฐกิจการท่องเที่ยว

; สถิติ - พัฒนาในเอสโตเนีย โดยใช้ข้อมูลตำแหน่ง
มือถือ ( AHAs , 2013 ) ;
ในบทความนี้เราจะตรวจสอบ–ปัญหาเทคโนโลยีเราจะ
ปัจจุบันทาง บูรณาการ Hadoop ( สีขาว , 2012 ) , กรอบซอฟต์แวร์
สำหรับการคำนวณแบบกระจายสำหรับใช้ขนาดใหญ่การประมวลผลข้อมูลกับทีมงานหลัก R ( R ,