unobservable social phenomena. In t

unobservable social phenomena. In the Economics domain, [12] provides an overview of big
data analysis tools and example applications.
Common to these big-data contributions is that they employ built-for-purpose indexing and
utilize software solutions such as ‘hadoop’ or ‘big table’ which are able to harness distributed
file systems or distributed fast access storages. However, distributed systems are rarely, if ever,
available to social science research facilities or departments, and so, for the standard social
scientist alternative solutions to handle big data without these resources are needed.
Additionally, even in the realm of big data, the recommended sub-sample approach (e.g. by
[12]) is not always available to the social scientist due to high heterogeneity within the observational
dataset. For example, in the present dataset, linked observations on IPstatus are
attached to (time,place) pairs (a common observational feature of interesting social science
data). If one supposes that a social scientist would like to assess the Internet usage for cities
with more than ten thousand citizens over a 24 hour cycle, aggregated monthly, an analysis of
(even) the entire dataset would result in less than 30001 observations by time–location cohort.
Given that, on average, only 10% of the data are positive probes, the social scientist now faces
less than 300 observations per cohort: Varian’s rule [12] of using a 0.1% sub-sample, which was
demonstrated to be an efficient approach for transactional data, is clearly not applicable in this
case.
Hence, the summary challenge for the social scientist is to find a method which ideally enables
her to analyse an entire ‘big data’, heterogeneous, dataset, with non-distributed hardware
resources commonly available within her institution.
In this work, we describe and demonstrate one such solution to this problem. Specifically, a
Java program was developed using freely available software to filter and aggregate the dataset,
executable on a multi-core computer. The source code is available on request. We demonstrate
the method to produce revealed preference Internet activity patterns around major cities in the
time dimension and spatial activity maps for Australia.
We find that the method successfully delivers a significant reduction in storage space requirements
(around 18 times), leading to a similar speed up in processing time. Moreover,
the resultant format is easily convertable to the data types of common tools used by social
scientists, such as Qgis, R, Stata or Matlab.

ผลลัพธ์ (ไทย) 1:

unobservable ปรากฏการณ์ทางสังคม ในเศรษฐศาสตร์โดเมน, [12] แสดงภาพรวมของใหญ่
เครื่องมือวิเคราะห์ข้อมูลและตัวอย่างโปรแกรมประยุกต์
ร่วมส่วนใหญ่ข้อมูลเหล่านี้เป็นที่พวกเขาจ้างสร้างสำหรับประสงค์ดัชนี และ
ใช้ซอฟต์แวร์ใหม่ ๆ เช่น 'อย่างไร hadoop' หรือ 'ตารางใหญ่' ซึ่งสามารถเทียมกระจาย
ระบบแฟ้มหรือกระจายเข้า storages ตะกร อย่างไรก็ตาม ระบบแบบกระจายจะน้อยมาก ถ้า เคย,
สิ่งอำนวยความสะดวกการวิจัยสังคมศาสตร์หรือแผนก และอื่น ๆ สำหรับมาตรฐานสังคม
นักวิทยาศาสตร์อื่นแก้ไขจัดการข้อมูลขนาดใหญ่ โดยทรัพยากรเหล่านี้มีความจำเป็น.
นอกจากนี้ แม้แต่ในขอบเขตของข้อมูลขนาดใหญ่ วิธีชิ้นงานตัวอย่างย่อยแนะนำ (เช่นโดย
[12]) จะไม่มีนักวิทยาศาสตร์สังคมเนื่องจาก heterogeneity สูงภายในที่สังเกตการณ์
ชุดข้อมูล ตัวอย่าง ในชุดข้อมูลปัจจุบัน สังเกตเชื่อมโยงบน IPstatus จะ
แนบไป (เวลา สถานที่) จับคู่ (สังเกตการณ์คุณลักษณะทั่วไปของสังคมที่น่าสนใจ
ข้อมูล) ถ้าหนึ่งใน supposes ที่ เป็นนักวิทยาศาสตร์สังคมอยากจะประเมินการใช้งานอินเทอร์เน็ตสำหรับเมือง
มีพลเมืองกว่าหมื่นกว่ารอบ 24 ชั่วโมง รวมรายเดือน of
(even) การวิเคราะห์ชุดข้อมูลทั้งหมดจะส่งผลน้อยกว่า 30001 สังเกตตามเวลาสถานผู้ผ่านการ
ที่ เฉลี่ย เพียง 10% ของข้อมูลเป็นค่าบวกคลิปปากตะเข้ นักวิทยาศาสตร์สังคมตอนนี้ใบหน้า
สังเกตน้อยกว่า 300 ต่อผู้ผ่าน: [12] กฎของแล้วแต่กำหนดของการใช้ตัวอย่างย่อย 0.1%ซึ่งถูก
แสดงให้เห็นว่าเป็น วิธีมีประสิทธิภาพสำหรับข้อมูล ไม่ชัดเจนสามารถใช้ใน
กรณี
ดังนั้น สรุปความท้าทายของนักวิทยาศาสตร์สังคมคือการ หาวิธีการที่ช่วยให้ห้อง
เธอวิเคราะห์มีทั้ง 'บิ๊กข้อมูล' บริการ ชุดข้อมูล ฮาร์ดแวร์ไม่กระจาย
ทรัพยากรทั่วไปที่พร้อมใช้งานภายในสถาบันของเธอ
ในงานนี้ เราอธิบาย และสาธิตหนึ่งเช่นวิธีแก้ปัญหานี้ โดยเฉพาะ เป็น
โปรแกรมจาวาถูกพัฒนาขึ้นโดยใช้ซอฟต์แวร์ได้อย่างอิสระเพื่อกรอง และรวมชุดข้อมูล,
ปฏิบัติบนคอมพิวเตอร์หลายหลักการ รหัสแหล่งที่มาได้ตามคำขอ เราสาธิต
รูปวิธีการเปิดเผยกำหนดลักษณะอินเทอร์เน็ตกิจกรรมรอบ ๆ หลักเมืองใน
เวลาขนาดและแผนที่พื้นที่กิจกรรมสำหรับออสเตรเลีย
เราพบว่า วิธีการสำเร็จให้ลดลงอย่างมีนัยสำคัญในความต้องการเนื้อที่เก็บ
(around 18 times) นำความเร็วคล้ายคลึงกันขึ้นในเวลานั้น นอกจากนี้,
รูปแบบผลแก่ไม่ได้แปลงชนิดข้อมูลของเครื่องมือทั่วไปที่ใช้สังคม
นักวิทยาศาสตร์ เช่น Qgis, R, Stata หรือ Matlab

ผลลัพธ์ (ไทย) 3:

ปรากฏการณ์ทางสังคม unobservable . ในเศรษฐศาสตร์โดเมน [ 12 ] จะให้ภาพรวมของเครื่องมือการวิเคราะห์ข้อมูลและโปรแกรมตัวอย่างใหญ่
.
ทั่วไปเหล่านี้ใหญ่ข้อมูลผลงานที่พวกเขาจ้างเพื่อสร้างดัชนีและจุดประสงค์
ใช้โซลูชั่นซอฟต์แวร์เช่น ' ' หรือ ' ' Hadoop โต๊ะตัวใหญ่ซึ่งสามารถที่จะใช้ประโยชน์จากระบบแฟ้มแบบกระจายหรือกระจายการเข้าถึง
การเก็บรักษา รวดเร็ว อย่างไรก็ตามระบบกระจายจะไม่ค่อยหากเคย
พร้อมที่จะวิจัยทางสังคมศาสตร์เครื่องหรือแผนก ดังนั้น มาตรฐานนักวิทยาศาสตร์ทางสังคม
ทางเลือกโซลูชั่นการจัดการข้อมูลใหญ่โดยไม่ต้องทรัพยากรเหล่านี้จำเป็น .
นอกจากนี้ แม้ในขอบเขตของข้อมูลที่สำคัญ , แนะนำวิธีการย่อยตัวอย่างด้วย
( เช่น[ 12 ] ) จะไม่เสมอกับนักวิทยาศาสตร์ทางสังคมเนื่องจากความหลากหลายสูงภายในข้อมูลแบบ

ตัวอย่างเช่น ในวันที่ปัจจุบันเชื่อมโยงสังเกต ipstatus เป็น
แนบ ( สถานที่ เวลา ) คู่ ( คุณลักษณะแบบทั่วไปที่น่าสนใจทางสังคมศาสตร์
ข้อมูล ) ถ้าสมมติ ว่านักวิทยาศาสตร์ทางสังคมต้องการประเมินการใช้งานอินเทอร์เน็ตสำหรับเมือง
ที่มีมากกว่าหมื่นประชาชนผ่านรอบ 24 ชั่วโมงรวมรายเดือน , การวิเคราะห์
( แม้ ) ข้อมูลทั้งหมดจะส่งผลน้อยกว่า 30001 สังเกต โดยเวลาและสถานที่ศึกษา .
ระบุว่าโดยเฉลี่ยเพียง 10 % ของข้อมูลจึงเป็นบวก นักวิทยาศาสตร์ทางสังคมตอนนี้ใบหน้า
น้อยกว่า 300 ข้อสังเกตต่อเพื่อนร่วมงาน : ไร้กฎ [ 12 ] การใช้ตัวอย่างย่อย 0.1% ซึ่ง
) เป็นวิธีการที่มีประสิทธิภาพสำหรับข้อมูลการติดต่อเป็นอย่างชัดเจนไม่สามารถใช้ได้ในกรณีนี้
.
ดังนั้น สรุปความท้าทายสำหรับสังคมนักวิทยาศาสตร์เพื่อค้นหาวิธีที่เหมาะจะช่วยให้วิเคราะห์
ของเธอทั้งใหญ่ ' ข้อมูล ' , ต่างกัน , ชุดข้อมูล กับไม่กระจายทรัพยากรฮาร์ดแวร์
ใช้ได้ปกติภายในสถาบันของเธอ
ในงานนี้เราอธิบายและสาธิตโซลูชั่นดังกล่าวอย่างใดอย่างหนึ่งเพื่อแก้ไขปัญหานี้ เฉพาะ ,
โปรแกรมถูกพัฒนาขึ้นโดยใช้ซอฟต์แวร์ที่สามารถใช้ได้อย่างอิสระเพื่อกรองและการรวมข้อมูลในขณะที่
ปฏิบัติการ , คอมพิวเตอร์ รหัสที่มาสามารถใช้ได้เมื่อมีการร้องขอ เราแสดงวิธีการผลิต
เปิดเผยความชอบกิจกรรมอินเทอร์เน็ตรูปแบบเมืองใหญ่ๆใน
มิติเวลาและแผนที่กิจกรรมเชิงพื้นที่ของออสเตรเลีย
เราพบว่าวิธีการเรียบร้อยแล้วให้ลดลงในความต้องการพื้นที่จัดเก็บ
( ประมาณ 18 ครั้ง ) ไปสู่คล้ายคลึงกันเร็วขึ้นในเวลาการประมวลผล นอกจากนี้ รูปแบบดังกล่าวเป็นรถเปิดประทุน
ง่ายๆกับข้อมูลชนิดของเครื่องมือทั่วไปที่ใช้โดยนักวิทยาศาสตร์ทางสังคม
เช่น QGIS R Language หรือ Matlab .