DATA PRE-PROCESSINGThe first step i

DATA PRE-PROCESSING
The first step in big data analysis is data pre-processing
(data cleaning), which involves crucial steps for preparing the
data for analysis, e.g., data extraction, selection, reduction,
transformation etc. [18]. Our data pre-processing steps are
described below.
A. Data Gathering
Data was gathered using a website called Twimemachine
[15], which allows you to fetch the latest tweets of a user.
However, it only fetches around 3200 latest tweets of a user.
This cap was enough for us as we only needed data from
January 2013 - May 2013 till the Election Day, that is, May
11. For most users' timelines, this was enough. As mentioned
in Section I, we concentrated on tweets related to three
political parties which were significantly tweeted, i.e.,
Pakistan Tehreek-e-Insaaf (PTI), Pakistan Muslim League
Nawaz (PMLN), and Muttahida Qaumi Movement (MQM).
Visual Analysis:
After observing, tweets of around 50 relevant users, for
around two to three weeks, we decided to fetch tweets of 24
users, 15 of which were political analysts and 9 were normal
everyday users. We selected these users based on the content
of their tweets, i.e., we deemed their tweets most relevant for
electoral prediction. This activity got us approximately 55000
tweets out of which only 9000 were relevant with respect to
the attributes we considered important for a tweet to be
political. Some of these attributes are highlighted in Figure 1.
Many of them were popular hash tags that were trending on
Twitter during the election period. Others were frequently
used terms or names of political parties and politicians.

ผลลัพธ์ (ไทย) 1:

ประมวลผลข้อมูลก่อน
ข้อมูลก่อนประมวลผล
(data cleaning) ซึ่งเกี่ยวข้องกับขั้นตอนสำคัญสำหรับการเตรียมเป็นขั้นตอนแรกในการวิเคราะห์ข้อมูลขนาดใหญ่
ข้อมูลสำหรับการวิเคราะห์ เช่น การดึงข้อมูล การเลือก การ ลด,
แปลงฯลฯ [18] มีข้อมูลก่อนประมวลผลขั้นตอน
อธิบายไว้ด้านล่าง.
รวบรวมข้อมูล A.
ข้อมูลถูกรวบรวมโดยใช้เว็บไซต์ที่เรียกว่า Twimemachine
[15], ซึ่งช่วยให้คุณสามารถนำเข้ามาล่าสุดของผู้ใช้ได้
อย่างไรก็ตาม มันเท่าดสูงประมาณ 3200 เข้ามาล่าสุดของผู้ใช้ได้
หมวกนี้ก็เพียงพอแล้วสำหรับเรา ตามที่เราต้องการข้อมูลจากเท่า
2013 มกราคม-2013 พฤษภาคมจนถึงวันเลือกตั้ง คือ อาจ
11 ในเส้นเวลาของผู้ใช้มากที่สุด นี้ก็เพียงพอแล้ว ตาม
ในส่วนฉัน เราเข้มข้นในการเข้ามาเกี่ยวข้องกับ 3
พรรคการเมืองซึ่งถูกมาก tweeted, i.e.,
Pakistan Tehreek-e-Insaaf (PTI), ลีมุสลิมปากีสถาน
Nawaz (PMLN), และ Muttahida Qaumi เคลื่อนไหว (MQM) .
วิเคราะห์ภาพ:
หลังจากการสังเกต การเข้ามาของผู้เกี่ยวข้องประมาณ 50 สำหรับ
ประมาณสองถึงสามสัปดาห์ เราตัดสินใจที่จะนำเข้ามาของ 24
15 ซึ่งมีนักวิเคราะห์ทางการเมืองผู้ใช้ และ 9 ได้ปกติ
ผู้ใช้ชีวิตประจำวัน เราเลือกผู้ใช้เหล่านี้โดย
ของฟีดของพวกเขา เช่น เราถือว่าการเข้ามาเกี่ยวข้องมากที่สุดสำหรับ
ทำนายเลือกตั้ง เราประมาณ 55000 ที่กิจกรรมนี้ได้
เข้ามาจากที่เดียว 9000 เกี่ยวข้องกับ respect กับ
แอตทริบิวต์ที่เราพิจารณาว่าสำคัญสำหรับ tweet ให้
ทางการเมือง บางแอตทริบิวต์เหล่านี้จะถูกเน้นในรูปที่ 1.
หลายของพวกเขาถูกแท็กยอดนิยมแฮที่ถูก trending ใน
ทวิตเตอร์ช่วงเลือกตั้ง ผู้อื่นได้บ่อย
ใช้เงื่อนไขหรือชื่อพรรคการเมืองและนักการเมือง

ผลลัพธ์ (ไทย) 2:

ข้อมูลก่อนการประมวลผล
ขั้นตอนแรกในการวิเคราะห์ข้อมูลขนาดใหญ่เป็นข้อมูลก่อนการประมวลผล
(ทำความสะอาดข้อมูล) ซึ่งเกี่ยวข้องกับขั้นตอนสำคัญสำหรับการเตรียม
ข้อมูลสำหรับการวิเคราะห์เช่นการสกัดข้อมูลการเลือกลด,
การเปลี่ยนแปลง ฯลฯ [18] ข้อมูลขั้นตอนก่อนการประมวลผลของเราจะ
อธิบายไว้ด้านล่าง
A. ข้อมูลที่รวบรวม
ข้อมูลถูกรวบรวมโดยใช้เว็บไซต์ที่เรียกว่า Twimemachine
[15] ซึ่งช่วยให้คุณสามารถเรียกทวีตล่าสุดของผู้ใช้
แต่เพียงเรียกรอบ 3200 ทวีตล่าสุดของผู้ใช้
หมวกนี้ก็เพียงพอแล้วสำหรับเราที่เราจำเป็นต้องใช้ข้อมูลเท่านั้น จาก
มกราคม 2013 - พฤษภาคม 2013 จนถึงวันเลือกตั้งที่พฤษภาคม
11 สำหรับระยะเวลาผู้ใช้ส่วนใหญ่ 'นี้ก็เพียงพอแล้ว เป็นที่กล่าวถึง
ในส่วนที่ผมเราจดจ่ออยู่กับการทวีตที่เกี่ยวข้องกับสาม
พรรคการเมืองซึ่งได้เริ่มทวีตอย่างมีนัยสำคัญคือ
ปากีสถาน Tehreek-E-Insaaf (PTI), ปากีสถานมุสลิมลีก
นาวาซ (PMLN) และ Muttahida Qaumi เคลื่อนไหว (เอ็ม)
ภาพการวิเคราะห์ :
หลังจากการเฝ้าสังเกต, ทวิตเตอร์ประมาณ 50 คนที่เกี่ยวข้องสำหรับ
รอบสองถึงสามสัปดาห์เราตัดสินใจที่จะเรียกทวีตของ 24
คน, 15 ซึ่งเป็นนักวิเคราะห์ทางการเมืองและ 9 เป็นปกติ
ผู้ใช้ทุกวัน เราเลือกผู้ใช้เหล่านี้ขึ้นอยู่กับเนื้อหา
ของทวิตเตอร์คือพวกเขาที่เราเห็นว่าทวิตเตอร์ของพวกเขาเกี่ยวข้องมากที่สุดสำหรับ
การคาดการณ์การเลือกตั้ง กิจกรรมนี้เราได้ประมาณ 55000
ทวีตออกซึ่งเป็นเพียง 9000 มีความเกี่ยวข้องเกี่ยวกับ
คุณลักษณะที่เราถือว่าเป็นสิ่งสำคัญสำหรับการทวีตที่จะเป็น
ทางการเมือง บางส่วนของคุณสมบัติเหล่านี้จะถูกเน้นในรูปที่ 1
จำนวนมากของพวกเขาเป็นแท็กแฮชยอดนิยมที่ได้รับการแนวโน้มใน
ทวิตเตอร์ในช่วงระยะเวลาการเลือกตั้ง คนอื่น ๆ มัก
ใช้คำหรือชื่อของพรรคการเมืองและนักการเมือง

ผลลัพธ์ (ไทย) 3:

การประมวลผลข้อมูล
ขั้นตอนแรกในการวิเคราะห์ข้อมูลการประมวลผลข้อมูลใหญ่
( การทำความสะอาดข้อมูล ) ซึ่งเกี่ยวข้องกับขั้นตอนที่สำคัญสำหรับการเตรียม
ข้อมูลเพื่อการวิเคราะห์ เช่น การสกัดข้อมูล , การแปลง ฯลฯ การเลือก
[ 18 ] ข้อมูลการประมวลผลขั้นตอน
อธิบายไว้ด้านล่าง .
.
ข้อมูลรวบรวมข้อมูลโดยใช้เว็บไซต์ที่เรียกว่า twimemachine
[ 15 ]ซึ่งช่วยให้คุณดึงบทความล่าสุดของผู้ใช้ .
แต่เพียงจะเรียกรอบ 3 ทวีตล่าสุดของผู้ใช้ .
หมวกนี้ก็เพียงพอแล้วสำหรับเรา เราต้องการข้อมูลจาก
มกราคม 2013 - พ.ค. จนถึงวันเลือกตั้ง คืออาจ
11 สำหรับระยะเวลาของผู้ใช้ส่วนใหญ่นี้เป็นพอ ตามที่กล่าวถึง
ในส่วนผมเราเข้มข้นในทวีตที่เกี่ยวข้องกับสาม
พรรคการเมืองซึ่งทางทวิต (
tehreek-e-insaaf ปากีสถาน ( PTI ) สันนิบาตมุสลิมปากีสถานนาวา
( pmln ) และมุตตา ดา qaumi เคลื่อนไหว ( มคิวเ ม )

หลังจากการสังเกต การวิเคราะห์ภาพ : ทวิตเตอร์ประมาณ 50 ผู้ใช้ที่เกี่ยวข้องสำหรับ
ประมาณสองถึงสามสัปดาห์ เราตัดสินใจที่จะเรียก tweets 24
ผู้ใช้ 15 คนเป็นนักวิเคราะห์ทางการเมืองและ 9 เป็นผู้ใช้ทุกวันปกติ

เราเลือกผู้ใช้เหล่านี้ตามเนื้อหา
ของทวิตเตอร์คือ เราถือว่าพวกเขาทวีตที่เกี่ยวข้องมากที่สุดสำหรับ
ทำนายเกี่ยวกับการเลือกตั้ง กิจกรรมนี้ทำให้เราประมาณ 55000
Tweets ออกไปซึ่งเพียง 9000 ด้านด้วยความเคารพ
คุณลักษณะเราถือว่าสำคัญสำหรับทวีตจะ
ทางการเมือง บางคุณลักษณะเหล่านี้จะถูกเน้นในรูป 1 .
มากของพวกเขาได้รับความนิยมแฮชแท็กที่มีแนวโน้มใน
Twitter ระหว่างช่วงการเลือกตั้ง คนอื่นบ่อย
ใช้คำหรือชื่อของพรรคการเมืองและนักการเมือง