TSINGHUASCIENCEANDTECHNOLOGY ISSNll

TSINGHUASCIENCEANDTECHNOLOGY ISSNll1007-0214ll10/10llpp95-101 Volume 19, Number 1, February 2014

Mobile Internet Big Data Platform in China Unicom

Wenliang Huang, Zhen Chen, Wenyu Dong, Hang Li, Bin Cao, and Junwei Cao

Abstract: China Unicom, the largest WCDMA 3G operator in China, meets the requirements of the historical Mobile
Internet Explosion, or the surging of Mobile Internet Traffic from mobile terminals. According to the internal statistics
of China Unicom, mobile user traffic has increased rapidly with a Compound Annual Growth Rate (CAGR) of 135%.
Currently China Unicom monthly stores more than 2 trillion records, data volume is over 525 TB, and the highest
data volume has reached a peak of 5 PB. Since October 2009, China Unicom has been developing a home-brewed
big data storage and analysis platform based on the open source Hadoop Distributed File System (HDFS) as it has
a long-term strategy to make full use of this Big Data. All Mobile Internet Traffic is well served using this big data
platform. Currently, the writing speed has reached 1390000 records per second, and the record retrieval time in
the table that contains trillions of records is less than 100 ms. To take advantage of this opportunity to be a Big
Data Operator, China Unicom has developed new functions and has multiple innovations to solve space and time
constraint challenges presented in data processing. In this paper, we will introduce our big data platform in detail.
Based on this big data platform, China Unicom is building an industry ecosystem based on Mobile Internet Big
Data, and considers that a telecom operator centric ecosystem can be formed that is critical to reach prosperity in
the modern communications business.


Key words: big data platform; China Unicom; 3G wireless network; Hadoop Distributed File System(HDFS); mobile
Internet; network forensic; data warehouse; HBase



1 Introduction
Users of the Mobile Internet[1] can access any content,
Wenliang Huang is with China Unicom Groups, No. 21 Financial Street, Xicheng District, Beijing 100140, China.
Zhen Chen and Junwei Cao are with Research Institute of Information Technology (RIIT) and Tsinghua National Lab for Information Science and Technology (TNList), Tsinghua University, Beijing 100084, China. E-mail: fzhenchen, jcaog@ tsinghua.edu.cn.
Wenyu Dong and Bin Cao are with Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China.
Hang Li is with Department of Computer Science and Technology, PLA Univ. of Info. & Eng., Zhengzhou 450001, China.

To whom correspondence should be addressed. Manuscript received: 2014-01-09; accepted: 2014-01-10

anytime, and anywhere. This convenience produces a large volume of individual user network traffic on the telecom operator side, so is referred to as Mobile Traffic Deluge. According to Mary Meeker’s report[2] on Mobile Internet Trends, more and more PC software is migrating to Mobile Internet devices. It is also predicted that mobile traffic will double each 14 months and that the volume of Internet traffic will quadruple between 2011 and 2016, reaching 1.3 ZB per year in 2016, as indicated by Cisco VNI[3]. China Unicom, the largest 3G operator in China, is prepared to meet this “Mobile Internet Explosion”.

According to the statistics from China Unicom, who had approximately 250 million client users in 2012, mobile user traffic is increasing rapidly with a Compound Annual Growth Rate (CAGR) of 135%. Mobile Internet traffic characteristic has also
96 Tsinghua Science and Technology, February 2014, 19(1): 95-101
been investigated in Ref. [3] and a traffic prediction model based on ARMA and FARIMA has been proposed to capture the multi-fractal spectra in mobile traffic.

China Unicom’s big data platform, starting from October 2009, has recorded monthly traffic of more than 2 trillion records, monthly data volume is over 525 TB, and the maximum data volume recorded has reached a peak of 5 PB. Overall writting speed has reached 1390000 records per second, and the recorded retrieval time in the table that contains trillions of records is less than 100 ms.






2 Related Work
Network traffic recording or archiving is always applied in network forensics, network troubleshooting, and user behavior analysis. All inbound and outbound traffic from a certain vantage point can be recorded to restore the original condition at a later time if necessary.
Regarding storage limits, only network flow data or statistics are recorded, that only contains source and destination IP addresses, ports, protocols, and timestamps.
The actual flow contents are usually neglected, which would otherwise require a huge volume of repository to accommodate. In addition, there are some legal debates in Deep Packet Inspection (DPI) of flow contents concerning user privacy issues. Sometimes this information is useful for quickly identifying phishing[4], spammers, and other types of cyber-attacks.
CNSMS[5] and TIFAflow[6] are used for traffic acquisition and aggregation for forensic analysis. CNSMS is an architecture for traffic acquisition with TIFAflow and its UTM appliance for traffic aggregation used in forensic analysis in a cloud computing based security center. TIFAflow is a software-based probe that combines TIFA[7-9] with Fastbit[10] indexing to provide granular data storage. It may be operated as an independent prober or integrated into CNSMS’s UTM appliance.
Deri and Fusco[11,12] also proposed MicroCloud- based flow aggregation for fixed and mobile networks. This architecture is used to provide real- time traffic monitoring and correlation in large distributed environments. Their system is deployed in the VIVACOM (Bulgarian Telecom) mobile network and is used for monitoring the .it DNS ccTLD and a large 3G mobile network.
There are other works that use a similar platform for network data analysis, just like Lee et al.[13,14] and Qian et al.[15]
However, for any mobile network operator even only recording network flow data, the resulting data repository could easily reach the Terabyte level on a yearly basis. However, if all mobile traffic data is recorded for forensic analysis, the volume of the data could easily reach the Petabyte level. This remains a major challenge to a mobile network operator that must accommodate and index such big data for further analysis.







3 Mobile Traffic Acquisition at China Unicom
3.1 Traffic data acquisition
In China Unicom, traffic acquisition is operated at each Gn point of the GGSN in the 3G WCDMA mobile network, representing the vantage point of the mobile Internet in each province, and there are more than one hundred GGSNs used to cover all service areas. Traffic acquisition captures all the IP packets and aggregates the packets from each user properly.
The principle of the aggregation is that a user’s valid behavior data should not be lost and that efficiency is required to reduce the invalid data. Then the file is produced in less than five minutes, and the volume of every file is less than 200MB. Every file contains approximately 700000 records. The detailed deployments of traffic probers are shown in Fig. 1.
All traffic types are resolved once the traffic is captured. The captured traffic is transmitted after being packaged using a private format that is designed according to China Unicom’s uniform Internet records query and analysis system. The detailed format for a traffic record is shown in Table 1.
Some notes about important fields shown in Table 1 are also described as the following 6 rules:
(1) The bold field in the table needs to be captured, however, in the first stage, it is not stored, but other fields need to be captured and placed in storage.
(2) The value of traffic data packets without related information will be set to null.
(3) In the detailed record files, multiple CDRs are separated by a Carriage Return (CR) symbol and a newline symbol.
(4) To ensure that the information is immediately available for querying in 30 minutes, an intermediary log is generated every five minutes for all the protocols. The records of IM traffic (such as QQ, WeChat, Fetion, XMPP) are merged with the user login ID. The traffic records of RTSP, FTP, SIP, and other traffic types are merged with the control and data channel, and the merged record is identified with the control channel port. The traffic records of other multiple IPs and channel traffic are merged, and the merged record is identified with the first IP and port.
(5) Collect the WAP information and HTTP information that contains a complete URL field, including the “http://” and the host domain information, if there is no such information, the field must be filled with a null string.
(6) Traffic type coding is accomplished with 3 digits. There is a vertical bar used as a separator between each field in a traffic record. The interval of the traffic file generation is 5 minutes by default and can be modified on demand. The size of one single file is limited to less than 200 MB. In each time interval, a traffic record file is generated and writing into the record will end when the time limit is reached or the file size limit is reached. If the size of one single file exceeds 200 MB, multiple files will be produced to guarantee that the size of the single file is below the threshold, and the additional related files are identified by appending a hexadecimal number such as [nnnnn]x.
3.2 Traffic data warehouse
The files are transmitted by FTP protocol to the twenty-four FTP servers located in Beijing. Two small provinces normally share an FTP server, while a large province normally requires two FTP servers. To reduce the bandwidth of transmission, all files are compressed by the bzip2 compression algorithm before the files are uploaded to Beijing from every province.
The warehousing program also runs on the FTP servers, and reads the files transmitted using FTP protocol. After being decompressed, t

ผลลัพธ์ (ไทย) 1:

TSINGHUASCIENCEANDTECHNOLOGY ISSNll1007-0214ll10/10llpp95-101 เล่ม 19 หมายเลข 1, 2014 กุมภาพันธ์อินเทอร์เน็ตมือถือแพลตฟอร์มข้อมูลขนาดใหญ่ในไชน่าหวง Wenliang เฉินเจิน ดง Wenyu หลี่ฮัง เกาช่อง และ เกา Junweiบทคัดย่อ: ไชน่า ตัว WCDMA ที่ใหญ่ที่สุดผู้ให้บริการ 3G ในประเทศจีน ตรงตามความต้องการของมือถือประวัติศาสตร์อินเทอร์เน็ตกระจาย หรือพล่านของโมบายอินเทอร์เน็ต Traffic จากเทอร์มินัลเคลื่อนที่ ตามสถิติภายในของไชน่า traffic ผู้ใช้โทรศัพท์มือถือได้เพิ่มขึ้นอย่างรวดเร็วด้วยการผสมปีเจริญเติบโตอัตรา (เครื่องกำเนิดไฟฟ้า 135%ขณะนี้ไชน่าเก็บรายเดือนมากกว่า 2 ล้านล้านระเบียน ไดรฟ์ข้อมูล กว่า 525 TB และสูงสุดข้อมูลเสียงได้ถึงสูงสุด 5 PB ตุลาคม 2552 ไชน่าได้พัฒนาเป็นสมูทตี้ข้อมูลขนาดใหญ่จัดเก็บและวิเคราะห์แพลตฟอร์มตามเปิดแหล่งที่มาอย่างไร Hadoop กระจายแฟ้มระบบ (HDFS) มีกลยุทธ์ระยะยาวเพื่อให้เต็มใช้ข้อมูลขนาดใหญ่นี้ Traffic อินเทอร์เน็ตเคลื่อนที่ทั้งหมดมีบริการใช้ข้อมูลนี้ใหญ่ดีแพลตฟอร์ม ในปัจจุบัน ความเร็วในการเขียนแล้ว 1390000 ระเบียนต่อวินาที และเวลาเรียกระเบียนในนางสาวน้อยกว่า 100 จะใช้โอกาสนี้ให้ เป็นใหญ่เป็นตารางที่ประกอบด้วย trillions ของเรกคอร์ดข้อมูลผู้ประกอบการ ไชน่าได้พัฒนาฟังก์ชันใหม่ และมีหลายนวัตกรรมเพื่อแก้ปัญหาพื้นที่และเวลาความท้าทายของข้อจำกัดในการประมวลผลข้อมูล ในเอกสารนี้ เราจะนำแพลตฟอร์มข้อมูลขนาดใหญ่ของเราในรายละเอียดขึ้นอยู่กับแพลตฟอร์มนี้ข้อมูลขนาดใหญ่ ไชน่าเป็นอาคารระบบนิเวศอุตสาหกรรมการใช้โมบายอินเทอร์เน็ตขนาดใหญ่ข้อมูล และพิจารณาว่า การโทรคมนาคมดำเนินการเกี่ยวกับระบบนิเวศสามารถเป็นรูปแบบที่มีความสำคัญถึงความเจริญรุ่งเรืองในธุรกิจสื่อสารที่ทันสมัยคำสำคัญ: แพลตฟอร์มข้อมูลใหญ่ ไชน่า เครือข่ายไร้สาย 3g อย่างไร Hadoop กระจายแฟ้ม System(HDFS) โทรศัพท์มือถืออินเทอร์เน็ต เครือข่ายทางกฎหมาย คลังสินค้าของข้อมูล HBaseบทนำ 1ผู้ใช้อินเทอร์เน็ตเคลื่อนที่ [1] สามารถเข้าถึงเนื้อหาใด ๆ Wenliang หวงเป็น กลุ่ม Unicom จีน ถนนหมายเลข 21 เงิน เจิงริค ปักกิ่ง 100140 จีน เฉินเจินและเกา Junwei เป็นวิจัยสถาบันของเทคโนโลยีสารสนเทศ (RIIT) และห้องปฏิบัติการแห่งชาติพบข้อมูลวิทยาศาสตร์และเทคโนโลยี (TNList), พบมหาวิทยาลัย ปักกิ่ง 100084 จีน อีเมล์: fzhenchen, jcaog แอ tsinghua.edu.cn Wenyu ตงและเกาช่องอยู่แผนกคอมพิวเตอร์วิทยาศาสตร์ และเทคโนโลยี พบ ปักกิ่ง 100084 จีน หาง Li กรมวิทยาศาสตร์คอมพิวเตอร์และเทคโนโลยี มหาวิทยาลัยข้อมูลปลาได้ และสุขาภิบาล เจิ้งโจว 450001 จีน การโต้ตอบควรได้รับ ฉบับที่ได้รับ: 2014-01-09 ยอมรับ: 2014-01-10anytime, and anywhere. This convenience produces a large volume of individual user network traffic on the telecom operator side, so is referred to as Mobile Traffic Deluge. According to Mary Meeker’s report[2] on Mobile Internet Trends, more and more PC software is migrating to Mobile Internet devices. It is also predicted that mobile traffic will double each 14 months and that the volume of Internet traffic will quadruple between 2011 and 2016, reaching 1.3 ZB per year in 2016, as indicated by Cisco VNI[3]. China Unicom, the largest 3G operator in China, is prepared to meet this “Mobile Internet Explosion”. According to the statistics from China Unicom, who had approximately 250 million client users in 2012, mobile user traffic is increasing rapidly with a Compound Annual Growth Rate (CAGR) of 135%. Mobile Internet traffic characteristic has also96 Tsinghua Science and Technology, February 2014, 19(1): 95-101been investigated in Ref. [3] and a traffic prediction model based on ARMA and FARIMA has been proposed to capture the multi-fractal spectra in mobile traffic. China Unicom’s big data platform, starting from October 2009, has recorded monthly traffic of more than 2 trillion records, monthly data volume is over 525 TB, and the maximum data volume recorded has reached a peak of 5 PB. Overall writting speed has reached 1390000 records per second, and the recorded retrieval time in the table that contains trillions of records is less than 100 ms.งานที่เกี่ยวข้อง 2เสมอมีใช้เครือข่าย traffic บันทึก หรือเก็บถาวรนิติเครือข่าย เครือข่ายการแก้ไขปัญหา และวิเคราะห์พฤติกรรมของผู้ใช้ สามารถบันทึกทั้งหมดขาเข้า และขาออก traffic จากจุดชมวิวบางคืนสภาพเดิมในภายหลังถ้าจำเป็น เกี่ยวกับข้อจำกัดการจัดเก็บ เฉพาะเครือข่าย flow ข้อมูลหรือสถิติถูกบันทึก ที่ประกอบด้วยเฉพาะ แหล่ง และแอดเดรสปลายทาง พอร์ต โปรโตคอล และลงเวลา เนื้อหา flow จริงมีปกติที่ไม่มีกิจกรรม ที่อื่นจะต้องมีปริมาณขนาดใหญ่ของการเก็บข้อมูลเพื่อรองรับ นอกจากนี้ ได้ดำเนินการทางกฎหมายบางในลึกแพคเก็ตตรวจสอบ (DPI) ของ flow เนื้อหาเกี่ยวข้องกับปัญหาความเป็นส่วนตัวของผู้ใช้ บางครั้งข้อมูลนี้มีประโยชน์สำหรับการระบุฟิชชิ่ง [4], ยิ่ง และชนิดอื่น ๆ ของการโจมตีทางไซเบอร์อย่างรวดเร็ว CNSMS [5] และ TIFAflow [6] ใช้สำหรับซื้อ traffic และรวมสำหรับการวิเคราะห์ทางนิติวิทยาศาสตร์ CNSMS เป็นสถาปัตยกรรมสำหรับ traffic กับ TIFAflow และของอุปกรณ์ UTM สำหรับใช้ในการวิเคราะห์ทางนิติวิทยาศาสตร์ในก้อนเมฆคอมพิวเตอร์ศูนย์รักษาความปลอดภัยโดยรวม traffic TIFAflow เป็นโพรบที่ใช้ซอฟต์แวร์ที่รวม TIFA [7-9] กับ Fastbit [10] ทำดัชนีเพื่อให้การจัดเก็บข้อมูล granular มันอาจดำเนินการเป็น prober การอิสระ หรือรวมอยู่ในอุปกรณ์ UTM ของ CNSMS Deri and Fusco[11,12] also proposed MicroCloud- based flow aggregation for fixed and mobile networks. This architecture is used to provide real- time traffic monitoring and correlation in large distributed environments. Their system is deployed in the VIVACOM (Bulgarian Telecom) mobile network and is used for monitoring the .it DNS ccTLD and a large 3G mobile network.There are other works that use a similar platform for network data analysis, just like Lee et al.[13,14] and Qian et al.[15] However, for any mobile network operator even only recording network flow data, the resulting data repository could easily reach the Terabyte level on a yearly basis. However, if all mobile traffic data is recorded for forensic analysis, the volume of the data could easily reach the Petabyte level. This remains a major challenge to a mobile network operator that must accommodate and index such big data for further analysis.3 Mobile Traffic Acquisition at China Unicom3.1 Traffic data acquisitionIn China Unicom, traffic acquisition is operated at each Gn point of the GGSN in the 3G WCDMA mobile network, representing the vantage point of the mobile Internet in each province, and there are more than one hundred GGSNs used to cover all service areas. Traffic acquisition captures all the IP packets and aggregates the packets from each user properly. The principle of the aggregation is that a user’s valid behavior data should not be lost and that efficiency is required to reduce the invalid data. Then the file is produced in less than five minutes, and the volume of every file is less than 200MB. Every file contains approximately 700000 records. The detailed deployments of traffic probers are shown in Fig. 1. All traffic types are resolved once the traffic is captured. The captured traffic is transmitted after being packaged using a private format that is designed according to China Unicom’s uniform Internet records query and analysis system. The detailed format for a traffic record is shown in Table 1.Some notes about important fields shown in Table 1 are also described as the following 6 rules: (1) The bold field in the table needs to be captured, however, in the first stage, it is not stored, but other fields need to be captured and placed in storage. (2) The value of traffic data packets without related information will be set to null. (3) In the detailed record files, multiple CDRs are separated by a Carriage Return (CR) symbol and a newline symbol. (4) To ensure that the information is immediately available for querying in 30 minutes, an intermediary log is generated every five minutes for all the protocols. The records of IM traffic (such as QQ, WeChat, Fetion, XMPP) are merged with the user login ID. The traffic records of RTSP, FTP, SIP, and other traffic types are merged with the control and data channel, and the merged record is identified with the control channel port. The traffic records of other multiple IPs and channel traffic are merged, and the merged record is identified with the first IP and port.(5) Collect the WAP information and HTTP information that contains a complete URL field, including the “http://” and the host domain information, if there is no such information, the field must be filled with a null string.(6) Traffic type coding is accomplished with 3 digits. There is a vertical bar used as a separator between each field in a traffic record. The interval of the traffic file generation is 5 minutes by default and can be modified on demand. The size of one single file is limited to less than 200 MB. In each time interval, a traffic record file is generated and writing into the record will end when the time limit is reached or the file size limit is reached. If the size of one single file exceeds 200 MB, multiple files will be produced to guarantee that the size of the single file is below the threshold, and the additional related files are identified by appending a hexadecimal number such as [nnnnn]x.3.2 Traffic data warehouseThe files are transmitted by FTP protocol to the twenty-four FTP servers located in Beijing. Two small provinces normally share an FTP server, while a large province normally requires two FTP servers. To reduce the bandwidth of transmission, all files are compressed by the bzip2 compression algorithm before the files are uploaded to Beijing from every province. The warehousing program also runs on the FTP servers, and reads the files transmitted using FTP protocol. After being decompressed, t

ผลลัพธ์ (ไทย) 2:

TSINGHUASCIENCEANDTECHNOLOGY ISSNll1007-0214ll10 / 10llpp95-101 เล่ม 19 จำนวน 1 กุมภาพันธ์ 2014 Mobile Internet บิ๊กแพลทฟอร์มข้อมูลใน China Unicom Wenliang หวาง Zhen เฉิน ?, Wenyu ดงฮั่งหลี่ถังเฉาเฉาและ Junwei บทคัดย่อ: China Unicom ที่ใหญ่ที่สุด ผู้ประกอบการ 3G WCDMA ในประเทศจีนมีคุณสมบัติตรงตามความต้องการของมือถือประวัติศาสตร์ระเบิดInternet หรือพล่านของ Mobile Internet จราจรคจากขั้วมือถือ ตามสถิติภายในของ China Unicom, ผู้ใช้มือถือจราจรคได้เพิ่มขึ้นอย่างรวดเร็วด้วยอัตราการเติบโตเฉลี่ยต่อปี (CAGR) 135%. ปัจจุบัน China Unicom ร้านค้ารายเดือนมากกว่า 2000000000000 บันทึกปริมาณข้อมูลที่มีมากกว่า 525 วัณโรคและสูงสุดข้อมูลปริมาณได้ถึงจุดสูงสุด 5 PB ตั้งแต่เดือนตุลาคม 2009 China Unicom ได้รับการพัฒนาที่บ้านต้มการจัดเก็บข้อมูลขนาดใหญ่และการวิเคราะห์บนพื้นฐานของแพลตฟอร์มที่มาเปิดHadoop แจกจ่าย File System (HDFS) ตามที่มีกลยุทธ์ในระยะยาวจะทำให้การใช้เต็มรูปแบบของข้อมูลขนาดใหญ่นี้ ทั้งหมด Mobile Internet จราจรคจะทำหน้าที่อย่างดีโดยใช้ข้อมูลนี้ใหญ่แพลตฟอร์ม ปัจจุบันความเร็วในการเขียนได้ถึง 1390000 บันทึกต่อวินาทีและเวลาดึงบันทึกในตารางที่มีการบันทึกล้านล้านน้อยกว่า100 มิลลิวินาที เพื่อที่จะใช้ประโยชน์จากโอกาสนี้ที่จะเป็นบิ๊กข้อมูล Operator, China Unicom ได้มีการพัฒนาฟังก์ชั่นใหม่และมีนวัตกรรมใหม่ ๆ ที่จะแก้ปัญหาหลายพื้นที่และเวลาความท้าทายข้อจำกัด ที่นำเสนอในการประมวลผลข้อมูล ในบทความนี้เราจะมาแนะนำแพลตฟอร์มข้อมูลของเราใหญ่ในรายละเอียด. ขึ้นอยู่กับแพลตฟอร์มข้อมูลขนาดใหญ่นี้ China Unicom คือการสร้างระบบนิเวศอุตสาหกรรมบนพื้นฐานของ Mobile Internet บิ๊กข้อมูลและเห็นว่าระบบนิเวศที่ผู้ประกอบการโทรคมนาคมศูนย์กลางสามารถเกิดขึ้นว่ามีความสำคัญต่อถึงความเจริญรุ่งเรืองในการสื่อสารที่ทันสมัยธุรกิจ. คำสำคัญ: แพลตฟอร์มข้อมูลขนาดใหญ่; China Unicom; 3G เครือข่ายไร้สาย; แจกจ่าย File System Hadoop (HDFS); โทรศัพท์มือถืออินเทอร์เน็ต เครือข่ายนิติวิทยาศาสตร์; คลังข้อมูล; HBase 1 บทนำของผู้ใช้อินเทอร์เน็ตมือถือ[1] สามารถเข้าถึงเนื้อหาใด ๆ? Wenliang หวางเป็นกลุ่มกับประเทศจีน Unicom, ฉบับที่ 21 Financial Street, Xicheng District, ปักกิ่ง 100140, จีน.? Zhen เฉินและ Junwei เฉาอยู่กับการวิจัยของสถาบัน เทคโนโลยีสารสนเทศ (RIIT) และซิงหัวแห่งชาติแล็บวิทยาศาสตร์เทคโนโลยีสารสนเทศและ (TNList) Tsinghua University, ปักกิ่ง 100084, จีน E-mail: fzhenchen, jcaog @ tsinghua.edu.cn. Wenyu ดงและถังเฉาอยู่กับภาควิชาวิทยาการคอมพิวเตอร์และเทคโนโลยี Tsinghua University, ปักกิ่ง 100084, จีน?. ฮั่งหลี่อยู่กับภาควิชาวิทยาการคอมพิวเตอร์และเทคโนโลยี PLA? Univ ของข้อมูล & Eng. เจิ้งโจว 450001, จีน.? เพื่อคนที่ควรได้รับการแก้ไข ต้นฉบับที่ได้รับ: 2014/01/09; ได้รับการยอมรับ: 2014/01/10 ทุกที่ทุกเวลาทุกที่ทุกเวลา ความสะดวกสบายนี้ผลิตปริมาณมากของผู้ใช้เครือข่ายของแต่ละบุคคลจราจรคในด้านผู้ประกอบการโทรคมนาคมจึงจะเรียกว่าเป็นมือถือจราจรคน้ำท่วม ตามรายงานของแมรี่ Meeker [2] บนมือถืออินเทอร์เน็ตแนวโน้มซอฟต์แวร์คอมพิวเตอร์มากขึ้นและมีการโยกย้ายไปยังอุปกรณ์มือถืออินเทอร์เน็ต นอกจากนี้ยังคาดการณ์ว่าคไฟจราจรมือถือจะเป็นสองเท่าในแต่ละเดือนและ 14 ว่าปริมาณการจราจรทางอินเทอร์เน็ตคจะสี่เท่าระหว่างปี 2011 และปี 2016 ถึง 1.3 ZB ต่อปีในปี 2016 ตามที่ระบุโดยซิสโก้ VNI [3] China Unicom ที่ใหญ่ที่สุดผู้ประกอบการ 3G ในประเทศจีนได้เตรียมที่จะตอบสนองความต้องการนี้ "ระเบิด Internet มือถือ". ตามสถิติจาก China Unicom ที่มีประมาณ 250 ล้านผู้ใช้งานของลูกค้าในปี 2012 ผู้ใช้มือถือจราจรคเพิ่มขึ้นอย่างรวดเร็วที่มีการเจริญเติบโตเฉลี่ยต่อปี Rate (CAGR) 135% อินเทอร์เน็ตบนมือถือจราจรลักษณะคนอกจากนี้ยังมี96 Tsinghua วิทยาศาสตร์และเทคโนโลยี, กุมภาพันธ์ 2014 19 (1): 95-101 รับการตรวจสอบในการอ้างอิง [3] และไฟจราจรแบบจำลองการคาดคะเนคอยู่บนพื้นฐานของ ARMA และ FARIMA ได้รับการเสนอในการจับภาพสเปกตรัมหลายเศษส่วนในการจราจรมือถือสายค. China Unicom แพลตฟอร์มข้อมูลขนาดใหญ่เริ่มต้นจากเดือนตุลาคม 2009 มีการบันทึกรายเดือนจราจรคมากกว่า 2000000000000 บันทึกรายเดือน ปริมาณข้อมูลที่มีมากกว่า 525 TB และปริมาณข้อมูลสูงสุดที่บันทึกไว้ได้ถึงจุดสูงสุด 5 PB ความเร็วในการเขียนโดยรวมได้ถึง 1390000 บันทึกต่อวินาทีและเวลาดึงบันทึกไว้ในตารางที่มีล้านล้านระเบียนน้อยกว่า 100 มิลลิวินาที. 2 การทำงานที่เกี่ยวข้องกับเครือข่ายการจราจรบันทึกคหรือการเก็บข้อมูลถูกนำไปใช้เสมอในนิติเครือข่ายการแก้ไขปัญหาของเครือข่ายและพฤติกรรมของผู้ใช้การวิเคราะห์ ทั้งหมดการจราจรขาเข้าและขาออกสายคจากจุดได้เปรียบบางอย่างที่สามารถบันทึกได้ที่จะเรียกคืนสภาพเดิมในเวลาต่อมาในกรณีที่จำเป็น. เกี่ยวกับข้อ จำกัด ในการจัดเก็บข้อมูลเครือข่ายเพียงชั้นโอ๊ยข้อมูลหรือสถิติจะถูกบันทึกว่ามีเพียงแหล่งที่มาและที่อยู่ IP ปลายทางพอร์ตโปรโตคอล และ timestamps. เนื้อหาโอ๊ยจริงชั้นมักจะถูกทอดทิ้งซึ่งจะต้องมีปริมาณมากของพื้นที่เก็บข้อมูลเพื่อรองรับ นอกจากนี้ยังมีบางส่วนที่การอภิปรายกฎหมายในตรวจสอบตลึก (DPI) ของเนื้อหาโอ๊ยชั้นเกี่ยวกับประเด็นความเป็นส่วนตัวของผู้ใช้ บางครั้งข้อมูลเหล่านี้จะเป็นประโยชน์สำหรับการระบุฟิชชิ่งได้อย่างรวดเร็ว [4] สแปมเมอร์และประเภทอื่น ๆ ของการโจมตีไซเบอร์. CNSMS [5] และ TIFA fl โอ๊ย [6] ที่ใช้สำหรับการจราจรการเข้าซื้อกิจการและการรวมคสำหรับการวิเคราะห์ทางนิติเวช CNSMS เป็นสถาปัตยกรรมสำหรับการจราจรการเข้าซื้อกิจการที่มีค TIFA fl โอ๊ยและเครื่อง UTM สำหรับการจราจรรวมคใช้ในการวิเคราะห์ทางนิติวิทยาศาสตร์ในการคำนวณเมฆตามศูนย์รักษาความปลอดภัย TIFA โอ๊ยชั้นสอบสวนเป็นซอฟต์แวร์ที่ใช้ที่รวม TIFA [7-9] ด้วย Fastbit [10] การจัดทำดัชนีเพื่อให้การจัดเก็บข้อมูลที่ละเอียด มันอาจจะมีการดำเนินการเป็นอิสระ prober หรือรวมอยู่ในเครื่องของ UTM CNSMS. Deri และ Fusco [11,12] ยังเสนอ MicroCloud- ตามชั้นโอ๊ยรวมสำหรับไฟคงที่และเครือข่ายโทรศัพท์มือถือ สถาปัตยกรรมนี้จะใช้เพื่อให้เวลาจริงการจราจรการตรวจสอบคและความสัมพันธ์ในสภาพแวดล้อมที่มีการกระจายขนาดใหญ่ ระบบของพวกเขาจะถูกนำไปใช้ใน VIVACOM (บัลแกเรีย Telecom) เครือข่ายมือถือและนำมาใช้สำหรับการตรวจสอบ ccTLD DNS .it และเครือข่ายโทรศัพท์เคลื่อนที่ 3G ที่มีขนาดใหญ่. มีผลงานอื่น ๆ ที่ใช้แพลตฟอร์มที่คล้ายกันในการวิเคราะห์ข้อมูลเครือข่ายเช่นเดียวกับลี et al, [13,14] และเควน et al. [15] แต่สำหรับผู้ประกอบการเครือข่ายมือถือใด ๆ แม้เพียงบันทึกเครือข่ายชั้นโอ๊ยข้อมูลที่เก็บข้อมูลได้อย่างง่ายดายสามารถส่งผลถึงระดับเทราไบต์ในแต่ละปี แต่ถ้าการจราจรสายโทรศัพท์มือถือทั้งหมดคข้อมูลจะถูกบันทึกไว้ในการวิเคราะห์ทางนิติเวชปริมาณของข้อมูลที่สามารถเข้าถึงได้อย่างง่ายดายระดับ Petabyte ที่ นี้ยังคงเป็นความท้าทายที่สำคัญในการเป็นผู้ประกอบการเครือข่ายโทรศัพท์เคลื่อนที่ที่จะต้องรองรับและดัชนีข้อมูลขนาดใหญ่ดังกล่าวสำหรับการวิเคราะห์ต่อไป. 3 มือถือจราจรได้มาซึ่งคที่ China Unicom 3.1 จราจรเก็บข้อมูลคในChina Unicom, การจราจรคเข้าซื้อกิจการเป็นผู้ดำเนินการในแต่ละจุด Gn ของ GGSN ใน 3G WCDMA เครือข่ายมือถือคิดเป็นจุดได้เปรียบของอินเทอร์เน็ตบนมือถือในแต่ละจังหวัดและมีมากกว่าหนึ่งร้อย GGSNs ใช้เพื่อให้ครอบคลุมทุกพื้นที่ที่ให้บริการ การจราจรการเข้าซื้อกิจการคจับทุกแพ็กเก็ต IP และมวลแพ็คเก็ตจากผู้ใช้แต่ละคนได้อย่างถูกต้อง. หลักการของการรวมคือการที่ผู้ใช้ข้อมูลพฤติกรรมที่ถูกต้องไม่ควรจะหายไปและประสิทธิภาพการสายที่จะต้องลดข้อมูลที่ไม่ถูกต้อง จากนั้นไฟ le ที่ผลิตในเวลาน้อยกว่าไฟได้นาทีและปริมาณของทุกสาย le น้อยกว่า 200MB ไฟทุก le มีประมาณ 700,000 ระเบียน ปรับใช้รายละเอียดของการจราจร probers คจะแสดงในรูป 1. จราจรประเภทคทั้งหมดได้รับการแก้ไขในครั้งเดียวไฟจราจรคถูกจับ จราจรคจับจะถูกส่งหลังจากที่ถูกบรรจุโดยใช้รูปแบบเอกชนที่ได้รับการออกแบบตาม China Unicom เครื่องแบบบันทึกแบบสอบถามอินเทอร์เน็ตและระบบการวิเคราะห์ รูปแบบรายละเอียดสำหรับการบันทึกคไฟจราจรจะแสดงในตารางที่ 1 บันทึกบางอย่างเกี่ยวกับ elds สายสำคัญที่แสดงในตารางที่ 1 จะมีการอธิบายยังดังต่อไปนี้ 6 กฎ: (1) ELD สายหนาในตารางจะต้องมีการจับอย่างไรก็ตามในสายแรก ขั้นตอนก็ไม่ได้เก็บไว้ แต่ elds สายอื่น ๆ จะต้องถูกจับและวางไว้ในห้องเก็บของ. (2) ค่าของการจราจรแพ็กเก็ตข้อมูลคโดยไม่มีข้อมูลที่เกี่ยวข้องจะได้รับการตั้งค่าให้เป็นโมฆะ. (3) ในการบันทึกรายละเอียดสาย les, CDRs หลายจะถูกแยกออก โดยขนกลับ (CR) สัญลักษณ์และสัญลักษณ์ขึ้นบรรทัดใหม่. (4) เพื่อให้แน่ใจว่าข้อมูลที่สามารถใช้ได้ทันทีสำหรับการสอบถามใน 30 นาทีบันทึกตัวกลางจะถูกสร้างขึ้นทุกสายได้นาทีสำหรับโปรโตคอลทั้งหมด บันทึกการสนทนาจราจรค (เช่น QQ, WeChat, Fetion, XMPP) จะถูกรวมกับรหัสเข้าสู่ระบบของผู้ใช้ บันทึกไฟจราจรคของ RTSP, FTP, SIP และอื่น ๆ ที่การจราจรประเภทคจะรวมกับการควบคุมและช่องทางข้อมูลและบันทึกรวมเป็นเอ็ดระบุสายที่มีพอร์ตช่องทางควบคุม บันทึกไฟจราจรคของหลาย IPs อื่น ๆ และช่องทางจราจรคจะถูกผสานและบันทึกผสานคือเอ็ดสายระบุด้วย IP สายแรกและพอร์ต. (5) การเก็บรวบรวมข้อมูล WAP และ HTTP ข้อมูลที่มี ELD ไฟ URL ที่สมบูรณ์รวมทั้ง "http: // "ข้อมูลโดเมนและโฮสต์หากไม่มีข้อมูลดังกล่าว ELD ไฟจะต้องมีสาย lled กับสตริง. (6) การจราจรคเข้ารหัสประเภททำได้ด้วย 3 หลัก มีแถบแนวตั้งที่ใช้เป็นตัวคั่นระหว่าง ELD ไฟในแต่ละจราจรบันทึก c คือ ช่วงเวลาของการจราจรคไฟรุ่น le คือ 5 นาทีโดยเริ่มต้นและสามารถเอ็ดสาย Modi ตามความต้องการ ขนาดของสายเดียว le จะถูก จำกัด ให้น้อยกว่า 200 MB ในแต่ละช่วงเวลาเป็นไฟจราจรบันทึกค le ถูกสร้างขึ้นและเขียนลงในบันทึกจะสิ้นสุดเมื่อเวลาที่กำหนดจะมาถึงหรือสาย le จำกัด ขนาดถึง ถ้าขนาดของเลอสายเดียวเกิน 200 MB หลายสาย les จะมีการผลิตเพื่อรับประกันว่าขนาดของสายเดียว le ต่ำกว่าเกณฑ์และไฟเพิ่มเติมที่เกี่ยวข้อง les เป็นเอ็ดสายระบุโดยท้ายเลขฐานสิบหกเช่น [nnnnn] x. 3.2 จราจรคลังข้อมูลคสายles จะถูกส่งโดยโปรโตคอล FTP เพื่อยี่สิบสี่ FTP เซิร์ฟเวอร์ที่ตั้งอยู่ในกรุงปักกิ่ง สองจังหวัดเล็ก ๆ ปกติใช้เซิร์ฟเวอร์ FTP ในขณะที่จังหวัดที่มีขนาดใหญ่ได้ตามปกติต้องใช้สอง FTP เซิร์ฟเวอร์ เพื่อลดแบนด์วิดธ์ของการส่ง les ไฟทั้งหมดจะถูกบีบอัดโดยวิธีการบีบอัด bzip2 ก่อนที่จะสาย les จะถูกอัพโหลดไปยังกรุงปักกิ่งจากทุกจังหวัด. โปรแกรมคลังสินค้ายังทำงานบนเซิร์ฟเวอร์ FTP และอ่านไฟ les ส่งโดยใช้โปรโตคอล FTP หลังจากที่ถูกแตกที

ผลลัพธ์ (ไทย) 3:

tsinghuascienceandtechnology issnll1007-0214ll10 / 10llpp95-101 ปริมาณ 19 , หมายเลข 1 กุมภาพันธ์ 2014

มือถืออินเทอร์เน็ตขนาดใหญ่ข้อมูลแพลตฟอร์มในประเทศจีน Unicom

wenliang หวง เจิ้นเฉิน  wenyu , ดงแขวน Li Bin โจโฉ และโจโฉ junwei

โดย China Unicom WCDMA 3G ผู้ประกอบการที่ใหญ่ที่สุดในประเทศจีน ตามความต้องการของศาสตร์ โทรศัพท์มือถือ
อินเทอร์เน็ตกระจายหรือเพิ่มขึ้นของอินเทอร์เน็ตบนมือถือสร้างจึง C จากสถานีเคลื่อนที่ ตามสถิติภายใน
ของ China Unicom , ผู้ใช้โทรศัพท์มือถือจึงสร้าง C เพิ่มขึ้นอย่างรวดเร็วด้วยอัตราการเจริญเติบโตสารปี ( CAGR ) 135 %
ขณะนี้ China Unicom รายเดือนเก็บได้มากกว่า 2 ล้านเล่ม บันทึกข้อมูลไปที่ TB และสูงสุด
ขนาดข้อมูลได้ถึงจุดสูงสุดของ 5 ตะกั่ว ตั้งแต่เดือนตุลาคม 2009