Big Data Analytics framework for Pe

Big Data Analytics framework for Peer-to-Peer Botnet detection using Random Forests

Network traffic monitoring and analysis-related research has struggled to scale for massive amounts of data in real time. Some of the vertical scaling solutions provide good implementation of signature based detection. Unfortunately these approaches treat network flows across different subnets and cannot apply anomaly-based classification if attacks originate from multiple machines at a lower speed, like the scenario of Peer-to-Peer Botnets.

In this paper the authors build up on the progress of open source tools like Hadoop, Hive and Mahout to provide a scalable implementation of quasi-real-time intrusion detection system. The implementation is used to detect Peer-to-Peer Botnet attacks using machine learning approach. The contributions of this paper are as follows: (1) Building a distributed framework using Hive for sniffing and processing network traces enabling extraction of dynamic network features; (2) Using the parallel processing power of Mahout to build Random Forest based Decision Tree model which is applied to the problem of Peer-to-Peer Botnet detection in quasi-real-time. The implementation setup and performance metrics are presented as initial observations and future extensions are proposed.

ผลลัพธ์ (ไทย) 1:

กรอบวิเคราะห์ข้อมูลขนาดใหญ่ใช้ป่าสุ่มตรวจ Botnet เพียร์เพื่อเพียร์

เครือข่ายรับส่งข้อมูลงานวิจัยที่เกี่ยวข้อง กับการวิเคราะห์ และตรวจสอบได้ต่อสู้เพื่อสำหรับจำนวนขนาดใหญ่ของข้อมูลในเวลาจริง บางแนวมาตราส่วนให้ตรวจสอบลายเซ็นตามงานดี แต่วิธีเหล่านี้ถือว่ากระแสเครือข่ายระหว่างเครือข่ายย่อยที่แตกต่างกัน และไม่สามารถใช้การจัดประเภทตามช่วยถ้าโจมตีมาจากหลายเครื่องที่มีความเร็วต่ำ เช่นสถานการณ์ของเพียร์เพื่อเพียร์ Botnets

ในกระดาษผู้เขียนสร้างขึ้นบนความคืบหน้าของเครื่องมือการเปิดแหล่งที่มาเช่นอย่างไร Hadoop กลุ่มและควาญช้างให้ดำเนินการปรับสเกลของระบบตรวจจับการบุกรุก quasi-real-time ใช้ปฏิบัติสืบเพียร์เพื่อเพียร์ Botnet โจมตีโดยใช้วิธีการเรียนรู้ของเครื่อง การจัดสรรของกระดาษนี้มีดังนี้: (1) สร้างกรอบแบบกระจายโดยใช้กลุ่มการค้นหา และประมวลผลการสืบค้นกลับเครือข่ายเปิดใช้งานสกัดของเครือข่ายแบบไดนามิก (2) ใช้ขนานที่ประมวลผลของควาญช้างสร้างป่าสุ่มตามโมเดลต้นไม้การตัดสินใจที่จะใช้การตรวจสอบ Botnet เพียร์เพื่อเพียร์ใน quasi-real-time ดำเนินการติดตั้งและประสิทธิภาพวัดจะนำเสนอเป็นข้อสังเกตเบื้องต้น และมีการนำเสนอส่วนขยายในอนาคต

ผลลัพธ์ (ไทย) 3:

ใหญ่ข้อมูล Analytics เพื่อเพื่อนเพื่อเพื่อน botnet ใช้สุ่มตรวจหาป่า

เครือข่ายการจราจรการตรวจสอบและวิเคราะห์งานวิจัยที่เกี่ยวข้องได้พยายามที่จะวัดจำนวนมหาศาลของข้อมูลในเวลาจริง บางส่วนของโซลูชั่นการปรับแนวตั้งให้การใช้งานที่ดีของการตรวจสอบลายเซ็นตามแต่น่าเสียดายที่วิธีการเหล่านี้รักษาไหลข้ามเครือข่าย subnets แตกต่างกันและไม่สามารถใช้จำแนกตามมิติถ้าโจมตีมาจากหลายเครื่องที่ความเร็วต่ำ เช่น ฉากที่เพื่อนเพื่อเพื่อนเอง

ในบทความนี้ผู้เขียนสร้างขึ้นในความก้าวหน้าของเครื่องมือเปิดแหล่งที่มาเช่น Hadoop ,กลุ่ม และควาญช้างให้การใช้งานยืดหยุ่นกึ่งเวลาจริงระบบตรวจจับการบุกรุก . การใช้เพื่อตรวจหาเพื่อนเพื่อเพื่อนการโจมตีมัลแวร์โดยใช้เครื่องการเรียนรู้วิธีการ การเขียนของกระดาษมีดังนี้ ( 1 ) การสร้างกรอบการกระจายรังสำหรับดมกลิ่นและการประมวลผลเครือข่ายร่องรอยการสกัดคุณลักษณะแบบไดนามิกช่วยให้เครือข่าย( 2 ) ใช้พลังการประมวลผลแบบขนานของควาญช้าง เพื่อสร้างป่าตามรูปแบบการตัดสินใจแบบต้นไม้ที่ใช้กับปัญหาของการตรวจหาช่องโหว่และเพื่อนเพื่อเพื่อนในเวลาจริง การติดตั้งและการทำงานเป็นวัดที่เสนอเป็นข้อสังเกตเบื้องต้นและส่วนขยายในอนาคตจะเสนอ