V. MOBILE VIDEO CLOUD SERVICES
The mobile services architecture is based on the previous workflow. As shown in Figure 3, the mobile client and cloud components are communicating with each other using different protocols for different purposes. RTP is used for video up and down streaming. The extensible messaging and presence protocol (XMPP) is used for the exchange of metadata, segments information, and device information. HTTP is required for file transfers like video upload to the cloud. Realizing the different functionalities of the MVCS client various handler are required. The MP4 handler is an important part of the video streaming functionality. As described before the RTP protocol is used for video streaming. To ensure good compatibility with various streaming servers the outgoing video stream should consist of a video encoded by the H.264 video codec and an MP4 video container. The metadata handler is a very simple handler. It manages the fetching of the video segments and tags via the XMPP connector and parses the XML segments. Furthermore, it sends new tags via the XMPP connector. Additionally, it manages sending the video metadata information like title and description. The lazylist handler is an important part of mobile user experience as it reduces data transfer and memory usage. This handler is utilized by the segment-based “seek bar” and by the browse activities which include preview thumbnails of the videos. It works in the way that it runs as a background thread with a low priority to not affect the interface performance. The basis of the client is the communication layer. Its XMPP connector is the gateway to the cloud services and is used to exchange data with the cloud, including metadata, segment
Fig. 3. MVCS client’s software architecture on Android platform
information, and device information like screen size, model, etc. In MVCS, the following XEPs are used: XEP-0009: Jabber- RPC, XEP-0030: Service Discovery and XEP-0060: Publish- Subscribe. They provide easy-to-use but yet powerful features in like bi-directional XML streaming. The RTP connector is responsible for the communication with the streaming server of recorded videos and also for delivering the video to the video player. The most important part of the mobile client is the video player. Here is where all the tools for improvements of the mobile user experience matter. It displays the segments, tags and also the zoomed video content, as show on Figure 2. On the cloud side, the XMPP service handles all major communication between the client and the cloud. The transcod- ing service is an interface for the cloud video processing tasks. It uses the FFmpeg library [15] for transcoding of the video into different formats and to generate thumbnails. The zooming service is responsible for cropping the video. It provides standard zooming functionality like zooming to the middle of the video and more complex zooming functionality based on the object recognition service. The segmentation service recognizes scenes in the video and creates a list of time points of the scenes. Additionally, it utilizes the transcoding service to create the thumbnails for the segments. This is realized by using the FFmpeg and the shotdetect library for scene detection. The object recognition service is necessary for realizing ROI-enhanced zooming. The service recognizes objects in a video and therefore the center of the zooming region can be adjusted. Recognizable objects are, for example, faces, profile faces, etc. In summary, the video transcoding and zooming services are handled by FFmpeg and the segmentation and object recognition services are mainly handled by OpenCV algorithms [16]. The object recognition is realized with the Java wrapper for OpenCV, i.e. JavaCV. Standard Haar classifiers [17] are used
โวลต์วิดีโอมือถือบริการเมฆ
สถาปัตยกรรมบริการโทรศัพท์มือถือจะขึ้นอยู่กับขั้นตอนการทำงานก่อนหน้านี้ ดังแสดงในรูปที่ 3, ลูกค้ามือถือและส่วนประกอบเมฆกำลังสื่อสารกับแต่ละอื่น ๆ โดยใช้โปรโตคอลที่แตกต่างกันเพื่อวัตถุประสงค์ที่แตกต่างกัน RTP จะใช้สำหรับวิดีโอขึ้นและลงสตรีมมิ่ง ส่งข้อความขยายและโปรโตคอลการแสดงตน (XMPP) จะใช้สำหรับการแลกเปลี่ยนข้อมูลเมตาข้อมูลส่วนและอุปกรณ์ ที่ http เป็นสิ่งจำเป็นสำหรับการถ่ายโอนไฟล์ที่ต้องการอัปโหลดวิดีโอไปยังเมฆ ตระหนักถึงฟังก์ชันการทำงานที่แตกต่างกันของการดำเนินการต่างๆ mvcs ลูกค้าจะต้อง จัดการ MP4 เป็นส่วนสำคัญของการทำงานของสตรีมมิ่งวิดีโอ ตามที่อธิบายไว้ก่อนโปรโตคอล RTP จะใช้สำหรับวิดีโอสตรีมมิ่งเพื่อให้แน่ใจว่าเข้ากันได้ดีกับเซิร์ฟเวอร์สตรีมมิ่งวิดีโอสตรีมต่างๆที่ส่งออกควรประกอบด้วยวิดีโอที่เข้ารหัสด้วยตัวแปลงสัญญาณวิดีโอ H.264 และภาชนะวิดีโอ mp4 ตัวจัดการเมตาดาต้าที่เป็นตัวจัดการที่ง่ายมาก มันจัดการเรียกของกลุ่มวิดีโอและแท็กผ่านทางเชื่อมต่อ XMPP และจะแยกวิเคราะห์ส่วน XML นอกจากนี้ก็จะส่งป้ายใหม่ผ่านการเชื่อมต่อ XMPP นอกจากนี้มันจัดการการส่งข้อมูล metadata วิดีโอเช่นชื่อและคำอธิบาย จัดการ lazylist เป็นส่วนสำคัญของประสบการณ์การใช้งานมือถือที่จะช่วยลดการถ่ายโอนข้อมูลและการใช้หน่วยความจำ การดำเนินการนี้ถูกนำมาใช้โดยส่วนที่ใช้ "บาร์แสวงหา" และกิจกรรมการเรียกดูภาพขนาดเล็กซึ่งรวมถึงตัวอย่างของวิดีโอมันทำงานในลักษณะที่ว่ามันทำงานเป็นด้ายพื้นหลังที่มีความสำคัญในระดับต่ำที่จะไม่ส่งผลกระทบต่อประสิทธิภาพการทำงานของอินเตอร์เฟซ พื้นฐานของลูกค้าเป็นชั้นการสื่อสาร เชื่อมต่อ XMPP ที่เป็นประตูไปสู่การให้บริการคลาวด์และใช้ในการแลกเปลี่ยนข้อมูลกับเมฆรวมทั้งข้อมูลส่วน
มะเดื่อ 3 สถาปัตยกรรมซอฟต์แวร์ mvcs ของลูกค้าบนแพลตฟอร์ม Android
ข้อมูล,และข้อมูลของอุปกรณ์เช่นขนาดหน้าจอรุ่นอื่น ๆ ใน mvcs, xeps ต่อไปนี้จะใช้: XEP-0009: พูดรัว-RPC, XEP-0030: การค้นพบบริการและ XEP-0060: เผยแพร่การสมัคร พวกเขาให้ง่ายต่อการใช้งาน แต่ยังคุณลักษณะที่มีประสิทธิภาพเช่นในสองทิศทางสตรีมมิ่งแบบ xmlเชื่อมต่อ RTP เป็นผู้รับผิดชอบสำหรับการสื่อสารกับสตรีมมิ่งเซิร์ฟเวอร์ของวิดีโอที่บันทึกและยังสำหรับการส่งวิดีโอไปยังเครื่องเล่นวิดีโอ ส่วนที่สำคัญที่สุดของลูกค้ามือถือเป็นเครื่องเล่นวิดีโอ ที่นี่คือที่เครื่องมือทั้งหมดสำหรับการปรับปรุงจากเรื่องประสบการณ์การใช้งานมือถือ จะแสดงส่วนแท็กและเนื้อหาวิดีโอซูมเป็นงานแสดงรูปที่ 2ทางด้านคลาวด์, บริการ XMPP จัดการทั้งหมดที่สำคัญการสื่อสารระหว่างลูกค้าและเมฆ บริการ transcod ไอเอ็นจีเป็นอินเตอร์เฟซสำหรับเมฆวิดีโองานการประมวลผล จะใช้ ffmpeg ห้องสมุด [15] ภาพขนาดเล็กสำหรับการแปลงรหัสของวิดีโอในรูปแบบที่แตกต่างกันและการสร้าง บริการการซูมจะเป็นผู้รับผิดชอบสำหรับการปลูกพืชวิดีโอมันมีฟังก์ชันการซูมมาตรฐานเช่นการซูมไปตรงกลางของวิดีโอและการทำงานของการซูมที่ซับซ้อนมากขึ้นบนพื้นฐานของการให้บริการรับรู้วัตถุ บริการแบ่งส่วนตระหนักถึงฉากในวิดีโอและสร้างรายชื่อของจุดเวลาที่เกิดเหตุ นอกจากนี้จะใช้บริการการแปลงรหัสเพื่อสร้างภาพขนาดเล็กสำหรับกลุ่มนี้เป็นตระหนักโดยใช้ ffmpeg และห้องสมุด shotdetect สำหรับการตรวจสอบที่เกิดเหตุ บริการรับรู้วัตถุเป็นสิ่งจำเป็นสำหรับการตระหนักถึงผลตอบแทนการลงทุนที่เพิ่มการซูม บริการตระหนักถึงวัตถุในวิดีโอและดังนั้นจึงเป็นศูนย์กลางของภูมิภาคการซูมจะสามารถปรับได้ วัตถุที่เป็นที่รู้จักเป็นเช่นใบหน้า, ใบหน้ารายละเอียด ฯลฯ ในสรุปแปลงวิดีโอและซูมบริการที่มีการจัดการโดย ffmpeg และการแบ่งส่วนและการบริการที่รับรู้วัตถุได้รับการจัดการโดยส่วนใหญ่เป็นอัลกอริทึม OpenCV [16] รับรู้วัตถุคือรู้ด้วยกระดาษห่อ Java สำหรับ OpenCV เช่น javacv จําแนก Haar มาตรฐาน [17] ถูกนำมาใช้
การแปล กรุณารอสักครู่..