This handler is utilized by the segment-based “seek bar” and by the browse activities which include preview thumbnails of the videos. It works in the way that it runs as a background thread with a low priority to not affect the interface performance. The basis of the client is the communication layer. Its XMPP connector is the gateway to the cloud services and is used to exchange data with the cloud, including metadata, segment
Fig. 3. MVCS client’s software architecture on Android platform
information, and device information like screen size, model, etc. In MVCS, the following XEPs are used: XEP-0009: Jabber- RPC, XEP-0030: Service Discovery and XEP-0060: Publish- Subscribe. They provide easy-to-use but yet powerful features in like bi-directional XML streaming. The RTP connector is responsible for the communication with the streaming server of recorded videos and also for delivering the video to the video player. The most important part of the mobile client is the video player. Here is where all the tools for improvements of the mobile user experience matter. It displays the segments, tags and also the zoomed video content, as show on Figure 2. On the cloud side, the XMPP service handles all major communication between the client and the cloud. The transcod- ing service is an interface for the cloud video processing tasks. It uses the FFmpeg library [15] for transcoding of the video into different formats and to generate thumbnails. The zooming service is responsible for cropping the video. It provides standard zooming functionality like zooming to the middle of the video and more complex zooming functionality based on the object recognition service. The segmentation service recognizes scenes in the video and creates a list of time points of the scenes. Additionally, it utilizes the transcoding service to create the thumbnails for the segments. This is realized by using the FFmpeg and the shotdetect library for scene detection. The object recognition service is necessary for realizing ROI-enhanced zooming. The service recognizes objects in a video and therefore the center of the zooming region can be adjusted. Recognizable objects are, for example, faces, profile faces, etc. In summary, the video transcoding and zooming services are handled by FFmpeg and the segmentation and object recognition services are mainly handled by OpenCV algorithms [16]. The object recognition is realized with the Java wrapper for OpenCV, i.e. JavaCV. Standard Haar classifiers [17] are used
Fig. 4. Video processing workflow
to recognize faces. The metadata service is responsible for handling metadata. Part of the metadata are tags and technical information like length. This metadata is stored into a relational database. For the relational database MySQL. The video service is responsible for the video content storage, and splitting and merging of the video for parallel processing. The parallel processing service is responsible for creating, starting, stopping instances, handling the queue and distributing the processing tasks multiple virtual machine instances. As a cloud provider, we utilize our i5Cloud, a hybrid cloud architecture for multimedia applications and services which is described in our previous work [18]. In general, after the upload of a video or an incoming stream the video is split into several chunks (s. Fig. 4). The chunks are then processed in parallel by the intelligent video processing services of MVCS. After the processing of the video is finished in the end, the chunks are merged again to a single video. The first step of the video processing workflow is the splitting step. All steps of the video workflow are basically based on the approach by Pereira et al. [13]. The main problem of splitting a video is the fact that we have to split a video and to merge it again without any loss of synchronization.generated automatically. Like the thumbnails the tags are ordered by timely occurrence in the video. If a user clicks on a tag, the video stream goes directly to the corresponding position. Both components, i.e. the segment-based seek bar and the tag list are implemented to overcome the mobile UX problem of video browsing on a mobile device. Finally, the third part of mobile UX improvement contains the video player itself. As device information including screen size is sent to the cloud the necessary zooming ratio can be calculated. Depending on the screen size of the device
a zooming ratio is calculated and depending of the objects a center position of the zooming field is defined. The red rectangle symbolizes the zoomed video. Two persons are recognized by the object recognition service and therefore the zooming field is set at this position. The user just sees this part of the video and can better concentrate on the persons. For future implementations more enhanced classifiers or feature descriptors can be used (e.g. football, etc.) to enable personalized zooming.
V. MOBILE VIDEO CLOUD SERVICES
The mobile services architecture is based on the previous workflow. As shown in Figure 3, the mobile client and cloud components are communicating with each other using different protocols for different purposes. RTP is used for video up and down streaming. The extensible messaging and presence protocol (XMPP) is used for the exchange of metadata, segments information, and device information. HTTP is required for file transfers like video upload to the cloud. Realizing the different functionalities of the MVCS client various handler are required. The MP4 handler is an important part of the video streaming functionality. As described before the RTP protocol is used for video streaming. To ensure good compatibility with various streaming servers the outgoing video stream should consist of a video encoded by the H.264 video codec and an MP4 video container. The metadata handler is a very simple handler. It manages the fetching of the video segments and tags via the XMPP connector and parses the XML segments. Furthermore, it sends new tags via the XMPP connector. Additionally, it manages sending the video metadata information like title and description. The lazylist handler is an important part of mobile user experience as it reduces data transfer and memory usage.
Fig. 1. MVCS workflow in a mobile video application
time point. This works well regarding the low bandwidth. As described before, the thumbnails have such a small resolution that they are loaded very fast. Furthermore, a lazy list has been implemented so that it requires even less bandwidth as only currently viewable images are loaded. Clicking on a thumbnail redirects the user directly to the corresponding scene in the video. The user can now search content much faster than in a traditional video player. This again improves the orientation for the user. If the user clicks on an image he is directly redirected to the corresponding time point in the video. Furthermore, the seek bar focuses the current scene and scrolls automatically.
Fig. 2. Video stream browsing based on video segmentation and automatically generated metadata
Second, the tag list (right) consists of tags which have been added manually by the user himself, by other users, or generated automatically. Like the thumbnails the tags are ordered by timely occurrence in the video. If a user clicks on a tag, the video stream goes directly to the corresponding position. Both components, i.e. the segment-based seek bar and the tag list are implemented to overcome the mobile UX problem of video browsing on a mobile device. Finally, the third part of mobile UX improvement contains the video player itself. As device information including screen size is sent to the cloud the necessary zooming ratio can be calculated. Depending on the screen size of the device
a zooming ratio is calculated and depending of the objects a center position of the zooming field is defined. The red rectangle symbolizes the zoomed video. Two persons are recognized by the object recognition service and therefore the zooming field is set at this position. The user just sees this part of the video and can better concentrate on the persons. For future implementations more enhanced classifiers or feature descriptors can be used (e.g. football, etc.) to enable personalized zooming.
การดำเนินการนี้ถูกนำมาใช้โดยส่วนที่ใช้ "บาร์แสวงหา" และกิจกรรมการเรียกดูภาพขนาดเล็กซึ่งรวมถึงตัวอย่างของวิดีโอ มันทำงานในลักษณะที่ว่ามันทำงานเป็นด้ายพื้นหลังที่มีความสำคัญในระดับต่ำที่จะไม่ส่งผลกระทบต่อประสิทธิภาพการทำงานของอินเตอร์เฟซ พื้นฐานของลูกค้าเป็นชั้นการสื่อสารเชื่อมต่อ XMPP ที่เป็นประตูไปสู่การให้บริการคลาวด์และใช้ในการแลกเปลี่ยนข้อมูลกับเมฆรวมทั้งข้อมูลส่วน
มะเดื่อ 3 สถาปัตยกรรมซอฟต์แวร์ mvcs ของลูกค้าบนแพลตฟอร์ม Android
ข้อมูลและข้อมูลของอุปกรณ์เช่นขนาดหน้าจอรุ่นอื่น ๆ ใน mvcs, xeps ต่อไปนี้จะใช้: XEP-0009: พูดรัว-RPC, XEP-0030: การค้นพบบริการและ XEP-0060: เผยแพร่ - สมัครสมาชิกพวกเขาให้ง่ายต่อการใช้งาน แต่ยังคุณลักษณะที่มีประสิทธิภาพเช่นในสองทิศทางสตรีมมิ่งแบบ xml เชื่อมต่อ RTP เป็นผู้รับผิดชอบสำหรับการสื่อสารกับสตรีมมิ่งเซิร์ฟเวอร์ของวิดีโอที่บันทึกและยังสำหรับการส่งวิดีโอไปยังเครื่องเล่นวิดีโอ ส่วนที่สำคัญที่สุดของลูกค้ามือถือเป็นเครื่องเล่นวิดีโอ ที่นี่คือที่เครื่องมือทั้งหมดสำหรับการปรับปรุงจากเรื่องประสบการณ์การใช้งานมือถือจะแสดงส่วนแท็กและเนื้อหาวิดีโอซูมเป็นงานแสดงรูปที่ 2 ทางด้านคลาวด์, บริการ XMPP จัดการทั้งหมดที่สำคัญการสื่อสารระหว่างลูกค้าและเมฆ บริการ transcod ไอเอ็นจีเป็นอินเตอร์เฟซสำหรับเมฆวิดีโองานการประมวลผล จะใช้ ffmpeg ห้องสมุด [15] ภาพขนาดเล็กสำหรับการแปลงรหัสของวิดีโอในรูปแบบที่แตกต่างกันและการสร้างบริการการซูมจะเป็นผู้รับผิดชอบสำหรับการปลูกพืชวิดีโอ มันมีฟังก์ชันการซูมมาตรฐานเช่นการซูมไปตรงกลางของวิดีโอและการทำงานของการซูมที่ซับซ้อนมากขึ้นบนพื้นฐานของการให้บริการรับรู้วัตถุ บริการแบ่งส่วนตระหนักถึงฉากในวิดีโอและสร้างรายชื่อของจุดเวลาที่เกิดเหตุ นอกจากนี้มันใช้บริการการแปลงรหัสเพื่อสร้างภาพขนาดเล็กสำหรับกลุ่ม นี้เป็นตระหนักโดยใช้ ffmpeg และห้องสมุด shotdetect สำหรับการตรวจสอบที่เกิดเหตุ บริการรับรู้วัตถุเป็นสิ่งจำเป็นสำหรับการตระหนักถึงผลตอบแทนการลงทุนที่เพิ่มการซูม บริการตระหนักถึงวัตถุในวิดีโอและดังนั้นจึงเป็นศูนย์กลางของภูมิภาคการซูมจะสามารถปรับได้ วัตถุที่เป็นที่รู้จักเป็นเช่นใบหน้า,รายละเอียดใบหน้า ฯลฯ ในสรุปแปลงวิดีโอและซูมบริการที่มีการจัดการโดย ffmpeg และการแบ่งส่วนและการบริการที่รับรู้วัตถุได้รับการจัดการโดยส่วนใหญ่เป็นอัลกอริทึม OpenCV [16] รับรู้วัตถุคือรู้ด้วยกระดาษห่อ Java สำหรับ OpenCV เช่น javacv จําแนก Haar มาตรฐาน [17] ถูกนำมาใช้
มะเดื่อ 4 วิดีโอ
เวิร์กโฟลว์การประมวลผลการรับรู้ใบหน้าบริการข้อมูลเป็นผู้รับผิดชอบในการจัดการข้อมูล ส่วนหนึ่งของเมตาดาต้าที่มีแท็กและข้อมูลทางเทคนิคเช่นระยะเวลา ข้อมูลนี้จะถูกจัดเก็บลงในฐานข้อมูลเชิงสัมพันธ์ สำหรับ MySQL ฐานข้อมูลเชิงสัมพันธ์ บริการวิดีโอเป็นผู้รับผิดชอบในการจัดเก็บเนื้อหาวิดีโอและการแยกและการรวมกันของวิดีโอสำหรับการประมวลผลแบบขนานบริการการประมวลผลแบบขนานเป็นผู้รับผิดชอบสำหรับการสร้างเริ่มหยุดกรณีการจัดการคิวและการกระจายงานการประมวลผลกรณีเครื่องเสมือนหลาย เป็นผู้ให้บริการคลาวด์เราใช้ i5cloud ของเราสถาปัตยกรรมเมฆไฮบริดสำหรับการใช้งานมัลติมีเดียและบริการที่อธิบายไว้ในการทำงานของเราก่อนหน้า [18] โดยทั่วไปหลังจากอัปของวิดีโอหรือวิดีโอสตรีมขาเข้าถูกแบ่งออกเป็นหลายชิ้น (เอส. มะเดื่อ 4.) ชิ้นจะถูกประมวลผลแล้วในแบบคู่ขนานโดยการให้บริการการประมวลผลวิดีโอที่ชาญฉลาดของ mvcs หลังจากการประมวลผลของวิดีโอจะเสร็จสิ้นในท้ายที่สุดชิ้นที่มีการควบรวมกิจการอีกครั้งเพื่อภาพเดียว ขั้นตอนแรกของเวิร์กโฟลว์การประมวลผลวิดีโอเป็นขั้นตอนการแยกทุกขั้นตอนของเวิร์กโฟลว์วิดีโอจะขึ้นอยู่โดยทั่วไปในวิธีการโดย Pereira et al, [13] ปัญหาหลักของการแยกวิดีโอเป็นความจริงที่เราต้องแยกวิดีโอและเพื่อตัดอีกครั้งโดยไม่สูญเสียใด ๆ synchronization.generated โดยอัตโนมัติ เช่นภาพขนาดเล็กที่แท็กได้รับคำสั่งจากปรากฏการณ์ที่เกิดขึ้นในเวลาที่เหมาะสมในวิดีโอ ถ้าผู้ใช้คลิกที่แท็ก,วิดีโอสตรีมไปโดยตรงไปยังตำแหน่งที่ตรงกัน องค์ประกอบทั้งสองคือส่วนที่ใช้บาร์แสวงหาและรายการแท็กที่มีการดำเนินการที่จะเอาชนะปัญหา UX มือถือของวิดีโอเรียกดูบนโทรศัพท์มือถือ สุดท้ายส่วนที่สามของการพัฒนาโทรศัพท์มือถือ UX มีเครื่องเล่นวิดีโอตัวเองเป็นข้อมูลของอุปกรณ์รวมทั้งขนาดของหน้าจอจะถูกส่งไปยังเมฆอัตราส่วนการซูมจำเป็นสามารถคำนวณได้ ขึ้นอยู่กับขนาดหน้าจอของอุปกรณ์
อัตราส่วนการซูมการคำนวณและขึ้นอยู่กับของวัตถุที่ตำแหน่งศูนย์กลางของสนามซูมถูกกำหนด รูปสี่เหลี่ยมผืนผ้าสีแดงเป็นสัญลักษณ์ซูมวิดีโอบุคคลทั้งสองเป็นที่ยอมรับจากผู้ให้บริการรับรู้วัตถุและดังนั้นจึงสนามซูมไว้ที่ตำแหน่งนี้ ผู้ใช้เพียงแค่เห็นส่วนหนึ่งของวิดีโอนี้และดีขึ้นสามารถมุ่งเน้นบุคคล สำหรับการใช้งานในอนาคตจําแนกเพิ่มมากขึ้นหรืออธิบายคุณลักษณะที่สามารถนำมาใช้ (เช่นฟุตบอล, ฯลฯ ) เพื่อช่วยให้การซูมภาพส่วนบุคคล.
โวลต์ เมฆบริการวิดีโอมือถือ
สถาปัตยกรรมบริการโทรศัพท์มือถือจะขึ้นอยู่กับขั้นตอนการทำงานก่อนหน้านี้ ดังแสดงในรูปที่ 3, ลูกค้ามือถือและส่วนประกอบเมฆกำลังสื่อสารกับแต่ละอื่น ๆ โดยใช้โปรโตคอลที่แตกต่างกันเพื่อวัตถุประสงค์ที่แตกต่างกัน RTP จะใช้สำหรับวิดีโอขึ้นและลงสตรีมมิ่ง ส่งข้อความขยายและโปรโตคอลการแสดงตน (XMPP) จะใช้สำหรับการแลกเปลี่ยนข้อมูลข้อมูลส่วนและข้อมูลอุปกรณ์ที่ http เป็นสิ่งจำเป็นสำหรับการถ่ายโอนไฟล์ที่ต้องการอัปโหลดวิดีโอไปยังเมฆ ตระหนักถึงฟังก์ชันการทำงานที่แตกต่างกันของการดำเนินการต่างๆ mvcs ลูกค้าจะต้อง จัดการ MP4 เป็นส่วนสำคัญของการทำงานของสตรีมมิ่งวิดีโอ ตามที่อธิบายไว้ก่อนโปรโตคอล RTP จะใช้สำหรับวิดีโอสตรีมมิ่งเพื่อให้แน่ใจว่าเข้ากันได้ดีกับเซิร์ฟเวอร์สตรีมมิ่งวิดีโอสตรีมต่างๆที่ส่งออกควรประกอบด้วยวิดีโอที่เข้ารหัสด้วยตัวแปลงสัญญาณวิดีโอ H.264 และภาชนะวิดีโอ mp4 ตัวจัดการเมตาดาต้าที่เป็นตัวจัดการที่ง่ายมาก มันจัดการเรียกของกลุ่มวิดีโอและแท็กผ่านทางเชื่อมต่อ XMPP และจะแยกวิเคราะห์ส่วน XML นอกจากนี้ก็จะส่งป้ายใหม่ผ่านการเชื่อมต่อ XMPP นอกจากนี้มันจัดการการส่งข้อมูล metadata วิดีโอเช่นชื่อและคำอธิบาย จัดการ lazylist เป็นส่วนสำคัญของประสบการณ์การใช้งานมือถือที่จะช่วยลดการถ่ายโอนข้อมูลและการใช้หน่วยความจำ
มะเดื่อ 1 เวิร์กโฟลว์ mvcs ในการประยุกต์ใช้วิดีโอมือถือจุดเวลา
นี้ทำงานได้ดีเกี่ยวกับแบนด์วิดธ์ต่ำ ตามที่อธิบายไว้ก่อนภาพขนาดเล็กที่มีความละเอียดดังกล่าวมีขนาดเล็กที่พวกเขาจะถูกโหลดอย่างรวดเร็ว นอกจากนี้รายการขี้เกียจได้รับการดำเนินการเพื่อที่จะต้องใช้แบนด์วิดธ์แม้แต่น้อยเท่านั้นที่สามารถดูได้ขณะนี้ภาพจะถูกโหลด คลิกที่ภาพเปลี่ยนเส้นทางผู้ใช้โดยตรงไปยังฉากที่สอดคล้องกันในวิดีโอ ผู้ใช้สามารถค้นหาเนื้อหาได้เร็วกว่าในการเล่นวิดีโอแบบดั้งเดิมนี้อีกครั้งช่วยเพิ่มการวางแนวทางสำหรับผู้ใช้ ถ้าผู้ใช้คลิกที่ภาพเขาถูกเปลี่ยนเส้นทางตรงไปยังจุดเวลาที่สอดคล้องกันในวิดีโอ นอกจากนี้บาร์ขอเน้นฉากในปัจจุบันและโดยอัตโนมัติเลื่อน.
มะเดื่อ 2 วิดีโอสตรีมที่กำลังอ่านข้อมูลบนพื้นฐานของการแบ่งส่วนวิดีโอและสร้างขึ้นโดยอัตโนมัติ
สองรายการแท็ก (ขวา) ประกอบด้วยคำสั่งที่ได้รับเพิ่มด้วยตนเองโดยผู้ใช้ของตัวเองโดยผู้ใช้อื่น ๆ หรือสร้างขึ้นโดยอัตโนมัติ เช่นภาพขนาดเล็กที่แท็กได้รับคำสั่งจากปรากฏการณ์ที่เกิดขึ้นในเวลาที่เหมาะสมในวิดีโอ ถ้าผู้ใช้คลิกที่แท็กวิดีโอสตรีมไปโดยตรงไปยังตำแหน่งที่ตรงกัน องค์ประกอบทั้งสองกล่าวคือส่วนตามหาบาร์และรายการแท็กที่มีการดำเนินการที่จะเอาชนะปัญหา UX มือถือของการท่องวิดีโอบนโทรศัพท์มือถือ สุดท้ายส่วนที่สามของการพัฒนาโทรศัพท์มือถือ UX มีเครื่องเล่นวิดีโอตัวเอง เป็นข้อมูลของอุปกรณ์รวมทั้งขนาดของหน้าจอจะถูกส่งไปยังเมฆอัตราส่วนการซูมจำเป็นสามารถคำนวณได้ ขึ้นอยู่กับขนาดหน้าจอของอุปกรณ์
อัตราส่วนการซูมการคำนวณและขึ้นอยู่กับของวัตถุที่ตำแหน่งศูนย์กลางของสนามซูมถูกกำหนด รูปสี่เหลี่ยมผืนผ้าสีแดงเป็นสัญลักษณ์ซูมวิดีโอ บุคคลทั้งสองเป็นที่ยอมรับจากผู้ให้บริการรับรู้วัตถุและดังนั้นจึงสนามซูมไว้ที่ตำแหน่งนี้ ผู้ใช้เพียงแค่เห็นส่วนหนึ่งของวิดีโอนี้และดีขึ้นสามารถมุ่งเน้นบุคคลสำหรับการใช้งานในอนาคตจําแนกเพิ่มมากขึ้นหรืออธิบายคุณลักษณะที่สามารถนำมาใช้ (เช่นฟุตบอล, ฯลฯ ) เพื่อช่วยให้การซูมภาพส่วนบุคคล.
การแปล กรุณารอสักครู่..
![](//thimg.ilovetranslation.com/pic/loading_3.gif?v=b9814dd30c1d7c59_8619)