To illustrate our approach, conside

To illustrate our approach, consider the action of a person checking a watch seen from
frontal view (Fig. 1). This action can be characterized by the upward movement of the
hand and upper arm during the early part of the action (to bring the watch to a readable
distance) and the downward movement of the same body parts at the end of the action.
We can imagine encoding these body part movements with a cluster of flow vectors,
where each cluster explains some portion of the total flow across the video. We denote
these clusters as flow words. In the check-watch example, the upward hand movement
might be mapped to a single flow word. That word would be present in the first half of
the frames and absent in the other half (when the hand moves downward).
Given a set of extracted flow words, our goal is to represent an action by encoding
the pattern of temporal occurrence of the flow words. In the example of Fig. 1, the green
and cyan words occur early in the action (when the hand and upper arm are raised)
while the blue and magenta words occur later in the action. We construct an MPH for
each flow word which encodes its dynamics.
We now describe the process of constructing the MPH representation. We assume
that the video is captured using a static camera (we relax this assumption in Section
3.2). First we compute dense optical flow over the video clip. Then, we use EM to
cluster together the flow vectors from all frames based only on the flow direction (we
only consider flow vectors whose magnitudes are above a certain threshold). Each flowcluster defines a single flow word. In Figure 1(a)-1(b) we can see the flows color-coded
according to the five flow words.We then generate an MPH for each of the flow clusters
by binning the flow vectors. Each bin t in the MPH hc corresponds to frame number t,
and contains the sum of flow magnitudes for all pixel flows f that corresponds to cluster
c in that frame. Let mc denote the set of flow vectors that map to cluster c:

ผลลัพธ์ (ไทย) 1:

เพื่อแสดงวิธีการของเรา พิจารณาการกระทำของผู้ชมที่เห็นจากการตรวจสอบหน้าผากมุมมอง (Fig. 1) การดำเนินการนี้สามารถเป็นลักษณะการเคลื่อนที่ขึ้นของการมือและแขนในช่วงแรก ๆ ของการกระทำ (เพื่อให้ดูการอ่านห่างจากที่พัก) และการเคลื่อนไหวลงของส่วนของร่างกายเดียวกันในตอนท้ายของการดำเนินการเราสามารถจินตนาการเคลื่อนไหวร่างกายส่วนหนึ่งกับคลัสเตอร์ของเวกเตอร์กระแส การเข้ารหัสซึ่งแต่ละคลัสเตอร์อธิบายบางส่วนของขั้นตอนรวมทั้งวิดีโอ เราแสดงคลัสเตอร์เหล่านี้เป็นคำกระแส ตัวอย่างเครื่องนาฬิกา การเคลื่อนไหวมือขึ้นอาจแมปเป็นคำกระแสเดียว คำนั้นจะอยู่ในครึ่งแรกเฟรม และขาดในอีกครึ่งหนึ่ง (เมื่อมือเลื่อนลง)กำหนดชุดของขั้นตอนการแยกคำ เป้าหมายของเราคือการ แสดงถึงการดำเนินการ โดยการเข้ารหัสรูปแบบของเหตุการณ์ชั่วคราวคำไหล ในตัวอย่างของ Fig. 1 สีเขียวและคำสีเกิดขึ้นในช่วงการดำเนินการ (เมื่อมือและแขนจะยก)ในขณะที่คำสีฟ้า และม่วงเกิดขึ้นในการดำเนินการ เราสร้างมีความเร็วในแต่ละคำกระแสที่จแมป dynamics ของตอนนี้เราอธิบายกระบวนการของการสร้างตัวแทนความเร็ว เราคิดว่าว่า การจับภาพวิดีโอโดยใช้กล้องแบบคงที่ (เราพักผ่อนนี้อัสสัมชัญในส่วน3.2) ก่อน คำนวณกระแสหนาแน่นออปติคอลผ่านวิดีโอคลิป จากนั้น เราใช้ EM เพื่อคลัสเวกเตอร์กระแสจากเฟรมทั้งหมดยึดตามทิศทางการไหล (เราเท่ากันonly consider flow vectors whose magnitudes are above a certain threshold). Each flowcluster defines a single flow word. In Figure 1(a)-1(b) we can see the flows color-codedaccording to the five flow words.We then generate an MPH for each of the flow clustersby binning the flow vectors. Each bin t in the MPH hc corresponds to frame number t,and contains the sum of flow magnitudes for all pixel flows f that corresponds to clusterc in that frame. Let mc denote the set of flow vectors that map to cluster c:

ผลลัพธ์ (ไทย) 2:

เพื่อแสดงให้เห็นวิธีการของเราให้พิจารณาการกระทำของบุคคลที่ตรวจสอบนาฬิกาที่มองเห็นได้จากมุมมองด้านหน้า (รูปที่ 1).
การดำเนินการนี้สามารถที่โดดเด่นด้วยการเคลื่อนไหวขึ้นของมือและแขนในช่วงแรกของการดำเนินการ(ที่จะนำนาฬิกาไปอ่านได้ระยะทาง) และการเคลื่อนไหวลดลงของส่วนต่างๆของร่างกายเช่นเดียวกันในตอนท้ายของการดำเนินการ. เราสามารถ จินตนาการการเข้ารหัสการเคลื่อนไหวส่วนหนึ่งของร่างกายเหล่านี้กับกลุ่มของเวกเตอร์ไหลที่แต่ละกลุ่มอธิบายส่วนหนึ่งของการไหลรวมบางทั่ววิดีโอ เราแสดงว่ากลุ่มเหล่านี้เป็นคำไหล ในตัวอย่างเช็คดูการเคลื่อนไหวมือขึ้นอาจจะมีการแมปไปยังคำไหลเดียว คำว่าจะอยู่ในช่วงครึ่งแรกของเฟรมและไม่อยู่ในอีกครึ่งหนึ่ง (เมื่อมือย้ายลง). ได้รับชุดของการสกัดคำไหลเป้าหมายของเราคือการเป็นตัวแทนของการกระทำโดยการเข้ารหัสรูปแบบของการเกิดขึ้นชั่วคราวของคำไหล ในตัวอย่างของรูป 1, สีเขียวคำและสีฟ้าที่เกิดขึ้นในช่วงต้นในการดำเนินการ(เมื่อมือและแขนถูกยกสูงขึ้น) ในขณะที่คำพูดของสีฟ้าและสีม่วงแดงเกิดขึ้นต่อไปในการดำเนินการ เราสร้างไมล์ต่อชั่วโมงสำหรับแต่ละคำไหลที่เข้ารหัสการเปลี่ยนแปลงของ. ตอนนี้เราอธิบายขั้นตอนในการสร้างการแสดงที่ไมล์ต่อชั่วโมง เราคิดว่าวิดีโอถูกจับใช้กล้องแบบคงที่ (เราผ่อนคลายสมมติฐานนี้ในข้อ 3.2) ครั้งแรกที่เราคำนวณการไหลของแสงหนาแน่นมากกว่าวิดีโอคลิป จากนั้นเราจะใช้อีเอ็มในการจัดกลุ่มเข้าด้วยกันเวกเตอร์ไหลจากเฟรมทั้งหมดขึ้นอยู่เฉพาะในทิศทางการไหล(เราจะพิจารณาการไหลของเวกเตอร์ที่มีขนาดสูงกว่าเกณฑ์ที่กำหนด) flowcluster แต่ละกำหนดคำไหลเดียว ในรูปที่ 1 (ก) -1 (ข) เราสามารถมองเห็นสีกระแสตามที่ห้าwords.We ไหลแล้วสร้างไมล์ต่อชั่วโมงสำหรับแต่ละกลุ่มการไหลโดยbinning เวกเตอร์ไหล แต่ละทีถังใน HC ไมล์ต่อชั่วโมงสอดคล้องกับกรอบเสื้อหมายเลขและมีผลรวมของการเคาะไหลพิกเซลสำหรับทุกฉไหลที่สอดคล้องกับกลุ่มคอยู่ในกรอบที่ ให้พิธีกรแสดงว่าชุดของเวกเตอร์ไหลที่แมปไปยังกลุ่ม C:

ผลลัพธ์ (ไทย) 3:

แสดงให้เห็นถึงวิธีการของเรา พิจารณาการกระทำของบุคคล การตรวจสอบนาฬิกาเห็นจาก
ดูหน้าผาก ( รูปที่ 1 ) การกระทำนี้จะถูกกำหนดโดยการเคลื่อนไหวของมือและแขน
ขึ้นในระหว่างส่วนแรกของการกระทำ ( เพื่อนำชมระยะทางอ่าน
) และลงการเคลื่อนไหวของร่างกายส่วนเดียวกันในตอนท้ายของการกระทำ
เราสามารถจินตนาการการเข้ารหัสเหล่านี้ร่างกายส่วนการเคลื่อนไหวด้วยกลุ่มของเวกเตอร์ไหล
ที่แต่ละกลุ่มอธิบายบางส่วนของการไหลรวมผ่านวิดีโอ เราหมายถึง
กลุ่มเหล่านี้เป็นคำไหล ในการตรวจสอบ ดู เช่น
การเคลื่อนไหวมือขึ้นอาจจะแมปไปยังคำไหลเดี่ยว คำที่อาจจะอยู่ในช่วงครึ่งแรกของ
เฟรมและไม่อยู่ในครึ่งอื่น ๆ ( เมื่อมือเลื่อนลง ) .
ได้รับชุดของคำไหล สกัด เป้าหมายของเราคือการ แสดงการกระทำโดย
แบบแผนของการเกิดการไหลของคำและตัวอักษร ในตัวอย่างของรูปที่ 1 , สีเขียวและสีฟ้า
คำเกิดขึ้นในช่วงต้นของการกระทำ ( เมื่อมือและแขนถูกยกขึ้น )
ในขณะที่ข้อความสีฟ้าและสีม่วงแดงเกิดขึ้นในภายหลังในการกระทำเราสร้างข้อมูลสำหรับแต่ละคำที่ encodes ของไหล

ตอนนี้เราใช้ อธิบายถึงกระบวนการของการสร้างข้อมูลตัวแทน เราถือว่า
ว่าวิดีโอจับโดยใช้กล้องแบบคงที่ ( เราผ่อนคลายสมมติฐานนี้ในส่วน
3.2 ) ครั้งแรกที่เราคำนวณการไหลของแสงที่หนาแน่นกว่าคลิป แล้วเราใช้เอ็ม

กลุ่มด้วยกันการไหลเวกเตอร์จากเฟรมยึดเฉพาะทิศทางการไหล ( เรา
พิจารณาไหลเวกเตอร์ที่มีขนาดสูงกว่าเกณฑ์บางอย่าง ) แต่ละ flowcluster นิยามคำไหลเดี่ยว ในรูปที่ 1 ( a ) - 1 ( B ) เราสามารถเห็นไหลสีรหัส
ตามห้าไหลคำ เราจึงสร้างความเร็วของแต่ละกระแสกลุ่ม
โดยบินนิ่งไหลเวกเตอร์แต่ละ bin T ใน mph HC สอดคล้องกับกรอบหมายเลข T
และประกอบด้วยผลรวมของการไหล f พิกเซลขนาดทั้งหมดที่สอดคล้องกับกลุ่ม
c ในกรอบ ขอ MC แทนชุดของเวกเตอร์ที่แผนที่ของกลุ่ม C :