OIn direct motion segmentation, the

OIn direct motion segmentation, the spatial-temporal derivatives of the image intensities help us solve the segmentation problem. In the case of pixels that obey a single 2-D translational motion, these derivatives constitute a linear subspace. In the case of pixels that obey a sing 2-D affine motion, these derivatives along with the pixel co-ordinates constitute a bilinear subspace. When the scene contains only translational motions or only affine motions, the segmentation problem reduces to one of separating linear subspaces or bilinear subspaces respectively. However, when the scene contains both kind of motions, the problem becomes one of separating linear and bilinear subspaces.
Most of the existing algorithms perform 2-D motion segmentation by assuming that the motions in the scene can be modeled by 2-D affine motion models. In theory, this is valid because the simpler 2-D translational motion model can be represented by the more general affine motion model. However, such approximations in modeling can have negative consequences. Firstly, the translational model has 2 parameters and the affine model has 6 parameters. Therefore, for each translational model in the scene, the approximation in modeling leads to the estimation of 4 extra parameters. Moreover, since the data might not be rich enough to estimate the affine motion model, the parameter estimation might be erroneous. In our research, we address the problem of segmenting scenes that contain translational motion models as well as affine motion models without making any approximations in modeling the motions of the scene.
Our method is algebraic in nature and proceeds by fitting a polynomial to the image data such that it is satisfied by all the measurements irrespective of their true grouping. The polynomial helps characterize the vanishing set of the union of the individual linear and bilinear subspaces. Since this polynomial is representative of the individual motion models, it helps us define a Multibody Brightness Constancy Constraint (MBCC). The MBCC is essentially a homogeneous polynomial in the image derivatives and pixel co-ordinates, and forms the backbone of our proposed solution. A 3x3 sub-matrix of the MBCC's hessian when evaluated at the image measurements corresponding to a pixel, helps us identify the type of motion model at the pixel. This identification essentially involves a rank check of 1 vs 3 for checking if the type of motion model is 2-D translational or 2-D affine. Once the type of motion models are identified, the algorithm uses the first order derivatives of the MBCC and their cross products to estimate the individual motion models. After estimating the motion models, we perform segmentation by assigning to each pixel the motion model that explains its motion the best. While our method has the novelty of being the first known algebraic approach to account for the different kinds of models, it also has an important theoretical contribution shows that algebraic methods of similar nature as ours would fail if an translational model is approximated by an affine motion model.
The following is a typical example of demonstrating the power of our algorithm. The scene contains one 2-D translational motion(background patch in brown) and one 2-D affine motion model(foreground patch in blue). Fitting two 2-D translational motion models obviously gives poor segmentation results since the scene is not explained comprehensively. Similarly, fitting two affine motion models gives rise to a degeneracy and the algebraic segmentation algorithm breaks down. However, when we fit one 2-D translational model and one 2-D affine model, the correct segmentation results are obtained. The results show attempts to segment the background and the pixels that do not belong to the group are marked in black.

ผลลัพธ์ (ไทย) 1:

แบ่งกลุ่มเคลื่อนไหวตรง OIn อนุพันธ์ปริภูมิขมับของการปลดปล่อยก๊าซรูปช่วยเราแก้ปัญหาแบ่ง ในกรณีของพิกเซลที่ฟังการเคลื่อนไหว translational 2 มิติเดียว ตราสารอนุพันธ์เหล่านี้ประกอบเป็น subspace เชิงเส้น ในกรณีของพิกเซลที่ฟังเคลื่อน affine 2 D สิงห์ ตราสารอนุพันธ์เหล่านี้พร้อมกับจรรยาบรรณร่วมพิกเซลเป็น bilinear subspace เมื่อฉากประกอบด้วยเพียง translational ดังหรือเฉพาะ affine ดัง ลดปัญหาแบ่งหนึ่งแยกเส้น subspaces หรือ bilinear subspaces ตามลำดับ อย่างไรก็ตาม ฉากประกอบด้วยทั้งชนิดเคลื่อนไหว ปัญหาเมื่อหนึ่งแยกเชิงเส้น และ bilinear subspacesส่วนใหญ่อัลกอริทึมที่มีอยู่ดำเนินการเคลื่อนไหว 2 มิติแบ่งโดยสมมติว่าเคลื่อนไหวในฉากสามารถสร้างแบบจำลอง ด้วยแบบจำลอง 2 มิติเคลื่อนไหว affine ในทางทฤษฎี นี้ถูกต้องเนื่องจากสามารถแสดงแบบ 2 D เคลื่อนไหว translational เรียบง่ายตามแบบ affine เคลื่อนไหวเพิ่มเติม อย่างไรก็ตาม เช่นเพียงการประมาณในการสร้างโมเดลได้ผลลบ ประการแรก แบบ translational มี 2 พารามิเตอร์ และแบบ affine มีพารามิเตอร์ 6 ดังนั้น แบบ translational ในฉาก ประมาณในโมเดลนำไปประเมินพารามิเตอร์เสริม 4 นอกจากนี้ เนื่องจากข้อมูลอาจไม่ร่ำรวยพอที่จะประเมินแบบ affine เคลื่อนไหว การประเมินพารามิเตอร์อาจพลาด งานวิจัยของเรา เราแก้ไขปัญหาของคือฉากที่ประกอบด้วยรูปแบบเคลื่อนไหว translational เป็นรูปเคลื่อนไหว affine โดยทำเพียงการประมาณการในการเคลื่อนไหวของฉากวิธีของเราคือพีชคณิตในธรรมชาติ และดำเนินการโดยพหุนามข้อมูลภาพให้มันเป็นความพึงพอใจ โดยประเมินทั้งหมดแก่กลุ่มของพวกเขาอย่างแท้จริง โพลิโนเมียช่วยลักษณะชุด vanishing ประเทศละเชิงเส้น และ bilinear subspaces เนื่องจากพหุนามนี้เป็นตัวแทนของรูปแบบการเคลื่อนไหวแต่ละ มันช่วยให้เรากำหนดเป็น Multibody ความสว่างนำข้อจำกัด (MBCC) MBCC เป็นพหุนามเหมือนในรูปตราสารอนุพันธ์และจรรยาบรรณร่วมพิกเซล และแบบแกนหลักของโซลูชันของเรานำเสนอ เมตริกซ์ย่อย 3 x 3 ของ hessian ของ MBCC เมื่อประเมินที่สอดคล้องกับพิกเซล ขนาดภาพช่วยให้เราระบุชนิดของแบบจำลองการเคลื่อนไหวที่พิกเซล รหัสนี้เป็นเกี่ยวข้องกับการตรวจสอบอันดับ 1 กับ 3 เพื่อตรวจสอบว่าชนิดของแบบจำลองการเคลื่อนไหว 2 D translational หรือ 2-D affine เมื่อชนิดของการเคลื่อนไหวที่มีระบุรุ่น อัลกอริทึมใช้อนุพันธ์ลำดับแรก MBCC และผลิตภัณฑ์ของตนข้ามเพื่อประเมินรูปแบบการเคลื่อนไหวแต่ละ หลังจากการประเมินรูปแบบการเคลื่อนไหว เราทำแบ่ง โดยกำหนดให้แต่ละพิกเซลแบบเคลื่อนไหวที่อธิบายการเคลื่อนไหวดีที่สุด ขณะนวัตกรรมของถูกวิธีรู้จักพีชคณิตแบบแรกการแตกต่างของรูปแบบวิธีการของเรา มีความสำคัญส่วนทฤษฎีแสดงว่า วิธีพีชคณิตของธรรมชาติคล้ายเราจะล้มเหลวถ้าแบบจำลอง translational จะเลียนแบบ โดยแบบจำลอง affine เคลื่อนไหวต่อไปนี้เป็นตัวอย่างทั่วไปของการเห็นพลังของอัลกอริทึมของเรา ฉากประกอบด้วยหนึ่ง 2 D translational เคลื่อนไหว (โปรแกรมแก้ไขพื้นหลังสีน้ำตาล) และหนึ่งเคลื่อนไหว affine 2 D รุ่น (ปรับปรุงพื้นหน้าเป็นสีน้ำเงิน) แน่นอนเหมาะสม 2 เคลื่อนไหว translational 2 D รุ่นให้ผลแบ่งดีตั้งแต่ฉากจะอธิบายครบถ้วน เหมือนกับ เหมาะสมรูปแบบเคลื่อนไหว affine สองก่อให้เกิดเป็นภาวะลดรูป และอัลกอริทึมการแบ่งเซกเมนต์พีชคณิตแบ่ง อย่างไรก็ตาม เมื่อเราพอดีหนึ่ง 2 D translational รูปและหนึ่ง 2 D affine ผลลัพธ์แบ่งที่ถูกต้องจะรับ ผลได้แสดงความพยายามที่จะแบ่งส่วนประกอบ และพิกเซลที่อยู่ในกลุ่มไม่ถูกทำเครื่องหมายในสีดำ

ผลลัพธ์ (ไทย) 2:

OIN การแบ่งส่วนการเคลื่อนไหวโดยตรงอนุพันธ์มิติสัมพันธ์ของความเข้มของภาพช่วยให้เราแก้ปัญหาการแบ่งส่วน ในกรณีของพิกเซลที่เชื่อฟังเดียว 2 มิติเคลื่อนไหวแปลอนุพันธ์เหล่านี้เป็นเส้นตรงสเปซ ในกรณีของพิกเซลที่เชื่อฟังร้องเพลง 2 มิติเลียนแบบการเคลื่อนไหวอนุพันธ์เหล่านี้พร้อมกับพิกเซลพิกัดเป็นสเปซบิลิแนร์ เมื่อเกิดเหตุมีเพียงการเคลื่อนไหวแปลหรือเลียนแบบการเคลื่อนไหวเพียงปัญหาการแบ่งส่วนช่วยลดให้เป็นหนึ่งในการแยก subspaces เชิงเส้นหรือบิลิแนร์ subspaces ตามลำดับ แต่เมื่อเกิดเหตุมีชนิดของการเคลื่อนไหวทั้งสองจะกลายเป็นปัญหาหนึ่งในการแยกเชิงเส้นและ bilinear subspaces.
ส่วนใหญ่ของอัลกอริทึมที่มีอยู่ดำเนินการ 2 มิติการแบ่งส่วนการเคลื่อนไหวโดยสมมติว่าการเคลื่อนไหวในที่เกิดเหตุสามารถจำลอง 2 มิติเลียนแบบการเคลื่อนไหว รุ่น ในทฤษฎีนี้ถูกต้องเพราะง่าย 2 มิติรูปแบบการเคลื่อนไหวแปลสามารถแสดงโดยรูปแบบการเคลื่อนไหวเลียนแบบทั่วไปมากขึ้น อย่างไรก็ตามการประมาณดังกล่าวในการสร้างแบบจำลองสามารถมีผลกระทบเชิงลบ ประการแรกรูปแบบการแปลมี 2 พารามิเตอร์และรูปแบบการเลียนแบบมี 6 พารามิเตอร์ ดังนั้นสำหรับแต่ละรุ่นแปลในที่เกิดเหตุประมาณในการสร้างแบบจำลองที่นำไปสู่การประมาณ 4 พารามิเตอร์เพิ่มเติม นอกจากนี้เนื่องจากข้อมูลอาจจะไม่รวยพอที่จะประเมินรูปแบบการเคลื่อนไหวเลียนแบบการประมาณค่าพารามิเตอร์ที่อาจจะผิดพลาด ในงานวิจัยของเราเราแก้ไขปัญหาการแบ่งกลุ่มของฉากที่มีรูปแบบการเคลื่อนไหวแปลเช่นเดียวกับรูปแบบการเคลื่อนไหวเลียนแบบโดยไม่ต้องทำประการใด ๆ ในการสร้างแบบจำลองการเคลื่อนไหวของฉาก.
วิธีการของเราคือพีชคณิตในธรรมชาติและรายได้โดยการปรับพหุนามกับข้อมูลภาพ ดังกล่าวว่าเป็นที่พอใจโดยการวัดทั้งหมดโดยไม่คำนึงถึงการจัดกลุ่มแท้จริงของพวกเขา ลักษณะพหุนามจะช่วยให้การตั้งค่าที่หายไปของสหภาพของแต่ละเส้นและ bilinear subspaces ตั้งแต่พหุนามนี้เป็นตัวแทนของการเคลื่อนไหวแต่ละรุ่นจะช่วยให้เรากำหนด multibody สว่างมั่นคง จำกัด (MBCC) MBCC เป็นหลักเหมือนกันพหุนามในสัญญาซื้อขายล่วงหน้าของภาพและพิกเซลพิกัดแบบฟอร์มและกระดูกสันหลังของโซลูชั่นที่นำเสนอของเรา เมทริกซ์ 3x3 ย่อยของกระสอบ MBCC เมื่อประเมินภาพการวัดที่สอดคล้องกับพิกเซลซึ่งจะช่วยให้เราสามารถระบุประเภทของรูปแบบการเคลื่อนไหวที่พิกเซล บัตรประจำตัวนี้เป็นหลักที่เกี่ยวข้องกับการตรวจสอบตำแหน่งของ 1 VS 3 สำหรับการตรวจสอบถ้าชนิดของรูปแบบการเคลื่อนไหวเป็น 2 มิติแปลหรือ 2-D เลียนแบบ เมื่อชนิดของรูปแบบการเคลื่อนไหวจะมีการระบุขั้นตอนวิธีการใช้สัญญาซื้อขายล่วงหน้าลำดับแรกของ MBCC และผลิตภัณฑ์ข้ามของพวกเขาที่จะประเมินรูปแบบการเคลื่อนไหวของแต่ละบุคคล หลังจากการประเมินรูปแบบการเคลื่อนไหวที่เราดำเนินการแบ่งส่วนโดยมอบหมายให้แต่ละพิกเซลรูปแบบการเคลื่อนไหวที่อธิบายการเคลื่อนไหวของมันที่ดีที่สุด ในขณะที่วิธีการของเรามีความแปลกใหม่ของการเป็นครั้งแรกที่รู้จักกันวิธีพีชคณิตบัญชีสำหรับชนิดที่แตกต่างกันของรูปแบบก็ยังมีผลงานทางทฤษฎีที่สำคัญแสดงให้เห็นว่าวิธีการเกี่ยวกับพีชคณิตในลักษณะเดียวกันเป็นของเราจะล้มเหลวหากรูปแบบการแปลเป็นห้วงโดยเลียนแบบการเคลื่อนไหว รูปแบบ.
ต่อไปนี้เป็นตัวอย่างที่แสดงให้เห็นโดยทั่วไปของพลังของอัลกอริทึมของเรา ฉากหนึ่งที่มี 2 มิติเคลื่อนไหวแปล (แพทช์สีน้ำตาลพื้นหลังใน) และเป็นหนึ่งใน 2 มิติแบบจำลองเลียนแบบการเคลื่อนไหว (แพทช์เบื้องหน้าสีฟ้า) ฟิตติ้งสอง 2 มิติแบบจำลองการเคลื่อนไหวแปลให้ผลลัพธ์ที่เห็นได้ชัดว่าการแบ่งส่วนที่ไม่ดีตั้งแต่เกิดเหตุไม่ได้อธิบายอย่างทั่วถึง ในทำนองเดียวกันการปรับรูปแบบการเคลื่อนไหวเลียนแบบสองก่อให้เกิดความเสื่อมและอัลกอริทึมการแบ่งส่วนแบ่งพีชคณิตลง แต่เมื่อเราพอดีหนึ่งใน 2 มิติรูปแบบแปลและเป็นหนึ่งใน 2 มิติแบบจำลองเลียนแบบผลการแบ่งส่วนที่ถูกต้องจะได้รับ ผลที่ได้แสดงความพยายามที่จะส่วนพื้นหลังและพิกเซลที่ไม่ได้อยู่ในกลุ่มที่มีการทำเครื่องหมายในสีดำ

ผลลัพธ์ (ไทย) 3:

โอยนการเคลื่อนที่โดยตรงการแบ่งส่วนตลาด อนุพันธ์ spatial-temporal ของภาพเข้มช่วยเราแก้ ) ปัญหา ในกรณีของพิกเซลที่เชื่อฟังเดียวสำหรับการเคลื่อนไหว 2 มิติ อนุพันธ์เหล่านี้เป็นการย่อยเชิงเส้น ในกรณีของพิกเซลที่เชื่อฟังร้องเพลงเลียนแบบการเคลื่อนไหว 2 มิติอนุพันธ์เหล่านี้พร้อมกับพิกเซลพิกัดเป็นเลเยอร์ย่อย .เมื่อฉากที่มีการเคลื่อนไหวแปลหรือเลียนแบบการเคลื่อนไหว , การลดปัญหาหนึ่งของการแยกเส้น subspaces หรือใช้การ subspaces ตามลำดับ อย่างไรก็ตาม เมื่อมีฉาก มีทั้งชนิดของภาพเคลื่อนไหว , ปัญหากลายเป็นหนึ่งในการแยกเลเยอร์เส้น subspaces .
ที่สุดของขั้นตอนวิธีที่มีอยู่แสดงการเคลื่อนไหว 2 มิติ โดยกำหนดว่า การเคลื่อนไหวในฉากแบบ 2 มิติ สามารถเลียนแบบการเคลื่อนไหวแบบ ในทฤษฎีนี้ถูกต้องเพราะง่ายกว่า 2-D แปลแบบเคลื่อนที่สามารถแสดงโดยทั่วไปเลียนแบบการเคลื่อนไหวแบบ อย่างไรก็ตาม เช่นการในการจำลองได้ผลเป็นลบ ประการแรกแปลได้แบบ 2 พารามิเตอร์ และเลียนแบบ แบบมีพารามิเตอร์ ดังนั้น แต่ละแห่ง โมเดล ฉาก ประมาณแบบ นำไปสู่การประมาณค่าของตัวแปรเสริม เนื่องจากข้อมูลอาจไม่ร่ำรวยพอที่จะประเมินรวมแบบเคลื่อนที่ , การประมาณค่าพารามิเตอร์ อาจจะผิดพลาด ในงานวิจัยของเราเราแก้ไขปัญหาของกลุ่มที่ประกอบด้วยรูปแบบเคลื่อนไหวแปลเป็นรูปแบบ โดยไม่มีการเลียนแบบการเคลื่อนไหวในการจำลองการเคลื่อนไหวของฉาก
วิธีของเราคือพีชคณิตในธรรมชาติ และรายได้โดยการปรับแบบให้ข้อมูลภาพเช่นว่านั้นจะพอใจ โดยทุกวัดไม่จัดกลุ่มที่แท้จริงของพวกเขาโดยช่วยวิเคราะห์หายไปตั้งของสหภาพของแต่ละเลเยอร์เส้น subspaces . เนื่องจากพหุนามนี้เป็นตัวแทนของรูปแบบการเคลื่อนไหวของบุคคล มันช่วยให้เรากำหนด multibody ความสว่างคงที่ จำกัด ( mbcc ) การ mbcc เป็นหลักเป็นพหุนามในรูปอนุพันธ์และพิกัดพิกเซล ,และรูปแบบหลักของการนำเสนอโซลูชั่น เมทริกซ์ 3x3 ย่อยของ mbcc Hessian เมื่อประเมินที่สอดคล้องกับภาพวัดเป็นพิกเซล ช่วยให้เราระบุชนิดของรูปแบบการเคลื่อนไหวที่พิกเซล ตัวนี้เป็นหลักที่เกี่ยวข้องกับการตรวจสอบอันดับ 1 vs 3 เพื่อตรวจสอบว่าประเภทของรูปแบบการเคลื่อนไหว 2 มิติ หรือ 2 มิติ เป็นภาพเลียนแบบ .เมื่อประเภทของรูปแบบการเคลื่อนไหวจะระบุขั้นตอนวิธีการใช้อนุพันธ์เพื่อแรกของ mbcc และผลิตภัณฑ์ข้ามของการประมาณการแบบจำลองการเคลื่อนไหวของแต่ละบุคคล หลังจากประเมินการเคลื่อนไหวรุ่นเราแสดงการแบ่งส่วนโดยมอบหมายให้แต่ละพิกเซลการเคลื่อนไหวแบบที่อธิบายถึงการเคลื่อนไหวของมันดีที่สุดในขณะที่วิธีการของเรามีความแปลกใหม่ของการเป็นครั้งแรกที่รู้จักพีชคณิตวิธีการบัญชีสำหรับชนิดที่แตกต่างกันของรูปแบบ นอกจากนี้ยังมีผลงานที่สำคัญแสดงให้เห็นว่าทฤษฎีพีชคณิตวิธีการธรรมชาติคล้ายของเราจะล้มเหลวหากมีแบบแปลเป็นประมาณโดยรวมเคลื่อนไหวแบบ .
ต่อไปนี้เป็นตัวอย่างทั่วไปของแสดงให้เห็นถึงพลังของ ขั้นตอนวิธีการของเราฉาก 2 มิติ เคลื่อนไหวพื้นหลัง ( มีหนึ่งสำหรับแพทช์สีน้ำตาล ) และ 2 มิติ ( เลียนแบบการเคลื่อนไหวรูปแบบแพทช์ในพื้นสีฟ้า ) พอดีสองสองมิติ เคลื่อนไหวแบบเห็นได้ชัดให้ผลการแบ่งส่วนภาพไม่ดีตั้งแต่ฉากไม่อธิบายกว้าง ในทำนองเดียวกัน กระชับสองรุ่น ให้สูงขึ้น เพื่อเลียนแบบการเคลื่อนไหวของความเสื่อมและพีชคณิต ) และแบ่งลงอย่างไรก็ตาม เมื่อเราพอดีแบบ 2 มิติ และ 2 มิติ หนึ่งภาพหนึ่งเลียนแบบรูปแบบผลลัพธ์ที่ถูกต้องจะได้รับการ . ผลลัพธ์ที่ได้แสดงให้เห็นว่าความพยายามที่จะ ส่วนพื้นหลังและพิกเซลที่ไม่ได้อยู่ในกลุ่มมีการทำเครื่องหมายในสีดำ