We present a novel framework for jo

We present a novel framework for jointly tracking a camera in 3D and reconstructing the 3D model of an observed object. Due to the region based approach, our formulation can handle untextured objects, partial occlusions, motion blur, dynamic backgrounds and imperfect lighting. Our formulation also allows for a very efficient implementation which achieves real-time performance on a mobile phone, by running the pose estimation and the shape optimisation in parallel. We use a level set based pose estimation but completely avoid the, typically required, explicit computation of a global distance. This leads to tracking rates of more than 100 Hz on a desktop PC and 30 Hz on a mobile phone. Further, we incorporate additional orientation information from the phone's inertial sensor which helps us resolve the tracking ambiguities inherent to region based formulations. The reconstruction step first probabilistically integrates 2D image statistics from selected keyframes into a 3D volume, and then imposes coherency and compactness using a total variational regularisation term. The global optimum of the overall energy function is found using a continuous max-flow algorithm and we show that, similar to tracking, the integration of per voxel posteriors instead of likelihoods improves the precision and accuracy of the reconstruction.

ผลลัพธ์ (ไทย) 1:

เรานำเสนองานนวนิยายสำหรับร่วมติดตามกล้องใน 3D และฟื้นฟูแบบ 3 มิติของวัตถุที่สังเกตได้ จากการภูมิภาคที่ใช้ สูตรของเราสามารถจัดการวัตถุ untextured, occlusions บางส่วน เบลอเคลื่อนไหว พื้นหลังแบบไดนามิกและไฟไม่สมบูรณ์ สูตรของเรายังช่วยให้การใช้งานที่มีประสิทธิภาพซึ่งให้ประสิทธิภาพการทำงานแบบเรียลไทม์บนโทรศัพท์มือถือ ทำงานก่อให้เกิดการประเมินและการปรับแต่งรูปทรงขนาน เราใช้ประเมินระดับท่าตามที่กำหนด แต่ทั้งหมดหลีกเลี่ยง คำนวณโดยทั่วไปต้อง ชัดเจนทั่วโลก นี้นำไปสู่การติดตามราคาพิเศษบนเดสก์ท็อปพีซีมากกว่า 100 Hz และ 30 Hz บนโทรศัพท์มือถือ ต่อไป เรารวมแนวเพิ่มเติมข้อมูลจากเซ็นเซอร์เฉื่อยของโทรศัพท์ซึ่งช่วยให้เราแก้ไขการติดตามสู่การงงงวยอยู่ภูมิภาคตามสูตร ขั้นตอนการบูรณะครั้งแรก probabilistically รวมสถิติภาพ 2D จากเฟรมที่เลือกลงในไดรฟ์ข้อมูล 3D แล้ว กำหนดความและกะทัดรัดใช้คำ regularisation variational รวม พบสูงสุดทั่วโลกของฟังก์ชันพลังงานโดยรวมโดยใช้อัลกอริทึมการไหลสูงสุดอย่างต่อเนื่อง และเราแสดงว่า เช่นเดียวกับการติดตาม การรวมต่อว็อกเซล posteriors แทน likelihoods ช่วยเพิ่มความแม่นยำและความถูกต้องของการฟื้นฟู

ผลลัพธ์ (ไทย) 2:

เรานำเสนอกรอบนวนิยายสำหรับการร่วมกันติดตามกล้องใน 3 มิติและการฟื้นฟูรูปแบบ 3 มิติของวัตถุที่สังเกต เนื่องจากภูมิภาคตามวิธีการที่กำหนดของเราสามารถจัดการกับวัตถุ untextured, occlusions บางส่วนเคลื่อนไหวเบลอ, พื้นหลังแบบไดนามิกและแสงที่ไม่สมบูรณ์ สูตรของเรายังช่วยให้การดำเนินงานมีประสิทธิภาพมากที่ประสบความสำเร็จในการปฏิบัติงานในเวลาจริงบนโทรศัพท์มือถือโดยใช้การประมาณค่าและก่อให้เกิดการเพิ่มประสิทธิภาพของรูปทรงในแบบคู่ขนาน เราใช้ชุดในระดับที่ก่อให้เกิดการประมาณค่าตาม แต่สมบูรณ์หลีกเลี่ยงที่โดยปกติจำเป็นต้องคำนวณอย่างชัดเจนของระยะทางทั่วโลก นี้นำไปสู่​​การติดตามอัตรามากกว่า 100 เฮิร์ตซ์ในเครื่องคอมพิวเตอร์เดสก์ทอปและ 30 เฮิร์ตซ์บนโทรศัพท์มือถือ นอกจากนี้เรารวมข้อมูลการวางแนวทางเพิ่มเติมจากเซ็นเซอร์เฉื่อยของโทรศัพท์ซึ่งจะช่วยให้เราแก้ไขงงงวยติดตามโดยธรรมชาติไปยังภูมิภาคตามสูตร ขั้นตอนการฟื้นฟูครั้งแรก probabilistically รวมสถิติภาพ 2D จากคีย์เฟรมเลือกลงในปริมาณ 3D แล้วเรียกเก็บการเชื่อมโยงกันและความเป็นปึกแผ่นใช้รวมระยะกูแปรผัน ที่ดีที่สุดทั่วโลกของฟังก์ชั่นพลังงานโดยรวมพบว่าใช้วิธี Max-ไหลอย่างต่อเนื่องและเราแสดงให้เห็นว่าคล้ายกับการติดตามบูรณาการต่อ voxel posteriors แทนควรจะเป็นช่วยเพิ่มความแม่นยำและความถูกต้องของการฟื้นฟู

ผลลัพธ์ (ไทย) 3:

เราเสนอกรอบใหม่เพื่อร่วมติดตามกล้องใน 3 มิติและสร้างแบบจำลอง 3 มิติของการตรวจสอบวัตถุ เนื่องจากภูมิภาคตามแนวคิด การกำหนดของเราสามารถจัดการ untextured วัตถุบางส่วน occlusions เคลื่อนไหวเบลอพื้นหลังแบบไดนามิกและแสงที่ไม่สมบูรณ์ สูตรของเรายังช่วยให้มีประสิทธิภาพมากขึ้นการดำเนินงานที่ใช้งานจริงบนโทรศัพท์มือถือ โดยจะก่อให้เกิดการประมาณค่าและรูปร่างที่เหมาะสมในแบบคู่ขนาน เราใช้ระดับการโพสตาม แต่ชุดสมบูรณ์หลีกเลี่ยงโดยทั่วไปที่ต้องการการคำนวณที่ชัดเจนของระยะห่างของโลก นี้นำไปสู่การติดตามอัตรามากกว่า 100 Hz ในเครื่องคอมพิวเตอร์เดสก์ทอป 30 Hz และบนโทรศัพท์มือถือ เพิ่มเติม เรารวมข้อมูลปฐมนิเทศเพิ่มเติมจากโทรศัพท์แบบเซ็นเซอร์ซึ่งจะช่วยให้เราแก้ปัญหาติดตาม ambiguities ในภูมิภาคตามสูตร . การฟื้นฟูขั้นตอนแรก probabilistically รวมภาพ 2D จากสถิติ keyframes เข้าไปเลือกระดับเสียง 3 มิติ แล้วรับสั่งเรียกและความเป็นปึกแผ่นโดยใช้คํา regularisation แบบรวม โลกที่เหมาะสมของฟังก์ชันพลังงานโดยรวมจะพบว่าโดยการใช้ขั้นตอนวิธีการไหลสูงสุดอย่างต่อเนื่อง และเราแสดงให้เห็นว่าคล้ายคลึงกับการติดตามการบูรณาการต่อว็อกเซล posteriors แทน likelihoods ช่วยเพิ่มความแม่นยำและความถูกต้องของการก่อสร้าง