Abstract—In this work we present a

Abstract—In this work we present a novel framework for
the real-time interaction with 3D models in augmented virtual
reality. Our framework incorporates view-dependent stereoscopic
rendering of the reconstructed environment together with user’s
hands and a virtual object, and high-precision gesture recognition
to manipulate it. Proposed setup consists of a Creative RGB-D
camera, Oculus Rift VR head mounted display (HMD), Leap
Motion hands and fingers tracker and an AR marker. The system
is capable of augmenting the user’s hands in relation to their
point of view (POV) using the depth sensor mounted on the
HMD, and allows manipulation of the environment through the
Leap Motion sensor. The AR marker is used to determine the
location of the Leap Motion sensor to help with consolidation of
transformations between the Oculus and the Leap Motion sensor.
Combined with accurate information from the Oculus HMD, the
system is able to track the user’s head and fingers, with 6-DOF,
to provide a spatially accurate augmentation of the user’s virtual
hands. Such an approach allows us to achieve high level of user
immersion since the augmented objects occlude the user’s hands
properly; something which is not possible with conventional AR.
We hypothesize that users of our system will be able to perform
better object manipulation tasks in this particular augmented VR
setup as compared to virtual reality (VR) where user’s hands are
not visible, or if visible, always occlude virtual objects.
Index Terms—depth sensor, Oculus Rift, Leap, augmented
reality, hand tracking reconstruction, virtual reality

ผลลัพธ์ (ไทย) 1:

นามธรรมซึ่งในงานนี้ เรานำเสนองานสำหรับนวนิยายการโต้ตอบแบบทันทีกับโมเดล 3 มิติในเติมเต็มเสมือนความจริง กรอบของเราประกอบด้วยมุมมองขึ้นอยู่กับการให้ภาพสิ่งแวดล้อมร่วมกับการใช้เบ็ทสึมือ และเสมือนวัตถุ และการรู้จำท่าทางมีความแม่นยำสูงเพื่อจัดการกับมัน ตั้งเสนอประกอบด้วยการสร้างสรรค์ RGB-Dกล้อง แสดงติดหัว Oculus Rift VR (ของ HMD), กระโดดติดตามนิ้วมือและการเคลื่อนไหวและหมาย AR ระบบมีมือของผู้ใช้ในการเพิ่มความสามารถของพวกเขามอง (POV) ด้วยเซ็นเซอร์ความลึกติดตั้งอยู่ของ HMD ช่วยให้การจัดการสิ่งแวดล้อมและการกระโดดเคลื่อนไหวเซ็นเซอร์ เครื่องหมาย AR ถูกใช้เพื่อตรวจสอบการตำแหน่งของเซ็นเซอร์เคลื่อนไหวกระโดดจะช่วยให้ มีการรวมการแปลงระหว่าง Oculus และเซ็นเซอร์เคลื่อนไหวกระโดดรวมกับข้อมูลที่ถูกต้องจากของ HMD Oculus การระบบไม่สามารถติดตามผู้ใช้หัวและนิ้วมือ 6-กรมประมงการให้การเสริม spatially ถูกต้องของผู้ใช้ของเสมือนยกมือ วิธีการดังกล่าวช่วยให้เราเพื่อให้บรรลุระดับสูงของผู้ใช้แช่ตั้งแต่วัตถุเติม occlude มือของผู้ใช้อย่างถูกต้อง สิ่งที่เป็นไปไม่ได้กับปรางค์วัดอรุณธรรมดาเรา hypothesize ที่ผู้ใช้ระบบของเราจะสามารถดำเนินการงานการจัดการวัตถุดีกว่าใน VR ออกเมนต์นี้โดยเฉพาะติดตั้งเมื่อเทียบกับโลกเสมือนจริง (VR) ที่มือของผู้ใช้ไม่สามารถมองเห็นได้ หรือถ้ามองเห็นได้ เสมอ occlude วัตถุเสมือนกำหนดดัชนี — ความลึกเซ็นเซอร์ Oculus Rift กระโดด เติมเต็มความจริง มือติดตามฟื้นฟู เสมือนจริง

ผลลัพธ์ (ไทย) 2:

บทคัดย่อในการทำงานนี้เรานำเสนอกรอบนวนิยายสำหรับ
การปฏิสัมพันธ์เวลาจริงกับแบบจำลอง 3 มิติเสมือนจริงในการเติม
ความเป็นจริง กรอบการทำงานของเราประกอบด้วยมุมมองสามมิติขึ้นอยู่กับ
การแสดงผลของสภาพแวดล้อมใหม่ร่วมกับผู้ใช้
มือและวัตถุเสมือนจริงและรับรู้ท่าทางมีความแม่นยำสูง
ในการจัดการกับมัน การตั้งค่าที่นำเสนอประกอบด้วยสร้างสรรค์ RGB-D
กล้อง Oculus Rift VR หัวติดตั้งจอแสดงผล (HMD) Leap
เคลื่อนไหวมือและนิ้วมือติดตามและเครื่องหมาย AR ระบบ
มีความสามารถในการเพิ่มมือของผู้ใช้ในความสัมพันธ์กับพวกเขา
ในมุมมอง (POV) โดยใช้เซ็นเซอร์ความลึกติดตั้งอยู่บน
HMD และช่วยให้การจัดการสิ่งแวดล้อมผ่าน
เซ็นเซอร์ Leap Motion เครื่องหมาย AR จะใช้ในการตรวจสอบ
สถานที่ตั้งของเซ็นเซอร์ Leap Motion เพื่อช่วยให้มีการรวมของ
การเปลี่ยนแปลงระหว่าง Oculus และเซ็นเซอร์ Leap Motion.
รวมกับข้อมูลที่ถูกต้องจาก Oculus HMD ที่
ระบบสามารถติดตามหัวของผู้ใช้และนิ้วมือ 6-DOF,
เพื่อให้มีการเสริมสันนิฐานที่ถูกต้องเสมือนของผู้ใช้
มือ วิธีการดังกล่าวจะช่วยให้เราประสบความสำเร็จระดับสูงของผู้ใช้
แช่ตั้งแต่วัตถุเติมจุกมือของผู้ใช้
อย่างถูกต้อง; สิ่งที่เป็นไปไม่ได้กับ AR ธรรมดา.
เราตั้งสมมติฐานว่าผู้ใช้ระบบของเราจะสามารถที่จะดำเนิน
งานการจัดการวัตถุที่ดีขึ้นในเรื่องนี้โดยเฉพาะ VR เติม
ตั้งค่าเมื่อเทียบกับความเป็นจริงเสมือน (VR) ที่อยู่ในมือของผู้ใช้อยู่
ไม่สามารถมองเห็นหรือถ้าสามารถมองเห็นได้ เสมอจุกวัตถุเสมือน.
เซ็นเซอร์ดัชนีข้อตกลงเชิงลึก Oculus Rift กระโดดเติม
ความเป็นจริงมือการติดตามการฟื้นฟูความเป็นจริงเสมือน

ผลลัพธ์ (ไทย) 3:

บทคัดย่อในงานนี้เรานำกรอบใหม่สำหรับปฏิสัมพันธ์เวลาจริงกับโมเดล 3 มิติเสมือนในปริซึมความเป็นจริง กรอบของเราประกอบด้วยมุมมองแบบสามมิติการแสดงผลของการฟื้นฟูสิ่งแวดล้อมร่วมกับผู้ใช้มือและวัตถุเสมือนจริง และท่าทางการรับรู้ที่มีความแม่นยำสูงเพื่อจัดการกับมัน เสนอการติดตั้งประกอบด้วย rgb-d สร้างสรรค์กล้อง , หัวระแหง VR ช่องตาติดแสดง ( HMD ) , กระโดดมือและนิ้วมือติดตามการเคลื่อนไหวและเครื่องหมาย ar . ระบบคือความสามารถของการ augmenting มือของผู้ใช้ในความสัมพันธ์ของพวกเขามุมมอง ( POV ) โดยใช้อุปกรณ์วัดความลึกติดตั้งบนHMD และช่วยให้การจัดการสิ่งแวดล้อมผ่านเผ่นจับความเคลื่อนไหว เครื่องหมาย AR ใช้กำหนดสถานที่ตั้งของเผ่นเซ็นเซอร์การเคลื่อนไหวเพื่อช่วยให้มีการรวมการแปลงระหว่างโอและกระโดดเคลื่อนไหวเซ็นเซอร์รวมกับข้อมูลที่ถูกต้องจาก HMD โอ ,ระบบสามารถติดตามหัวของผู้ใช้และ 6-dof นิ้วมือด้วย ,เพื่อให้มีการเปลี่ยนที่ถูกต้องของผู้ใช้เสมือนมือ วิธีการดังกล่าวจะช่วยให้เราเพื่อให้บรรลุระดับของผู้ใช้แช่ตั้งแต่เติมวัตถุปิดมือของผู้ใช้อย่างถูกต้อง ; สิ่งที่เป็นไปไม่ได้กับ AR ธรรมดาเราพบว่าผู้ใช้ของระบบของเราจะสามารถดำเนินการงานการจัดการวัตถุที่ดีขึ้นใน นี้โดยเฉพาะ ปริซึม วีอาร์การตั้งค่าเมื่อเทียบกับความเป็นจริงเสมือน ( VR ) ที่มือของผู้ใช้เป็นมองไม่เห็น หรือถ้าเห็นก็ปิดวัตถุเสมือนศัพท์ดรรชนีความลึกเซ็นเซอร์ โอระแหง , กระโดด , ปริซึมความเป็นจริงมือติดตามการก่อสร้างเสมือนจริง