Figure 1: The Augmented Reality San

Figure 1: The Augmented Reality Sandbox in its natural habitat. Left: Sandbox unit when turned off. The Kinect 3D camera and the digital projector are suspended above the sandbox proper from the pole attached to the back. Right: Sandbox table when turned on, showing a mountain with a crater lake, surrounded by several lower lakes.
Project Goals

The goal of this project was to develop a real-time integrated augmented reality system to physically create topography models which are then scanned into a computer in real time, and used as background for a variety of graphics effects and simulations. The final product is supposed to be self-contained to the point where it can be used as a hands-on exhibit in science museums with little supervision.
Project Details

The sandbox hardware was built by project specialist Peter Gold of the UC Davis Department of Geology. The driving software is based on the Vrui VR development toolkit and the Kinect 3D video processing framework, and is available for download under the GNU General Public License.
Raw depth frames arrive from the Kinect camera at 30 frames per second and are fed into a statistical evaluation filter with a fixed configurable per-pixel buffer size (currently defaulting to 30 frames, corresponding to 1 second delay), which serves the triple purpose of filtering out moving objects such as hands or tools, reducing the noise inherent in the Kinect's depth data stream, and filling in missing data in the depth stream. The resulting topographic surface is then rendered from the point of view of the data projector suspended above the sandbox, with the effect that the projected topography exactly matches the real sand topography. The software uses a combination of several GLSL shaders to color the surface by elevation using customizable color maps (the default color map used right now was provided by M. Burak Yikilmaz, a post-doc in the UC Davis Department of Geology), and to add real-time topographic contour lines.

At the same time, a water flow simulation based on the Saint-Venant set of shallow water equations, which are a depth-integrated version of the set of Navier-Stokes equations governing fluid flow, is run in the background using another set of GLSL shaders. The simulation is an explicit second-order accurate time evolution of the hyperbolic system of partial differential equations, using the virtual sand surface as boundary conditions. The implementation of this method follows the paper "a second-order well-balanced positivity preserving central-upwind scheme for the Saint-Venant system" by A. Kurganov and G. Petrova, using a simple viscosity term, open boundary conditions at the edges of the grid, and a second-order strong stability-preserving Runge-Kutta temporal integration step. The simulation is run such that the water flows exactly at real speed assuming a 1:100 scale factor, unless turbulence in the flow forces too many integration steps for the driving graphics card (currently an Nvidia Geforce 580) to handle.

Project News

The AR Sandbox is slowly gaining traction, with many unaffiliated users building their own versions (see pictures or movies of a select few on the External Installations page). To support the budding AR Sandbox user community, we now have an official AR Sandbox support forum on the Lake Visualization 3D web site where users can help each other or provide feedback to us.
The AR Sandbox support forum also contains detailed step-by-step software installation instructions aimed at new Linux users, and a video showing the entire process.

Publications

Reed, S., Kreylos, O., Hsi, S., Kellogg, L., Schladow, G., Yikilmaz, M.B., Segale, H., Silverman, J., Yalowitz, S., and Sato, E., Shaping Watersheds Exhibit: An Interactive, Augmented Reality Sandbox for Advancing Earth Science Education, American Geophysical Union (AGU) Fall Meeting 2014, Abstract no. ED34A-01
Pages In This Section

Pictures
Some pictures showing the evolving augmented reality sandbox prototype.
Movies
Some movies showing the evolving augmented reality sandbox prototype, and several tutorial videos showing how to build your own AR sandbox.
Download
Download page for the current release of the software driving the augmented reality sandbox, released under the GNU General Public License.
Instructions
Purchase, construction, setup, and calibration instructions for an Augmented Reality (AR) Sandbox.
External Installations
List of external users who built their own augmented reality sandboxes, based on our software and designs.

ผลลัพธ์ (ไทย) 1:

รูปที่ 1: การออกเมนต์จริง Sandbox ในอยู่อาศัยตามธรรมชาติ ซ้าย: หน่วย Sandbox เมื่อปิด กล้อง Kinect 3D และเครื่องฉายดิจิตอลถูกระงับเหนือ sandbox ที่เหมาะสมจากเสาแนบกับด้านหลัง ขวา: Sandbox เมื่อเปิด แสดงกับทะเลสาบปล่องภูเขาไฟ ล้อมรอบ ด้วยทะเลสาบหลายล่างเป้าหมายของโครงการเป้าหมายของโครงการนี้คือการ พัฒนาระบบแบบเรียลไทม์รวมความเป็นจริงเพื่อสร้างแบบจำลองภูมิประเทศแล้วสแกนเข้าคอมพิวเตอร์ในเวลาจริง และใช้เป็นพื้นหลังสำหรับลักษณะพิเศษกราฟิกและจำลอง ทางกายภาพ ผลิตภัณฑ์ขั้นสุดท้ายควรจะมีจุดที่สามารถใช้เป็นแสดงอีกในพิพิธภัณฑ์วิทยาศาสตร์มีการดูแลน้อยรายละเอียดโครงการฮาร์ดแวร์ sandbox ถูกสร้างขึ้น โดยผู้เชี่ยวชาญโครงการโกลด์ปีเตอร์ UC Davis แผนกของธรณีวิทยา ซอฟแวร์ขับขึ้นอยู่กับเครื่องมือพัฒนา Vrui VR และกรอบงานของการประมวลผลวิดีโอ 3D Kinect และได้ภายใต้สัญญาอนุญาตสาธารณะทั่วไปของกนูในRaw depth frames arrive from the Kinect camera at 30 frames per second and are fed into a statistical evaluation filter with a fixed configurable per-pixel buffer size (currently defaulting to 30 frames, corresponding to 1 second delay), which serves the triple purpose of filtering out moving objects such as hands or tools, reducing the noise inherent in the Kinect's depth data stream, and filling in missing data in the depth stream. The resulting topographic surface is then rendered from the point of view of the data projector suspended above the sandbox, with the effect that the projected topography exactly matches the real sand topography. The software uses a combination of several GLSL shaders to color the surface by elevation using customizable color maps (the default color map used right now was provided by M. Burak Yikilmaz, a post-doc in the UC Davis Department of Geology), and to add real-time topographic contour lines.ในเวลาเดียวกัน มีรันการจำลองกระแสน้ำตามชุด Saint Venant สมการน้ำตื้น ที่ซึ่งมีรุ่นความลึกรวมของชุดของ Navier-สโตกส์ควบคุมการไหลของเหลว เบื้องหลังการใช้ชุดอื่นของ GLSL shaders การจำลองเป็นวิวัฒนาการที่สองสั่งชัดเจนเวลาถูกต้องของระบบไฮเพอร์โบลิของสมการเชิงอนุพันธ์บางส่วน ผิวทรายเสมือนโดยใช้เงื่อนไขขอบเขต วิธีนี้ปฏิบัติตามกระดาษ "คำสั่งสองสมดุล positivity รักษาโครงร่างกลาง upwind สำหรับระบบ Saint Venant" โดย A. Kurganov และ Petrova กรัม ใช้คำความหนืดง่าย เปิดเงื่อนไขขอบที่ขอบของตาราง และสองสั่งแข็งแรงรักษาเสถียรภาพ Runge Kutta ขมับรวมขั้นตอน รันการจำลองให้น้ำไหลตรงที่ความเร็วจริงที่สมมติว่าตัวมาตราส่วน 1: 100 เว้นแต่ว่าความปั่นป่วนในการไหลบังคับรวมขั้นตอนที่มากเกินไปสำหรับขับกราฟิกการ์ด (ปัจจุบันเป็น Nvidia Geforce 580) การจัดการข่าวโครงการAR Sandbox จะดึงดูดช้า ๆ ลาก กับผู้ใช้กลุ่มต่าง ๆ ที่สร้างรุ่นของตนเอง (ดูรูปภาพหรือภาพยนตร์กี่เลือกหน้าติดตั้งภายนอก) เพื่อสนับสนุนชุมชนผู้ใช้ AR Sandbox ครอบครอง ตอนนี้เรามีเวทีสนับสนุน AR Sandbox เป็นทางบนแสดงภาพประกอบเพลงเล 3D เว็บไซต์ที่ผู้ใช้สามารถช่วยเหลือ หรือให้คำติชมเราฟอรั่มสนับสนุน AR Sandbox ยังประกอบด้วยคำแนะนำการติดตั้งซอฟต์แวร์รายละเอียดทีละขั้นตอนที่ผู้ใช้ Linux ใหม่ และวิดีโอแสดงกระบวนการทั้งหมดสื่อสิ่งพิมพ์กก S., Kreylos โอ Hsi, S. บี., L., Schladow กรัม Yikilmaz, M.B., Segale, H. รับ เจ Yalowitz, S. และ ซา E. สร้างรูปร่างรูปธรรมแสดง: อันโต้ตอบ ออกเมนต์ Sandbox จริงสำหรับความก้าวหน้าวิทยาศาสตร์โลกศึกษา ตกอเมริกันธรณีสหภาพ (AGU) ประชุม 2014 บทคัดย่อไม่ ED34A-01หน้าในส่วนนี้รูปภาพบางภาพแสดงแบบตัวอย่าง sandbox ความเป็นจริงที่เกิดขึ้นภาพยนตร์ภาพยนตร์บางแสดงการวิวัฒนาการออกเมนต์จริงต้นแบบ sandbox และวิดีโอบทสอนหลายที่แสดงวิธีการสร้างของ sandbox ARดาวน์โหลดดาวน์โหลดหน้าสำหรับรุ่นปัจจุบันของซอฟต์แวร์ sandbox ความเป็นจริง นำออกใช้ภายใต้สัญญาอนุญาตสาธารณะทั่วไปของกนูขับรถคำแนะนำคำสั่งซื้อ ก่อสร้าง ติดตั้ง และการปรับเทียบสำหรับการ Sandbox จริงที่ออกเมนต์ (AR)ติดตั้งภายนอกรายการของผู้ใช้ภายนอกที่สร้างเองออกเมนต์จริง sandboxes ซอฟต์แวร์และออกแบบของเรา

ผลลัพธ์ (ไทย) 2:

รูปที่ 1: ความเป็นจริง Augmented Sandbox ในที่อยู่อาศัยตามธรรมชาติของมัน ซ้าย: หน่วย Sandbox เมื่อปิด กล้อง 3D Kinect และเครื่องฉายดิจิตอลถูกระงับดังกล่าวข้างต้น sandbox ที่เหมาะสมจากเสาที่ติดอยู่กับด้านหลัง ขวา:. ตาราง Sandbox
เมื่อเปิดแสดงภูเขาทะเลสาบปล่องภูเขาไฟที่ล้อมรอบด้วยทะเลสาบที่ต่ำกว่าหลายเป้าหมายโครงการเป้าหมายของโครงการนี้คือการพัฒนาในเวลาจริงแบบบูรณาการเพิ่มระบบความเป็นจริงทางร่างกายสร้างแบบจำลองภูมิประเทศที่มีการสแกนแล้วเป็นคอมพิวเตอร์ในเวลาจริงและใช้เป็นพื้นหลังสำหรับความหลากหลายของผลกราฟิกและการจำลอง ผลิตภัณฑ์สุดท้ายที่ควรจะเป็นอยู่ในตัวเองไปยังจุดที่จะสามารถนำมาใช้เป็นมือในการจัดแสดงในพิพิธภัณฑ์วิทยาศาสตร์กับการดูแลน้อย. รายละเอียดโครงการฮาร์ดแวร์ sandbox ที่ถูกสร้างขึ้นโดยผู้เชี่ยวชาญโครงการปีเตอร์ทองของ UC Davis ภาควิชาธรณีวิทยา . ซอฟแวร์ที่ขับรถอยู่บนพื้นฐานของชุดเครื่องมือการพัฒนา Vrui VR และกรอบการประมวลผลวิดีโอ 3D Kinect และสามารถใช้ได้สำหรับการดาวน์โหลดภายใต้ใบอนุญาตสาธารณะทั่วไป. เฟรมลึกดิบมาจากกล้อง Kinect ที่ 30 เฟรมต่อวินาทีและมีการป้อนเข้าทางสถิติ ตัวกรองการประเมินผลที่มีความคงที่ที่กำหนดต่อพิกเซลขนาดบัฟเฟอร์ (ปัจจุบันผิดนัด 30 เฟรมที่สอดคล้องกับ 1 วินาที) ซึ่งทำหน้าที่วัตถุประสงค์สามกรองวัตถุที่เคลื่อนไหวเช่นมือหรือเครื่องมือลดเสียงรบกวนที่อยู่ในข้อมูลเชิงลึกของ Kinect สตรีมและบรรจุในข้อมูลที่ขาดหายไปในกระแสลึก พื้นผิวภูมิประเทศส่งผลให้มีการแสดงแล้วจากมุมมองของโปรเจ็ข้อมูลแขวนอยู่เหนือทรายที่มีผลกระทบที่คาดว่าภูมิประเทศตรงกับภูมิประเทศทรายจริง ซอฟแวร์ที่ใช้การรวมกันของ shaders GLSL หลายสีผิวโดยการใช้แผนที่ระดับความสูงที่ปรับแต่งสี (แผนที่สีเริ่มต้นที่ใช้ในขณะนี้ถูกจัดให้โดยเอ็ม Burak Yikilmaz, โพสต์เอกสารใน UC Davis ภาควิชาธรณีวิทยา) และ เพิ่มเวลาจริงเส้นชั้นความสูงภูมิประเทศ. ในเวลาเดียวกัน, การจำลองการไหลของน้ำขึ้นอยู่กับการตั้งค่า Saint-Venant ของสมน้ำตื้นซึ่งเป็นรุ่นที่มีความลึกแบบบูรณาการชุดของ Navier-Stokes เป็นสมการการไหลของของเหลวมีการเรียกใช้ ในพื้นหลังใช้ชุดของ GLSL shaders อื่น การจำลองเป็นที่ชัดเจนสองเพื่อวิวัฒนาการเวลาที่ถูกต้องของระบบการผ่อนชำระของสมการอนุพันธ์ย่อยโดยใช้พื้นผิวทรายเสมือนเป็นเงื่อนไขขอบเขต การดำเนินการดังต่อไปนี้วิธีการนี้กระดาษ "เป็นครั้งที่สองสั่ง positivity อย่างสมดุลรักษาโครงการทวนลมกลางสำหรับระบบ Saint-Venant" โดยเอ Kurganov กรัมและเปโตรโดยใช้คำที่มีความหนืดง่ายเงื่อนไขขอบเขตเปิดที่ขอบ ของตารางและคำสั่งที่สองเสถียรภาพรักษาที่แข็งแกร่ง Runge-Kutta ขั้นตอนการรวมขมับ การจำลองจะดำเนินการดังกล่าวว่าน้ำไหลตรงที่ความเร็วจริงสมมติ 1:. 100 ปัจจัยระดับเว้นแต่ความวุ่นวายในกองกำลังไหลขั้นตอนบูรณาการมากเกินไปสำหรับการขับรถกราฟิกการ์ด (ในปัจจุบัน Nvidia Geforce 580) เพื่อจัดการโครงการข่าวเท่Sandbox เป็นช้าดึงดูดการลากที่มีผู้ใช้จำนวนมากเกี่ยวพันสร้างรุ่นของตัวเอง (ดูภาพหรือภาพยนตร์ไม่กี่เลือกบนหน้าติดตั้งภายนอก) เพื่อสนับสนุน AR ชุมชนผู้ใช้ Sandbox รุ่นตอนนี้เรามีฟอรั่มการสนับสนุน Sandbox AR อย่างเป็นทางการในการแสดงทะเลสาบเว็บไซต์ 3D ที่ผู้ใช้สามารถช่วยให้แต่ละอื่น ๆ หรือให้ข้อเสนอแนะให้กับเรา. ฟอรั่มการสนับสนุน Sandbox AR นอกจากนี้ยังมีรายละเอียดขั้นตอนโดยขั้นตอน คำแนะนำการติดตั้งซอฟต์แวร์มุ่งเป้าไปที่ผู้ใช้ลินุกซ์ใหม่และวิดีโอที่แสดงให้เห็นกระบวนการทั้งหมด. สิ่งพิมพ์กกเอส Kreylos ทุม, กังไสเอส, เคลล็อกก์ลิตร Schladow กรัม Yikilmaz, MB, ซีกัล, H . Silverman เจ Yalowitz เอสและซาโตอีลุ่มน้ำ Shaping จัดแสดง: การโต้ตอบ Sandbox เพิ่มความเป็นจริงสำหรับ Advancing โลกวิทยาศาสตร์การศึกษา, สมาคมฟิสิกส์อเมริกัน (AGU) Fall ประชุม 2014 บทคัดย่อไม่มี ED34A-01 หน้าในส่วนนี้รูปภาพบางภาพที่แสดงให้เห็นถึงการพัฒนาความเป็นจริงยิ่งต้นแบบทราย. ภาพยนตร์ภาพยนตร์บางคนแสดงให้เห็นถึงการพัฒนาความเป็นจริงยิ่งต้นแบบทรายและวิดีโอกวดวิชาหลายแสดงให้เห็นว่าการสร้างทราย AR ของคุณเอง. ดาวน์โหลดดาวน์โหลดหน้าสำหรับรุ่นปัจจุบันซอฟแวร์การขับรถทรายเติมความเป็นจริงภายใต้ใบอนุญาตสาธารณะทั่วไป. คำแนะนำในการซื้อ, การก่อสร้าง, การติดตั้งและคำแนะนำการสอบเทียบสำหรับความเป็นจริง Augmented (AR) Sandbox. ติดตั้งภายนอกรายชื่อผู้ใช้ภายนอกที่สร้างความเป็นจริงของตัวเองเพิ่มเรียงรายตามซอฟแวร์และการออกแบบของเรา

ผลลัพธ์ (ไทย) 3:

รูปที่ 1 : ความเป็นจริงเสมือน Sandbox ในถิ่นอาศัยตามธรรมชาติ ซ้าย : sandbox หน่วยเมื่อปิด Kinect 3D กล้องและเครื่องฉายดิจิตอลระงับเหนือ sandbox ที่เหมาะสมจากเสาติดหลัง ขวา : sandbox ตารางเมื่อเปิดแสดงภูเขากับปล่องภูเขาไฟทะเลสาบ รายล้อมด้วยทะเลสาบตอนล่าง


โครงการเป้าหมายเป้าหมายของโครงการนี้คือเพื่อพัฒนาแบบบูรณาการระบบความเป็นจริงเสมือนจริงสร้างแบบจำลองภูมิประเทศซึ่งจะสแกนลงในคอมพิวเตอร์ในเวลาจริงและใช้เป็นพื้นหลังสำหรับความหลากหลายของกราฟิกผลและการจำลอง .ผลิตภัณฑ์สุดท้ายที่ควรจะมีไปถึงจุดไหน มันสามารถใช้เป็นที่จัดแสดงในพิพิธภัณฑ์วิทยาศาสตร์กับการนิเทศภาคปฏิบัติน้อย


รายละเอียดโครงการปรับปรุงฮาร์ดแวร์ที่ถูกสร้างขึ้นโดยผู้เชี่ยวชาญโครงการปีเตอร์ทองของ UC Davis ภาควิชาธรณีวิทยา ขับรถซอฟต์แวร์จะขึ้นอยู่กับ vrui VR การพัฒนาเครื่องมือและ Kinect 3D กรอบการประมวลผลวิดีโอและสามารถใช้ได้สำหรับการดาวน์โหลดภายใต้สัญญาอนุญาตสาธารณะทั่วไปของกนู .
เฟรมความลึกดิบมาถึงจากกล้อง Kinect ที่ 30 เฟรมต่อวินาที และถูกเลี้ยงในกรองการประเมินสถิติด้วยค่าคงที่กำหนดขนาดบัฟเฟอร์ต่อพิกเซล ( ปัจจุบัน defaulting 30 เฟรมที่ 1 ล่าช้าที่สอง ) ซึ่งทำหน้าที่กรองสามของ วัตถุที่เคลื่อนไหวเช่นมือหรือเครื่องมือการลดเสียงรบกวนอยู่ในความลึกของ Kinect กระแสข้อมูลและกรอกข้อมูลที่ขาดหายไปในความลึกของกระแส ส่งผลให้พื้นผิวภูมิประเทศแล้วแสดงผลจากมุมมองของข้อมูลโปรเจคเตอร์ระงับเหนือ Sandbox กับผลที่คาดตรงทรายจริงภูมิประเทศภูมิประเทศ .ซอฟต์แวร์ที่ใช้การรวมกันของ shaders Language หลายสีพื้นผิว โดยการใช้สีปรับแต่งแผนที่ ( แผนที่ใช้สีเริ่มต้นตอนนี้โดยม. burak yikilmaz , โพสต์ด๊อกใน UC Davis ภาควิชาธรณีวิทยา ) และเพิ่มเวลาจริงภูมิประเทศเส้นเส้น

ในเวลาเดียวกัน , น้ำไหล จำลองบนพื้นฐานของนักบุญ venant ชุดของสมการน้ำตื้นซึ่งมีความลึกรวมรุ่นของชุดของ navier สโตกส์ ว่าด้วยการไหลของของเหลว คือ ทำงานในพื้นหลัง การใช้ชุดอื่นของ Language shaders . ซึ่งเป็นครั้งที่สองที่ชัดเจนถูกต้องเวลาวิวัฒนาการของระบบผ่อนชำระสมการเชิงอนุพันธ์บางส่วนโดยใช้พื้นผิวเสมือนทรายเป็นเงื่อนไขขอบเขตการใช้วิธีนี้คือ กระดาษ " เป็นครั้งที่สองในการรักษาสมดุลแบบต้นลมกลางสำหรับนักบุญ venant ระบบ " โดย kurganov . เปโตรวา ใช้ระยะความหนืดง่ายเปิดขอบเขตเงื่อนไขที่ขอบของตารางและสอง - แข็งแรงมั่นคงรักษา Runge คุททาชั่วคราวรวมขั้นตอนการจำลองคือวิ่งที่ความเร็วที่น้ำไหลตรงจริงสมมติว่าปัจจัยระดับการศึกษา นอกจากความวุ่นวายในการบังคับขั้นตอนบูรณาการมากเกินไปสำหรับการขับรถ ( ปัจจุบันกราฟิกการ์ด NVIDIA GeForce 580 ) กับ โครงการข่าว



AR Sandbox เป็นช้าดึงดูดการลากมีหลายด้านศาสนผู้ใช้อาคารรุ่นของตัวเอง ( เห็นภาพหรือภาพยนตร์ของคนกลุ่มน้อยบนภายนอกติดตั้งหน้า ) สนับสนุนรุ่น AR sandbox ชุมชนผู้ใช้ขณะนี้เรามีเจ้าหน้าที่ AR sandbox สนับสนุนฟอรั่มในทะเลสาบสร้างภาพ 3D เว็บไซต์ที่ผู้ใช้สามารถช่วยให้แต่ละอื่น ๆหรือให้ข้อเสนอแนะกับเรา
.AR sandbox สนับสนุนฟอรั่มยังประกอบด้วยรายละเอียดขั้นตอนโดยขั้นตอนคำแนะนำการติดตั้งซอฟต์แวร์เพื่อผู้ใช้ Linux ใหม่และวิดีโอแสดงกระบวนการทั้งหมด

พิมพ์

อ้อ เอส kreylos o - , , S . L . schladow เกียรตินิยม , ปริญญาโท yikilmaz ซีเกล , G , H yalowitz ซิลเวอร์แมน , J . , , , S . , และ ซาโต้ , E . , การสร้างพื้นที่จัดแสดง : โต้ตอบ ,ความเป็นจริง Augmented sandbox สำหรับด้านการศึกษาวิทยาศาสตร์ โลก สหภาพธรณีฟิสิกส์อเมริกัน ( AGU ) ล้มการประชุม 2014 , บทคัดย่อหมายเลขหน้าในส่วนนี้ ed34a-01



ภาพบางภาพแสดงวิวัฒนาการความเป็นจริง Augmented sandbox ต้นแบบ .

บางภาพยนตร์ภาพยนตร์แสดงพัฒนา Augmented ความเป็นจริงต้นแบบ sandbox และวิดีโอกวดวิชาหลายแสดงวิธีการสร้าง sandbox AR
ของคุณเองดาวน์โหลด
หน้าดาวน์โหลดสำหรับรุ่นปัจจุบันของซอฟต์แวร์ที่ทำให้ความเป็นจริง Augmented sandbox , เผยแพร่ภายใต้สัญญาอนุญาตสาธารณะทั่วไปของกนู .
วิธีใช้
ซื้อ ก่อสร้าง ติดตั้ง และปรับแต่งสำหรับใช้เติมความเป็นจริง ( AR ) sandbox

รายการติดตั้งภายนอกของผู้ใช้ภายนอกที่สร้างตนเอง sandboxes บนพื้นฐานความเป็นจริง Augmented , ซอฟต์แวร์ของเราและการออกแบบ