Stereo Vision CameraWhen a stereo v

Stereo Vision Camera
When a stereo vision system is used to compute depth information, the sensor dynamic range and reactivity become
critical because in saturated areas the contrast is lost and depth extraction is not possible. A stereo vision system has
been developed to address those issues.
At the core of this camera we find 2 B&W WDR NSC1005 logarithmic sensors that are slaves to the same con-
troller. The general specifications of the sensors are given by figure 1. The NSC1005 can deliver constant contrast
sensitivity over 140 dB of dynamic range. Both sensors differential analog outputs are connected to 12 bits differential
ADCs. In this design a FPGA generates all the sensors control signals (Vsync, Vck, Hsync, Hck, RST, RD1 and RD2)
for both sensors resulting in a pixel level synchronization. The digitized left and right pixels levels are then sent to the
FPGA. The FPGA will pack the 12 bits left and right channels to create a single 24 bits channel that is sent to a host
PC (see fig. 2).
Thanks to the dynamic range provided by both logarithmic sensors, it is possible to set the exposure time and the
frame rate at fixed values without risk of saturation. This means that gain and exposure time control becomes very
simple for stereo vision systems. The wide dynamic range provided within a single frame for the 2 sensors makes
the stereo vision system very robust to non-uniform illumination, specular reflections and fast temporal illumination
changes. For example, in this stereo system design, the frame rate can be set to 25 or 30 Hz, the exposure time is set
to the maximum possible value (the frame rate period) and the sensors gain are set from the host PC to the same value
for both sensors. Another interesting property of logarithmic sensors is that contrast will be identical in areas seen by
both left and right sensors regardless of the illumination intensity on both sensors. This property is important if we
consider the stereo matching process that relies on contrast information.
3. System Performance
In order to operate the stereo vision system, a companion software was developed to perform the stereo calibration
and the rectification processes. The stereo calibration module implements a camera calibration algorithm based on
corner extraction from chessboard chart images3,4
to correct both sensor modules distortions. Using the same sets
of points the calibration module also computes the essential matrix, the fundamental matrix, the rotation matrix
between the left and the right camera coordinate systems and the translation vector between the coordinate systems
of the cameras. Finally the left and right images are rectified using Bouguet algorithm4
. With this implementation

ผลลัพธ์ (ไทย) 1:

วิสัยทัศน์สเตอริโอกล้องเมื่อใช้ระบบสเตอริโอวิสัยทัศน์ในการคำนวณข้อมูลลึก เซ็นเซอร์ช่วงแบบไดนามิก และเกิดปฏิกิริยากลายเป็นความสำคัญเนื่องจากในบริเวณอิ่มตัว ความคมชัดหายไป และลึกแยกเป็นไปไม่ได้ ระบบสเตอริโอวิสัยทัศน์ได้การพัฒนาประเด็นของกล้องนี้เรา find 2 B & W WDR NSC1005 ลอการิทึมเซ็นเซอร์ที่ทาสจะเดียวกันคอน -troller Specifications ทั่วไปของเซนเซอร์จะได้รับ โดย figure 1 NSC1005 สามารถให้ความคมชัดคงไวกว่า 140 dB ของช่วงแบบไดนามิก เชื่อมต่อกับ differential 12 บิตทั้งเซนเซอร์ differential อนาล็อกเอาท์พุตADCs ในการออกแบบนี้สร้าง FPGA เซ็นเซอร์ทั้งหมดควบคุมสัญญาณ (Vsync, Vck, Hsync, Hck, RST, RD1 และ RD2)สำหรับเซนเซอร์ทั้งสองเกิดในตรงระดับพิกเซล ระดับพิกเซลซ้าย และขวาดิจิทัลแล้วส่งไปFPGA FPGA จะรวบรวมบิต 12 ช่องซ้าย และขวาเพื่อสร้างช่องสัญญาณเดียว 24 บิตที่ถูกส่งไปยังโฮสต์PC (ดู fig 2)ด้วยช่วงแบบไดนามิกโดยเซ็นเซอร์ทั้งลอการิทึม เป็นการตั้งเวลาถ่ายภาพและอัตราเฟรมที่ค่า fixed โดยไม่มีความเสี่ยงของความเข้ม ซึ่งหมายความ ว่า กำไรและความเสี่ยงการควบคุมเวลามากอย่างง่ายสำหรับระบบสเตอริโอวิสัยทัศน์ ทำให้ช่วงกว้างไดนามิกที่ให้ไว้ภายในเฟรมเดียวสำหรับเซนเซอร์ 2วิสัยทัศน์สเตอริโอระบบแข็งแกร่งมากที่แสงสว่างไม่สม่ำเสมอ reflections แสงสะท้อนแบบกระจก และแสงสว่างชั่วคราวอย่างรวดเร็วการเปลี่ยนแปลง ตัวอย่าง แบบนี้ระบบสเตอริโอ สามารถตั้งค่าอัตราเฟรม 25 หรือ 30 Hz ตั้งเวลาถ่ายภาพค่าสูงสุดที่เป็นไปได้ (กรอบอัตราระยะเวลา) และเซนเซอร์ ตั้งกำไรจากโฮสต์คอมพิวเตอร์จะสำหรับเซนเซอร์ทั้งสอง คุณสมบัติอื่น ๆ ที่น่าสนใจของเซ็นเซอร์ลอการิทึมคือ ความคมชัดจะเป็นเหมือนในพื้นที่เห็นด้วยเซนเซอร์ทั้งซ้าย และขวา โดยความเข้มแสงสว่างในเซนเซอร์ทั้งสอง นี่เป็นสิ่งสำคัญถ้าเราพิจารณาสเตอริโอที่กระบวนการที่อาศัยข้อมูลความแตกต่างของการจับคู่3. ผลการมีวิสัยทัศน์สเตอริโอระบบ ซอฟต์แวร์เป็นตัวช่วยได้รับการพัฒนาเพื่อทำการปรับเทียบเสียงและกระบวนการ rectification โมดูเทียบสเตอริโอใช้กับกล้องเทียบอัลกอริทึมตามมุมแยกจากกระดานหมากรุกในแผนภูมิ images3, 4เมื่อต้องการแก้ไขบิดเบือนทั้งเซนเซอร์โมดูล ใช้ชุดเดียวกันคะแนน โมเทียบยังจะจำเป็นเมตริกซ์ เมตริกซ์พื้นฐาน เมตริกซ์การหมุนระหว่างด้านซ้าย และเวกเตอร์แปลระหว่างระบบพิกัดระบบพิกัดเหมาะสมของกล้อง สุดท้าย ภาพซ้าย และขวาจะใช้ Bouguet algorithm4 rectified. กับงานนี้

ผลลัพธ์ (ไทย) 2:

วิสัยทัศน์กล้องสเตอริโอเมื่อระบบการมองเห็นสเตอริโอใช้ในการคำนวณข้อมูลเชิงลึกเซ็นเซอร์ช่วงแบบไดนามิกและการเกิดปฏิกิริยากลายเป็นสิ่งสำคัญเนื่องจากในพื้นที่อิ่มตัวความคมชัดจะหายไปและการสกัดความลึกเป็นไปไม่ได้ ระบบสเตอริโอวิสัยทัศน์ที่ได้รับการพัฒนาเพื่อแก้ไขปัญหาเหล่านั้น. ที่เป็นแกนหลักของกล้องนี้เรา fi 2 B & W WDR NSC1005 เซ็นเซอร์ลอการิทึมที่มีทาสที่จะทำาเดียวกันtroller ทั่วไปไพเพอร์ระบุไว้ของเซ็นเซอร์จะได้รับจากสาย Gure 1. NSC1005 สามารถส่งมอบความคมชัดคงที่ไวกว่า140 เดซิเบลในช่วงแบบไดนามิก ทั้งดิเซ็นเซอร์ฉฉ erential เอาท์พุทแบบอะนาล็อกที่เชื่อมต่อกับ 12 บิตดิฉฉ erential ADCs ในการออกแบบนี้ FPGA สร้างสัญญาณทั้งหมดที่ควบคุมเซ็นเซอร์ (Vsync, VCK, Hsync, HCK, RST, RD1 และ RD2) สำหรับเซ็นเซอร์ทั้งส่งผลในการประสานระดับพิกเซล พิกเซลดิจิทัลซ้ายและขวาระดับจะถูกส่งไปยังFPGA FPGA จะแพ็ค 12 บิตช่องซ้ายและขวาเพื่อสร้างเดียว 24 บิตช่องทางที่ถูกส่งไปยังโฮสต์พีซี (ดูสายก. 2). ขอบคุณที่ช่วงแบบไดนามิกที่มีให้โดยเซ็นเซอร์ทั้งลอการิทึมก็เป็นไปได้ที่จะตั้งค่าการเปิดรับแสง เวลาและอัตราเฟรมที่ค่าคงที่ไม่มีความเสี่ยงของความอิ่มตัว ซึ่งหมายความว่ากำไรและควบคุมเวลาการเปิดรับจะกลายเป็นมากง่ายสำหรับระบบการมองเห็นสเตอริโอ ช่วงไดนามิกกว้างให้ภายในกรอบเดียวสำหรับ 2 เซ็นเซอร์ทำให้ระบบการมองเห็นสเตอริโออย่างมีประสิทธิภาพเพื่อการส่องสว่างไม่สม่ำเสมอ, ections อีกชั้น specular และไฟส่องสว่างชั่วอย่างรวดเร็วการเปลี่ยนแปลง ยกตัวอย่างเช่นในการออกแบบระบบสเตอริโอนี้อัตราเฟรมสามารถกำหนดให้ 25 หรือ 30 เฮิร์ตซ์, เวลาที่ได้รับการตั้งค่าให้เป็นค่าเป็นไปได้สูงสุด(ระยะเวลาที่อัตราเฟรม) และได้รับการเซ็นเซอร์มีการตั้งค่าจากคอมพิวเตอร์โฮสต์เดียวกัน ค่าเซ็นเซอร์ทั้งสอง อีกสถานที่ที่น่าสนใจของเซ็นเซอร์ลอการิทึมคือความคมชัดจะเหมือนกันในพื้นที่ที่มองเห็นได้ด้วยทั้งเซ็นเซอร์ซ้ายและขวาโดยไม่คำนึงถึงความเข้มของการส่องสว่างบนเซ็นเซอร์ทั้งสอง สถานที่แห่งนี้เป็นสิ่งสำคัญหากเราพิจารณาขั้นตอนการจับคู่แบบสเตอริโอที่อาศัยข้อมูลทางตรงกันข้าม. 3 ประสิทธิภาพของระบบเพื่อที่จะดำเนินการระบบการมองเห็นสเตอริโอ, ซอฟแวร์สหายที่ได้รับการพัฒนาที่จะดำเนินการสอบเทียบสเตอริโอและกระบวนการไอออนบวกสายrecti โมดูลการสอบเทียบสเตอริโอดำเนินการขั้นตอนวิธีการสอบเทียบกล้องอยู่บนพื้นฐานของการสกัดจากมุม images3,4 แผนภูมิกระดานหมากรุกเพื่อแก้ไขบิดเบือนทั้งโมดูลเซ็นเซอร์ การใช้ชุดเดียวกันของจุดโมดูลการสอบเทียบยังคำนวณเมทริกซ์ที่จำเป็นพื้นฐานเมทริกซ์, เมทริกซ์หมุนระหว่างซ้ายและกล้องที่เหมาะสมระบบพิกัดเวกเตอร์และการแปลระหว่างระบบพิกัดของกล้อง สุดท้ายภาพซ้ายและขวาเป็นเอ็ดสาย recti ใช้ Bouguet algorithm4 กับการดำเนินการนี้

ผลลัพธ์ (ไทย) 3:

สเตอริโอกล้องวิสัยทัศน์
เมื่อวิสัยทัศน์ระบบสเตอริโอที่ใช้คำนวณข้อมูลความลึก เซนเซอร์แบบไดนามิกช่วงเกิดวิกฤตและกลายเป็น
เพราะในบริเวณอิ่มตัวความคมชัดจะหายไปและการสกัดความลึกไม่อาจเป็นไปได้ วิสัยทัศน์ระบบสเตอริโอที่ได้ถูกพัฒนาขึ้นเพื่อจัดการกับปัญหาเหล่านั้น

.ที่หลักของกล้องตัวนี้ เราจึง&ครั้งที่ 2 B W WDR nsc1005 ลอการิทึมเซ็นเซอร์ที่เป็นทาสเหมือนกันคอน -
จำหน่ายเครื่อง . ส่วนประเภททั่วไปจึงทำให้ของเซ็นเซอร์ จะได้รับ โดยถ่ายทอด gure 1 การ nsc1005 สามารถส่งมอบความคมชัด
คงที่กว่า 140 db ของช่วงแบบไดนามิก เซ็นเซอร์ทั้งสอง ดิ ff erential อนาล็อกเอาท์พุทเชื่อมต่อกับ 12 บิตตี้ff erential
adcs .ในการออกแบบนี้ FPGA ทั้งหมดสร้างเซ็นเซอร์สัญญาณควบคุม ( VSync vck hsync hck , , , , และ RST , rd1 rd2 )
สำหรับเซ็นเซอร์ทั้งสองเป็นผลในระดับพิกเซลประสาน ดิจิทัลซ้ายและขวาพิกเซลระดับแล้วส่งไปยัง
FPGA ออกแบบจะแพ็ค 12 บิตช่องทางซ้ายและขวาเพื่อสร้างช่องทางเดียว 24 บิตที่ถูกส่งไปยังโฮสต์
PC ( เห็นจึง G .
2 )ขอบคุณกับ Dynamic Range โดยทั้งลอการิทึม เซ็นเซอร์ มันเป็นไปได้ที่จะตั้งค่าเวลาและอัตราค่า
กรอบจึง xed โดยไม่ต้องเสี่ยงของความอิ่มตัว ซึ่งหมายความว่าได้รับและเวลาเปิดรับแสงควบคุมกลายเป็นมาก
ง่ายๆสำหรับวิสัยทัศน์ระบบสเตอริโอ ช่วงกว้างไดนามิกไว้ภายในกรอบเดียวสำหรับเซ็นเซอร์ทำให้
2