4. SLAM from featuresOnce we are ab

4. SLAM from features
Once we are able to model 3D data, we obtain 2D features and place them in 3D, using the 3D information provided by the cameras. In the case of the SR4000, we extract features from the amplitude of the infrared image, which is similar to a grayscale image but in the range of the infrared spectrum. For the Kinect, we directly use the 2D image provided. In this work, we will use SIFT features [32]. Nevertheless, the method can be applied to any other 2D feature detector.
The SIFT method is widely used in computer vision systems to detect and describe features in an image. It performs a local pixel appearance analysis at different scales, and obtains a descriptor for each feature that can be used for different tasks, such as object recognition. The SIFT features are designed to be invariant to image scale and rotation. Currently, there are
a number of feature detectors and descriptors, like SURF [6], but it is beyond the scope of this work to determine the most efficient. For a good study of different features, see [22,39].
Once the features have been detected, they are hooked to the GNG or directly to the corresponding 3D point. For the case of GNG, the 2D coordinates of a SIFT feature are projected to 3D using the Kinect library. The SIFT feature is then attached to the closest node (using the Euclidean distance between the 3D SIFT coordinates and the 3D node coordinates) of the GNG structure. The SR4000 camera has the advantage of a confidence value, which can be used to remove those features that cannot be trusted. This represents an improvement over stereo systems and the Kinect camera, as it enhances accuracy by removing erroneous points.
To calculate the robot egomotion, we need a method to find the 3D transformation between two consecutive poses. We present two different methods that obtain the egomotion performed by the robot. Both are based on the matching information provided by the features. Feature descriptors are used to determine the matches from two consecutive poses. We now briefly describe the two methods.
The first is based on the RANSAC algorithm [16]. It is an iterative method that estimates the parameters of a mathematical model from a set of observed data which contains outliers. In our case, we look for a 3D Euclidean transformation (our model) that best explains the data (matches between 3D features). At each iteration of the algorithm, a subset of data elements (matches) is randomly selected. These elements are considered
as inliers, and are used to compute a model (3D Euclidean transformation). All other data are then tested against the computed model, and included as inliers if their error is below a threshold. If the estimated model is reasonably good (i.e. its error is low enough and it has enough matches), it is considered to be a good solution. This process is repeated a number of times, before the best solution is returned.
The second method is based on the ICP algorithm [7,37,43]. ICP is used to match two 3D point sets, but it cannot find a good alignment in the presence of outliers. A survey on ICP-based methods can be found in [38]. ICP does not give good results for long-time movements, because these produce a lot of outliers. Using features like SIFT, along with additional information, i.e. descriptors which are robust to brightness and point-of-view changes, is sufficient for this task. Hence, we use descriptors to find matches, instead of using the Euclidean distance as in the original ICP. We have decided to select features close to the camera, because greater distances result in greater 3D errors. Thus, only features with a Z distance below a threshold are considered for matching between two consecutive sets. The movement between two consecutive frames is examined so that sets of features can be selected which intersect and have enough features to enable matching. If the movement is limited to, for example, 1 meter, we select features from 1 to 2 meters in the first frame, and from 0 to 1 in

ผลลัพธ์ (ไทย) 1:

4. สแลจากคุณลักษณะเมื่อเราได้ข้อมูลแบบจำลอง 3 มิติ เราได้รับคุณลักษณะ 2D และวางใน 3D การใช้ข้อมูล 3 มิติจากกล้อง ในกรณีของ SR4000 เราแยกคุณลักษณะจากคลื่นของภาพอินฟราเรด ซึ่งมีลักษณะคล้ายรูปแบบระดับสีเทา แต่ ในช่วงของคลื่นอินฟราเรด สำหรับ Kinect เราโดยตรงใช้ภาพ 2 มิติให้ ในงานนี้ เราจะใช้ลักษณะการทำงานของ SIFT [32] อย่างไรก็ตาม สามารถใช้วิธีการตรวจจับคุณลักษณะ 2D อื่น ๆอย่างกว้างขวางได้ใช้ในระบบคอมพิวเตอร์วิชั่น SIFT วิธีการตรวจสอบ และอธิบายลักษณะการทำงานในรูป ทำการวิเคราะห์ลักษณะเฉพาะพิกเซลที่ระดับแตกต่างกัน และได้รับตัวระบุสำหรับแต่ละคุณลักษณะที่สามารถใช้สำหรับงานที่แตกต่างกัน เช่นการรับรู้วัตถุ คุณลักษณะ SIFT ถูกออกแบบมาให้ไม่เปลี่ยนแปลงมาตราส่วนของภาพและหมุน ในปัจจุบันหมายเลขของคุณลักษณะการตรวจจับและตัวบอก เช่นเซิร์ฟ [6], แต่อยู่ในขอบเขตของงานนี้เพื่อตรวจสอบประสิทธิภาพสูงสุด สำหรับการศึกษาที่ดีของคุณลักษณะต่าง ๆ ดู [22,39]เมื่อมีการตรวจพบคุณลักษณะ พวกเขาจะติดยาเสพติด GNG หรือตรงจุด 3D สอดคล้อง สำหรับกรณีของ GNG พิกัด 2D ของคุณลักษณะ SIFT คาดว่าจะใช้รี Kinect 3D แล้วแนบคุณลักษณะ SIFT โหนใกล้เคียงที่สุด (ใช้ยุคลิดระหว่างพิกัด SIFT 3D และ 3D โหนพิกัด) ของโครงสร้าง GNG กล้อง SR4000 ประโยชน์ของค่าความเชื่อมั่น ซึ่งสามารถใช้เพื่อเอาคุณลักษณะเหล่านั้นที่ไม่สามารถเชื่อถือ ได้ นี้แสดงถึงการปรับปรุงระบบสเตอริโอและกล้อง Kinect เป็นมันช่วยเพิ่มความถูกต้อง โดยเอาจุดที่ผิดพลาดคำนวณ egomotion หุ่นยนต์ เราจำเป็นต้องมีวิธีการหาการแปลง 3D ระหว่างโพสท่าติดต่อกันสอง เรานำเสนอสองวิธีที่ได้รับ egomotion โดยหุ่นยนต์ ทั้งสองจะขึ้นอยู่กับข้อมูลที่ตรงกันโดยลักษณะการทำงาน ตัวบอกลักษณะการทำงานจะใช้เพื่อกำหนดตรงกันจากสองโพสท่าที่ต่อเนื่อง เราตอนนี้สั้น ๆ อธิบายวิธีการสองวิธีการครั้งแรกจะขึ้นอยู่กับขั้นตอนวิธี RANSAC [16] วิธีการซ้ำที่ประเมินค่าพารามิเตอร์ของแบบจำลองทางคณิตศาสตร์จากชุดของข้อมูลสังเกต outliers ซึ่ง ได้ ในกรณีของเรา เราค้นหา 3D แปลง Euclidean (รุ่นเรา) ที่อธิบายข้อมูล (คู่กับคุณสมบัติ 3D) ส่วน ในแต่ละการเกิดซ้ำของอัลกอริทึม สุ่มมีเลือกชุดย่อยขององค์ประกอบข้อมูล (ตรงกัน) องค์ประกอบเหล่านี้ถือเป็น เป็น inliers และใช้ในการคำนวณแบบจำลอง 3 มิติการแปลง Euclidean) ข้อมูลอื่น ๆ ทั้งหมดแล้วทดสอบกับแบบจำลองการคำนวณ และรวมเป็น inliers ข้อผิดพลาดนี้มีขีดจำกัด ถ้าแบบประเมินเหมาะสม (เช่นความผิดพลาดจะต่ำพอ และมีเพียงพอตรง), จะถือว่าเป็น วิธีเหมาะสม กระบวนการนี้จะถูกทำซ้ำจำนวนครั้ง ก่อนที่สุดจะถูกส่งกลับวิธีสองขึ้นอยู่กับขั้นตอนวิธี ICP [7,37,43] ICP ใช้ให้ตรงกับชุด 3D จุดที่สอง แต่จะไม่สามารถค้นหาตำแหน่งที่ดีในต่อหน้าของ outliers การสำรวจเกี่ยวกับวิธีใช้ ICP สามารถพบได้ใน [38] ICP ให้ผลลัพธ์ที่ดีสำหรับการย้ายนาน เพราะผลิตจำนวนมาก outliers เหล่านี้ ใช้คุณสมบัติเช่น SIFT พร้อมกับข้อมูลเพิ่มเติม เช่นตัวบอกลักษณะที่แข็งแกร่งเพื่อความสว่างและการเปลี่ยนแปลงจุดมุม มีเพียงพอสำหรับงานนี้ ดังนั้น เราใช้ตัวแสดงรายละเอียดการค้นหา ข้อยุคลิดใน ICP เดิม เราได้ตัดสินใจเลือกคุณลักษณะใกล้กับกล้อง เนื่องจากระยะทางมากกว่าผลในข้อผิดพลาด 3D มากขึ้น ดังนั้น คุณลักษณะเท่ากับ Z ระยะทางต่ำกว่าขีดจำกัดจะพิจารณาสำหรับการจับคู่ระหว่างสองชุดต่อเนื่อง การเคลื่อนไหวระหว่างสองเฟรมติดกันจะตรวจสอบเพื่อให้ชุดของคุณสามารถเลือกอิน และมีคุณสมบัติเพียงพอให้จับคู่ ถ้าการเคลื่อนไหวจำกัด ตัวอย่าง 1 เมตร เราเลือกลักษณะการทำงาน 1-2 เมตรในเฟรมแรก และ จาก 0 เป็น 1 ใน

ผลลัพธ์ (ไทย) 2:

4.
สแลมจากคุณสมบัติที่เมื่อเราสามารถที่จะสร้างแบบจำลอง3 มิติข้อมูลที่เราได้รับคุณสมบัติ 2D และวางไว้ใน 3 มิติโดยใช้ข้อมูล 3 มิติที่ให้บริการโดยกล้อง ในกรณีของการ SR4000 ที่เราดึงคุณสมบัติจากความกว้างของภาพอินฟราเรดซึ่งมีลักษณะคล้ายกับภาพสีเทา แต่ในช่วงคลื่นอินฟราเรดที่ สำหรับ Kinect เราโดยตรงใช้ภาพ 2D ให้ ในงานนี้เราจะใช้คุณสมบัติร่อน [32] แต่วิธีการที่สามารถนำไปใช้กับเครื่องตรวจจับคุณลักษณะ 2D อื่น ๆ .
วิธีการร่อนถูกนำมาใช้กันอย่างแพร่หลายในระบบคอมพิวเตอร์วิสัยทัศน์ในการตรวจสอบและอธิบายคุณสมบัติในภาพ จะดำเนินการวิเคราะห์ลักษณะพิกเซลท้องถิ่นในระดับที่แตกต่างกันและได้รับการอธิบายสำหรับแต่ละคุณลักษณะที่สามารถใช้สำหรับงานที่แตกต่างกันเช่นการรับรู้วัตถุ คุณสมบัติร่อนถูกออกแบบมาให้คงที่ขนาดภาพและการหมุน ปัจจุบันมีจำนวนของเครื่องตรวจจับบาร์และอธิบายเช่น SURF [6] แต่มันอยู่นอกเหนือขอบเขตของงานนี้เพื่อตรวจสอบที่มีประสิทธิภาพที่สุด
สำหรับการศึกษาที่ดีของคุณสมบัติที่แตกต่างกันให้ดู [22,39].
เมื่อคุณสมบัติที่ได้รับการตรวจพบที่พวกเขาจะติดยาเสพติดไปยัง GNG หรือโดยตรงไปยังจุด 3D ที่สอดคล้องกัน สำหรับกรณีของ GNG ที่ 2D พิกัดของสถานที่ร่อนได้รับการคาดว่าจะใช้ 3D ห้องสมุด Kinect คุณลักษณะที่ร่อนแล้วจะแนบไปยังโหนดที่ใกล้เคียงที่สุด (โดยใช้ระยะทางยุคลิดระหว่างร่อนพิกัด 3 มิติและพิกัดโหนด 3D) ของโครงสร้าง GNG กล้อง SR4000 มีความได้เปรียบของค่าความเชื่อมั่นซึ่งสามารถนำมาใช้ในการลบคุณลักษณะที่ไม่สามารถเชื่อถือได้ นี้แสดงให้เห็นการปรับปรุงกว่าระบบสเตอริโอและกล้อง Kinect ในขณะที่มันช่วยเพิ่มความถูกต้องโดยการเอาจุดที่ผิดพลาด.
ในการคำนวณ egomotion หุ่นยนต์ที่เราต้องวิธีการที่จะได้พบกับการเปลี่ยนแปลง 3D ระหว่างสองติดต่อกันโพสท่า เรานำเสนอสองวิธีที่แตกต่างกันได้รับ egomotion ที่ดำเนินการโดยหุ่นยนต์ ทั้งสองจะขึ้นอยู่กับข้อมูลที่มีการจับคู่ให้โดยคุณสมบัติ อธิบายคุณสมบัติที่ใช้ในการตรวจสอบการแข่งขันจากการโพสท่าสองติดต่อกัน ตอนนี้เราอธิบายสองวิธี.
แรกจะขึ้นอยู่กับขั้นตอนวิธี RANSAC [16] มันเป็นวิธีการที่กล่าวย้ำว่าประมาณการค่าพารามิเตอร์ของแบบจำลองทางคณิตศาสตร์จากชุดของข้อมูลที่สังเกตที่มีค่าผิดปกติ ในกรณีของเราเรามองหาการเปลี่ยนแปลงยุคลิด 3 มิติ (รูปแบบของเรา) ที่ดีที่สุดอธิบายข้อมูล (จับคู่กันระหว่าง 3 มิติมี) ในแต่ละขั้นตอนวิธีการทำซ้ำที่องค์ประกอบย่อยของข้อมูล (ตรง) จะสุ่มเลือก องค์ประกอบเหล่านี้จะถือว่าเป็น inliers และมีการใช้ในการคำนวณแบบ (การเปลี่ยนแปลงยุคลิด 3D)
ข้อมูลอื่น ๆ ทั้งหมดได้รับการทดสอบแล้วกับรูปแบบการคำนวณและรวมเป็น inliers ว่าข้อผิดพลาดของพวกเขาต่ำกว่าเกณฑ์ หากรูปแบบประมาณเป็นเหตุผลที่ดี (เช่นข้อผิดพลาดที่ต่ำมากพอและมีการแข่งขันมากพอ) ก็ถือว่าเป็นทางออกที่ดี กระบวนการนี้ซ้ำแล้วซ้ำอีกหลายครั้งก่อนที่จะทางออกที่ดีที่สุดจะถูกส่งกลับ.
วิธีที่สองจะขึ้นอยู่กับขั้นตอนวิธี ICP [การ 7,37,43] ICP ถูกนำมาใช้เพื่อให้ตรงกับชุดที่สองจุด 3D แต่มันไม่สามารถหาแนวร่วมที่ดีในที่ที่มีค่าผิดปกติ การสำรวจเกี่ยวกับวิธี ICP-based สามารถพบได้ใน [38] ICP ไม่ให้ผลที่ดีสำหรับการเคลื่อนไหวเป็นเวลานานเพราะเหล่านี้ผลิตจำนวนมากของค่าผิดปกติ การใช้คุณสมบัติเช่นร่อนพร้อมกับข้อมูลเพิ่มเติมเช่นอธิบายที่มีประสิทธิภาพเพื่อความสว่างและการเปลี่ยนแปลงจุดของมุมมองก็เพียงพอแล้วสำหรับงานนี้ ดังนั้นเราจะใช้คำอธิบายที่จะหาไม้ขีดไฟแทนการใช้ระยะทางยุคลิดในขณะที่เดิม ICP เราได้ตัดสินใจที่จะเลือกคุณสมบัติใกล้เคียงกับกล้องเพราะระยะทางมากขึ้นเกิดข้อผิดพลาด 3 มิติมากขึ้น ดังนั้นจึงมีเพียง แต่ด้วยระยะทาง Z ด้านล่างเกณฑ์ได้รับการพิจารณาสำหรับการจับคู่ระหว่างสองชุดติดต่อกัน การเคลื่อนไหวระหว่างสองเฟรมติดต่อกันคือการตรวจสอบเพื่อให้ชุดของคุณสมบัติที่สามารถเลือกที่ตัดกันและมีคุณสมบัติเพียงพอที่จะช่วยให้การจับคู่ หากการเคลื่อนไหวจะถูก จำกัด ตัวอย่างเช่น 1 เมตรเราเลือกคุณสมบัติ 1-2 เมตรในกรอบแรกและ 0-1 ใน

ผลลัพธ์ (ไทย) 3:

4 . ชัยชนะจากคุณสมบัติ
เมื่อเราสามารถรูปแบบข้อมูลแบบ 3D ที่เราได้รับคุณลักษณะ 2D และสถานที่ที่พวกเขาใน 3 มิติโดยใช้ข้อมูลสามมิติโดยกล้อง ในกรณีของ sr4000 เราสกัดคุณสมบัติจากขนาดของภาพอินฟราเรด ซึ่งคล้ายคลึงกับระดับสีเทาภาพแต่ในช่วงคลื่นอินฟราเรด สำหรับ Kinect โดยตรงเราใช้ 2D ภาพให้ ในงานนี้เราจะใช้ร่อนคุณสมบัติ [ 32 ] แต่วิธีที่สามารถใช้งานกับเครื่องอื่น ๆ คุณลักษณะ 2 .
ร่อน เป็นวิธีที่ใช้กันอย่างแพร่หลายในวิสัยทัศน์คอมพิวเตอร์ระบบตรวจสอบและอธิบายคุณสมบัติในรูปภาพ มันแสดงท้องถิ่นพิกเซลลักษณะการวิเคราะห์ในระดับต่างๆ และได้รับหัวเรื่องสำหรับแต่ละคุณลักษณะที่สามารถใช้สำหรับงานที่แตกต่างกัน เช่น การรับรู้วัตถุร่อนคุณสมบัติถูกออกแบบมาเพื่อแปลงขนาดภาพและการหมุน ขณะนี้มีจำนวนของเครื่องตรวจจับ
คุณลักษณะและบอกลักษณะ เหมือนท่อง [ 6 ] แต่มันอยู่นอกเหนือขอบเขตของงานนี้เพื่อตรวจสอบมีประสิทธิภาพมากที่สุด เพื่อการศึกษาที่ดีของลักษณะที่แตกต่างกัน ดู [ 22,39 ] .
เมื่อคุณสมบัติที่ได้รับการตรวจพบ พวกเขาจะติดยาเสพติดให้กงหรือโดยตรงไปยังจุด 3D ที่สอดคล้องกันสำหรับกรณีของกง , 2D พิกัดของร่อนคุณสมบัติเพียง 3 มิติโดยใช้ Kinect ที่ห้องสมุด ร่อนคุณสมบัติแล้วแนบกับโหนดที่ใกล้ ( ใช้ระยะทางแบบยุคลิดระหว่าง 3D ร่อนพิกัดและพิกัด ( 3D ) ของกงโครงสร้าง กล้อง sr4000 มีความได้เปรียบของค่าความเชื่อมั่น ซึ่งสามารถใช้เพื่อลบคุณลักษณะที่ไม่สามารถเชื่อถือได้นี้แสดงการปรับปรุงระบบเครื่องเสียงและกล้อง Kinect , มันช่วยเพิ่มความถูกต้อง โดยการเอาจุดผิดพลาด .
หาหุ่นยนต์ egomotion เราต้องมีวิธีการค้นหาการเปลี่ยนแปลงระหว่างสองติดต่อกัน 3 ท่าน เรานำเสนอสองวิธีที่แตกต่างกันที่ได้รับ egomotion ดำเนินการโดยหุ่นยนต์ ทั้งสองจะขึ้นอยู่กับการจับคู่ข้อมูล โดยคุณสมบัติคุณลักษณะในจะใช้เพื่อตรวจสอบการแข่งขันติดต่อกัน 2 ท่าน ตอนนี้เราอธิบายสั้น ๆ สองวิธี .
ครั้งแรกจะขึ้นอยู่กับขั้นตอนวิธี ransac [ 16 ] มันเป็นซ้ำวิธีประมาณค่าพารามิเตอร์ของแบบจำลองทางคณิตศาสตร์จากชุดของข้อมูลที่มีการแจกแจง . ในกรณีของเราเราดูเป็น 3D คุณภาพการแปลง ( ในแบบของเรา ) ที่ดีที่สุดอธิบายถึงข้อมูลที่ตรงกันระหว่างคุณสมบัติ 3D ) ในแต่ละซ้ำของขั้นตอนวิธี บางส่วนขององค์ประกอบของข้อมูล ( ไม้ขีดไฟ ) คือการสุ่มเลือก องค์ประกอบเหล่านี้จะถือว่าเป็น inliers
และใช้คำนวณรูปแบบ ( 3D คุณภาพการแปลง ) ข้อมูลอื่น ๆทั้งหมดจะถูกทดสอบกับการคำนวณแบบและรวมเป็น inliers ถ้าข้อผิดพลาดของพวกเขาอยู่ด้านล่างเป็นเกณฑ์ ถ้าประมาณแบบจำลองที่ดีพอสมควร ( เช่นข้อผิดพลาดของมันต่ำเพียงพอและมีแมตช์พอ ) ก็จะถือว่าเป็นทางออกที่ดี ขั้นตอนนี้ซ้ำหลายครั้ง ก่อนทางออกที่ดีที่สุดคือกลับมา .
วิธีที่สองจะขึ้นอยู่กับขั้นตอนวิธี ICP [ 7,37,43 ] ICP ใช้เพื่อให้ตรงกับสอง 3D จุดชุดแต่มันไม่สามารถหาตำแหน่งที่ดีเมื่อมีค่าผิดปกติเกิดขึ้น การสำรวจใช้วิธี ICP สามารถพบได้ใน [ 38 ] ICP จะไม่ให้ผลที่ดีสำหรับการเคลื่อนไหวเป็นเวลานาน เพราะผลิตมากผิดปกติ . การใช้คุณสมบัติเช่นร่อน พร้อมกับข้อมูลเพิ่มเติม เช่น ในที่แข็งแกร่ง ให้ความสว่างและมุมมองการเปลี่ยนแปลง ก็เพียงพอสำหรับงานนี้ ดังนั้นที่เราใช้ในการค้นหาตรงกัน แทนการใช้ระยะทางแบบยุคลิดใน ICP ต้นฉบับ เราได้ตัดสินใจเลือกสถานที่ใกล้กล้อง เพราะระยะทางที่มากขึ้นส่งผลในข้อผิดพลาด 3D มากขึ้น ดังนั้น คุณสมบัติเฉพาะกับ Z ระยะห่างด้านล่างเกณฑ์พิจารณาสำหรับการจับคู่ระหว่างสองติดต่อกันเป็นชุดการเคลื่อนไหวระหว่างสองติดต่อกันเฟรมตรวจสอบเพื่อให้ชุดคุณลักษณะที่สามารถเลือกที่เซ็ค และมีคุณสมบัติเพียงพอเพื่อให้ตรงกับ หากการเคลื่อนไหว ( เช่น 1 เมตร เราเลือก คุณสมบัติ จาก 1 ในกรอบแรก 2 เมตร และ จาก 0 เป็น 1 ใน