Semi-Global MatchingPosted on Septe

Semi-Global Matching
Posted on September 4, 2013
My co-worker Oleg Alexandrov has been working on Ames Stereo Pipeline for a while now. He’s just about touched all parts of the code. This is crystal clear when you look at our logs on Github. One of things he ribs me most about in ASP is that he doesn’t like that we advertise ASP as using up-to-date stereo correlation algorithms. “Come ‘on Man! That’s just not true!” he tells me. Depending on whom you talk to, we’re using primo 90’s research[7] or something re-hashed from the 70’s[1]. Either way, it is clear, we haven’t been tracking along with the current research in our field when it comes to integer correlation. This blog post covers the first part of my own personal research to find a new correlator algorithm that would improve ASP in terms of both runtime and quality. In this post, I’ll be reviewing an algorithm called Semi-Global Matching.

Semi-Global Matching or SGM is a method developed by Heiko Hirschmueller from the DLR. He first wrote about this in his 2005 paper[2]. He then elaborated and proposed further improvements in [3][4]. The best paper to learn the method is probably his second paper[3]. In my opinion his first paper gets side tracked in using a Mutual Information (MI) cost metric when the interesting bit is just SGM. The most exciting bit about this work is that it comes from DLR and is an algorithm they have applied to aerial and satellite mapping. I believe this is the method that was used to create the wonderful HRSC DTMs that some how managed to overcome the weird JPEG artifacts in their raw imagery.

The Algorithm

Heiko might have sped over his SGM algorithm in his first paper because he didn’t view it as being as challenging to implement when compared to the MI cost metric. SGM shares a lot in common with scanline optimization stereo, which has had a lot of prior research but now-a-days is considered a dead end. Let’s review how that worked. Also, the images used for this testing are from the Middlebury Stereo dataset. More information about this data and stereo algorithms applied to them can be found in [8][9][10][11].

ผลลัพธ์ (ไทย) 1:

ตรงส่วนกลางกึ่งโพสต์เมื่อ 4 กันยายน 2013เพื่อนร่วมงานของ Oleg Alexandrov ทำงานในไปป์ไลน์สเตอริโอเอมส์ในขณะนี้ นอกจากนี้เขาก็ได้สัมผัสทุกส่วนของรหัส นี้เป็นใสเมื่อคุณดูบันทึกของเราบน Github สิ่งที่เขาซี่โครงฉันมากที่สุดเกี่ยวกับ ASP เป็นว่า ไม่ชอบว่า เราโฆษณา ASP โดยใช้อัลกอริทึมความสัมพันธ์สเตอริโอที่ทันสมัย "มา ' บนคน ที่ไม่เพียงเป็นความจริง "เขาบอก ขึ้นอยู่กับคนที่คุณพูดคุยกับ เราใช้วิจัย 90 พรีโม่ [7] หรือสิ่งใหม่แฮชจาก 70 [1] ทาง ไม่ชัดเจน เรายังไม่ได้รับการติดตามพร้อมกับการวิจัยปัจจุบันในเมื่อมันมาถึงความสัมพันธ์ของจำนวนเต็ม บล็อกนี้ครอบคลุมถึงส่วนแรกของงานวิจัยส่วนบุคคลของตัวเองหาอัลกอริธึม correlator ที่จะปรับปรุง ASP รันไทม์และคุณภาพ ในบทความนี้ ฉันจะทบทวนอัลกอริทึมที่เรียกว่า Semi-Global ตรงกันจับคู่กึ่งโลกหรือขึ้นเป็นวิธีพัฒนา โดย Heiko Hirschmueller จาก DLR เขาแรกเขียนเกี่ยวกับเรื่องนี้ในกระดาษของเขา 2005 [2] เขาแล้ว elaborated และเสนอปรับปรุงเพิ่มเติม [3] [4] กระดาษที่ดีที่สุดเพื่อเรียนรู้วิธีการอาจจะเป็นกระดาษของเขาสอง [3] เห็นว่า กระดาษแรกของเขาได้รับการติดตามในการใช้ร่วมกันข้อมูล (MI) ต้นทุนวัดน่าสนใจคือ ขึ้นเพียงด้าน บิตที่น่าตื่นเต้นที่สุดเกี่ยวกับงานนี้เป็นที่มาของ DLR และเป็นอัลกอริทึมที่จะใช้กับทางอากาศและแผนที่ดาวเทียม ผมเชื่อว่า นี้เป็นวิธีการที่ใช้สร้าง DTMs HRSC เลิศที่บางวิธี จะเอาชนะสิ่งประดิษฐ์ JPEG แปลกในภาพดิบของพวกเขาอัลกอริทึมการHeiko อาจได้รวดเร็วกว่าอัลกอริทึมของเขาขึ้นในกระดาษแรกของเขาเนื่องจากเขาไม่ได้มองว่าเป็นการท้าทายการใช้เมื่อเทียบกับ MI ต้นทุนวัด ขึ้นหุ้นจำนวนมากประเภทเครื่องเสียงเพิ่มประสิทธิภาพ scanline ซึ่งมีการศึกษาค้นคว้าล่วงหน้า แต่ตอนนี้มีวันถือว่าตายสิ้นสุด ขอให้ทบทวนว่าที่ทำงาน นอกจากนี้ ภาพที่ใช้สำหรับการทดสอบนี้ได้จากชุดข้อมูลสเตอริโอมิดเดิล ข้อมูลเพิ่มเติมเกี่ยวกับข้อมูลและอัลกอริทึมสเตอริโอนำนี้สามารถพบได้ใน [8] [9] [10] [11]

ผลลัพธ์ (ไทย) 2:

จับคู่กึ่งทั่วโลก
โพสต์เมื่อ 4 กันยายน 2013
ร่วมงานของฉัน Oleg Alexandrov ได้ทำงานใน Ames สเตอริโอไปป์ไลน์สำหรับขณะนี้ เขาเป็นเพียงเกี่ยวกับการสัมผัสทุกส่วนของรหัส นี่คือใสเมื่อคุณดูบันทึกของเราบน Github หนึ่งในสิ่งที่เขาซี่โครงผมมากที่สุดเกี่ยวกับใน ASP เป็นว่าเขาไม่ชอบที่เราโฆษณา ASP การใช้อัลกอริทึมสัมพันธ์สเตอริโอ up-to-วัน "มา 'ในผู้ชาย! นั่นเป็นเพียงไม่เป็นความจริง! "เขาบอกฉัน ทั้งนี้ขึ้นอยู่กับคนที่คุณพูดคุยกับที่เรากำลังใช้ Primo 90 ของการวิจัย [7] หรือสิ่งที่ re-hashed จาก 70 [1] ทั้งสองวิธีก็เป็นที่ชัดเจนเรายังไม่ได้รับการติดตามพร้อมกับการวิจัยในปัจจุบันในสาขาของเราเมื่อมันมาถึงความสัมพันธ์จำนวนเต็ม โพสต์บล็อกนี้ครอบคลุมถึงส่วนแรกของการวิจัยส่วนตัวของตัวเองที่จะหาขั้นตอนวิธีการสหสัมพันธ์ใหม่ที่จะปรับปรุง ASP ทั้งในแง่ของรันไทม์และคุณภาพ ในบทความนี้ผมจะตรวจสอบขั้นตอนวิธีการที่เรียกว่าการจับคู่กึ่งทั่วโลก. จับคู่กึ่งทั่วโลกหรือ SGM เป็นวิธีการที่พัฒนาโดย Heiko Hirschmueller จาก DLR ครั้งแรกที่เขาเขียนเกี่ยวกับเรื่องนี้ในกระดาษ 2005 [2] จากนั้นเขาก็บรรจงและเสนอการปรับปรุงเพิ่มเติมใน [3] [4] กระดาษที่ดีที่สุดที่จะเรียนรู้วิธีการที่อาจจะเป็นกระดาษที่สองของเขา [3] ในความคิดของกระดาษแรกของเขาได้รับการติดตามด้านในการใช้ข้อมูลร่วมกัน (MI) ตัวชี้วัดค่าใช้จ่ายเมื่อบิตที่น่าสนใจคือเพียง SGM บิตที่น่าตื่นเต้นมากที่สุดเกี่ยวกับงานนี้ก็คือว่ามันมาจาก DLR และเป็นขั้นตอนวิธีการที่พวกเขาได้นำไปใช้กับการทำแผนที่ทางอากาศและดาวเทียม ผมเชื่อว่านี่เป็นวิธีการที่ใช้ในการสร้างเจ HRSC ที่ยอดเยี่ยมที่บางวิธีการจัดการที่จะเอาชนะสิ่งประดิษฐ์แปลก JPEG ในภาพดิบของพวกเขา. อัลกอริทึมHeiko อาจจะมีการเร่งในช่วงขั้นตอนวิธีการของเขาใน SGM กระดาษแรกของเขาเพราะเขาไม่ได้ดู ว่ามันเป็นเป็นความท้าทายในการดำเนินการเมื่อเทียบกับค่าใช้จ่ายเมตริก MI SGM หุ้นจำนวนมากในการร่วมกันกับการเพิ่มประสิทธิภาพสเตอริโอ scanline ซึ่งได้มีจำนวนมากของการวิจัยก่อน แต่ตอนนี้มีวันที่ถือว่าเป็นปลายตาย ลองมาทบทวนวิธีการที่ทำงาน นอกจากนี้ภาพที่ใช้สำหรับการทดสอบนี้มาจากชุดข้อมูลสเตอริโอมิดเดิล ข้อมูลเพิ่มเติมเกี่ยวกับข้อมูลและขั้นตอนวิธีการสเตอริโอนี้นำไปใช้กับพวกเขาสามารถพบได้ใน [8] [9] [10] [11]

ผลลัพธ์ (ไทย) 3:

การจับคู่กึ่งสากลโพสต์เมื่อวันที่ 4 พ.ค.เพื่อนร่วมงานของฉันโอเล็ก alexandrov ได้ทํางานในเอมส์สเตอริโอท่อมาสักพักแล้ว เขาเพิ่งได้สัมผัสทุกส่วนของรหัส นี้คือคริสตัลที่ชัดเจนเมื่อคุณดูบันทึกของเราในบริการ . หนึ่งในสิ่งที่เขาซี่โครงฉันมากที่สุดเกี่ยวกับ ASP คือ เขาไม่ชอบที่เราโฆษณา ASP ที่ใช้ทันสมัยสเตอริโอ ) อัลกอริธึม " มาแล้ว " เลย ! นั่นเป็นเพียงไม่จริง ! " เขาบอกฉัน ขึ้นอยู่กับคนที่คุณพูดคุยกับ เราจะใช้ Primo 90 การวิจัย [ 7 ] หรือสิ่งที่เป็นแฮชจาก 70 [ 1 ] ทั้งสองวิธีมันชัดเจน เราไม่ได้ติดตาม พร้อมกับ ผลงานวิจัยในสาขาของเราเมื่อมันมาถึงค่าจำนวนเต็ม โพสต์บล็อกนี้ครอบคลุมในส่วนแรกของงานวิจัยส่วนตัวของฉันเองเพื่อค้นหาใหม่ค่าสัมพันธ์ขั้นตอนวิธีการที่จะปรับปรุงดีขึ้นทั้งในแง่ของรันไทม์และคุณภาพ ในบทความนี้ , ฉันจะ ตรวจสอบขั้นตอนวิธีการจับคู่กึ่ง ที่เรียกว่าโลกกึ่งคู่โลกหรือ sgm เป็นวิธีการที่พัฒนาโดย Heiko hirschmueller จาก DLR . ครั้งแรกที่เขาเขียนเกี่ยวกับเรื่องนี้ในกระดาษของเขา 2005 [ 2 ] จากนั้นเขาก็อธิบายและเสนอเพิ่มเติมในการปรับปรุง [ 3 ] [ 4 ] กระดาษที่ดีที่สุดเพื่อเรียนรู้วิธีการอาจจะสองกระดาษ [ 3 ] ในความเห็นของฉันกระดาษแรกของเขาได้รับด้านการติดตามในการใช้สารสนเทศร่วมกัน ( MI ) ต้นทุนเมตริกตันเมื่อบิตที่น่าสนใจคือแค่ sgm . เรื่องที่น่าตื่นเต้นที่สุดงานนี้ก็คือว่ามันมาจาก DLR และขั้นตอนวิธีที่พวกเขาได้ใช้ดาวเทียมภาพถ่ายทางอากาศและแผนที่ ผมเชื่อว่าวิธีนี้เป็นวิธีที่ใช้ในการสร้าง dtms hrsc ยอดเยี่ยมที่บางวิธีการจัดการเพื่อเอาชนะสิ่งประดิษฐ์ JPEG แปลกภาพดิบของพวกเขาขั้นตอนวิธีการดาวน์โหลดอาจจะวิ่งผ่านขั้นตอนวิธี sgm ของเขาในกระดาษแรกของเขา เพราะเขาไม่ได้มองมันเป็นการท้าทายที่จะใช้เมื่อเทียบกับมีต้นทุนเมตริก sgm หุ้นมากเหมือนกันกับการเพิ่มประสิทธิภาพ scanline สเตอริโอซึ่งมีมากของการวิจัยก่อน แต่ตอนนี้ต่อวันถือว่าเป็นทางตัน ลองทบทวนวิธีการที่ได้ผล นอกจากนี้ ภาพที่ใช้ทดสอบนี้จากข้อมูล middlebury สเตอริโอ . ข้อมูลเพิ่มเติมเกี่ยวกับข้อมูลนี้และสเตอริโอที่ใช้กับพวกเขาสามารถพบได้ใน [ 8 ] [ 9 ] [ 10 ] [ 11 ]