Guiding the selection of candidate

Guiding the selection of candidate patches by the agreement
with undamaged areas is related to the idea of global visual coherence
introduced in [29] for video completion. The approach of [29]
is very effective for replicating larger missing areas and textures,
but it does not treat continuation of curvilinear structures. Alternative
solutions that propagate structures along user-specified
lines [19], [28] showed excellent results in photo editing, but for
our application the amount of the user intervention required by
such methods would be prohibitive.
The main idea of our approach is to simultaneously detect
directions of local structure propagation and adapt the candidate
selection accordingly. We propose a fully automatic and low-complexity
method for selecting the candidate replacement patches
based on their agreement with the undamaged part of the target
patch and with the neighboring undamaged areas, along directions
where the structures are likely to propagate. Let zi denote
an image patch centered at position i, S( , z zi j) a certain measure
of similarity between zi and z j, and denote by Ni k, a directional
neighborhood of zi along direction k. We define prior
preference Pi j , for selecting a source patch zi as a candidate
replacement for the damaged target patch z j as follows:
Pi j , S S ( ,i j) ( max , ). k l N
i l
j k,
= z z + z z
!
/ (3)
The first term measures, as usual, the similarity with the
known part of the target patch. The novelty is in the second term,
which takes care of the agreement with the wider context
around the target patch. In particular, the more the candidate
patch zi fits with the neighborhood of the damaged patch z j in
any direction where structures of interest are likely to propagate,
the more preference it will get in the selection process.
Common measures of patch similarity are defined in terms of
the sum of squared differences among the patches D( , z zi j)
i j ,
2 = - z z calculated over the known pixels. We used
S D ( , z zi j) ( =- z zi j , ) for the candidate selection in (3). With
this improved candidate selection process in combination with
simple greedy inpainting (selection of one replacement patch at
each position), we already obtain a clear improvement over the
earlier method from [7], as is visible in Figure 8 (notice, in particular,
that the effect of deleting parts of letters is less severe).
One can also select multiple candidates, with several largest values
of Pi j , in (3) and subsequently solve the resulting “puzzle”
using a global optimization method like in [17] and [25]. It
would be interesting to explore also alternative solutions, like
the statistics of patch offsets [16] or hierarchical, superresolution-based
inpainting [18].

ผลลัพธ์ (ไทย) 1:

แนะนำการเลือกซอฟต์แวร์ผู้สมัครตามข้อตกลงกับพื้นที่ไม่เสียหายเกี่ยวข้องกับความคิดของการแสดงศักยภาพระดับโลกแนะนำ [29] ในวิดีโอเสร็จ วิธีการ [29]มีประสิทธิภาพมากสำหรับการจำลองพื้นที่ขาดใหญ่และพื้นผิวแต่มันไม่สามารถรักษาความต่อเนื่องของโครงสร้าง curvilinear ทางเลือกโซลูชั่นโครงสร้างพร้อมระบุผู้เผยแพร่บรรทัด [19], [28] แสดงให้เห็นผลลัพธ์ที่ดี ในการแก้ไขภาพ แต่สำหรับแอพลิเคชันของเราจำนวนขัดจังหวะโดยผู้ใช้ต้องการวิธีดังกล่าวจะห้ามปรามความคิดหลักของวิธีการของเราจะตรวจสอบพร้อมทิศทางของท้องถิ่นโครงสร้างเผยแพร่ และปรับผู้สมัครเลือกตามนี้ เราเสนอคำอัตโนมัติ และความ ซับซ้อนต่ำวิธีการเลือกซอฟต์แวร์แทนผู้สมัครตามข้อตกลงของตนกับส่วนไม่เสียหายของเป้าหมายปรับปรุงและ มี พื้นที่ไม่เสียหายใกล้เคียง ตามทิศทางซึ่งโครงสร้างที่มีแนวโน้มที่จะเผยแพร่ ให้ซิแสดงการปรับปรุงรูปแปลกที่ตำแหน่ง S ( เจซิ z) การวัดของความคล้ายคลึงกันระหว่างซิและ z j และแสดง โดย Ni k ทิศการใกล้ซิตามทิศทาง k เรากำหนดก่อนชอบพี่เจ สำหรับการเลือกเป็นแหล่งปรับปรุงซิเป็นผู้แทนเป้าหมายเสียหายแก้ไข z j เป็นดังนี้:ผี j, S S (, ฉันเจ) (สูงสุด,) k l Nฉัน lj k= z z + z z!/ (3)ในระยะแรกวัด ตามปกติ คล้ายคลึงกับการส่วนหนึ่งที่รู้จักกันของแก้ไขเป้าหมาย นวัตกรรมที่อยู่ในระยะที่สองซึ่งจะดูแลข้อตกลงกับบริบทกว้างขึ้นสถานปรับปรุงเป้าหมายการ โดยเฉพาะอย่างยิ่ง ฟังเพิ่มเติมแพทช์ซิพอดีกับพื้นที่ใกล้เคียงของ j z แก้ไขความเสียหายในทิศทางที่จะเผยแพร่ โครงสร้างที่น่าสนใจตั้งค่าเพิ่มเติมก็จะได้รับในการเลือกมีกำหนดมาตรการทั่วไปของโปรแกรมปรับปรุงความคล้ายคลึงกันในแง่ของผลรวมของผลต่างกำลังสองระหว่างโปรแกรม D ( เจซิ z)ผมเจ2 = - z z คำนวณกว่าพิกเซลที่รู้จัก เราใช้S D ( เจซิ z) (= z เจซิ,) ในการเลือกผู้สมัครใน (3) มีกระบวนการเลือกผู้สมัครที่ดีขึ้นนี้ร่วมกับอย่างตะกละ inpainting (เลือกหนึ่งแทนการปรับปรุงที่แต่ละตำแหน่ง), เราแล้วได้รับการปรับปรุงที่ชัดเจนกว่านี้วิธีการก่อนหน้านี้ [7], เป็นแสดงในรูปที่ 8 (สังเกต โดยเฉพาะผลของการลบส่วนของจดหมายว่ารุนแรงน้อย)หนึ่งยังสามารถเลือกหลายอันดับ ค่าหลายที่ใหญ่ที่สุดของผีเจ ใน (3) และต่อมาแก้ได้ "ปริศนา"ใช้วิธีการเพิ่มประสิทธิภาพของส่วนกลางเช่นใน [17] และ [25] มันจะน่าสนใจให้บริการโซลูชั่นสำรอง นอกจากนี้เช่นสถิติของแพทช์เหลื่อม [16] หรือลำดับชั้น โดย superresolutioninpainting [18]

ผลลัพธ์ (ไทย) 2:

แนวทางเลือกของแพทช์ผู้สมัครโดยข้อตกลงดังกล่าวมีพื้นที่เสียหายเป็นที่เกี่ยวข้องกับความคิดของการเชื่อมโยงภาพทั่วโลกนำมาใช้ใน[29] แล้วเสร็จวิดีโอ วิธีการของ [29] มีประสิทธิภาพมากสำหรับการจำลองพื้นที่ที่ขาดหายไปมีขนาดใหญ่และพื้นผิวแต่ไม่ได้รักษาความต่อเนื่องของโครงสร้างโค้ง ทางเลือกโซลูชั่นที่เผยแพร่โครงสร้างตามที่ผู้ใช้ระบุสาย[19], [28] แสดงให้เห็นผลลัพธ์ที่ยอดเยี่ยมในการแก้ไขภาพ แต่สำหรับโปรแกรมของเราจำนวนผู้ใช้ที่จำเป็นโดยวิธีการดังกล่าวจะห้ามปราม. แนวคิดหลักของวิธีการของเราคือการ พร้อมกันตรวจสอบทิศทางของการขยายพันธุ์โครงสร้างท้องถิ่นและปรับตัวเข้ากับผู้สมัครที่เลือกตามความเหมาะสม เรานำเสนออย่างอัตโนมัติและต่ำซับซ้อนวิธีการเลือกแพทช์แทนผู้สมัครขึ้นอยู่กับข้อตกลงกับส่วนที่เสียหายของเป้าหมายแพทช์และมีพื้นที่เสียหายเพื่อนบ้านตามทิศทางที่โครงสร้างมีแนวโน้มที่จะเผยแพร่ ขอแสดงซี่แพทช์ภาพศูนย์กลางที่ฉันตำแหน่ง S (ซีซี่ญ) มาตรการบางอย่างของความคล้ายคลึงกันระหว่างซี่และZJ และแสดงโดย Ni k เป็นทิศทางย่านZi ตามทิศทาง k เรากำหนดก่อนที่เจ Pi การตั้งค่าสำหรับการเลือกแหล่งที่มาแพทช์ซี่เป็นผู้สมัครแทนแพทช์เป้าหมายเสียหายZJ ดังนี้พี่เจเอสเอส(เจ) (สูงสุด) kl ไม่มีอิลลินอยส์JK, = + ZZ ZZ! / (3) มาตรการระยะแรกเป็นปกติความคล้ายคลึงกันกับที่เป็นส่วนหนึ่งที่เป็นที่รู้จักของแพทช์เป้าหมาย ความแปลกใหม่อยู่ในระยะที่สองซึ่งจะดูแลข้อตกลงกับบริบทที่กว้างขึ้นรอบแพทช์เป้าหมาย โดยเฉพาะอย่างยิ่งที่มากกว่าผู้สมัครแพทช์ซี่เหมาะกับพื้นที่ใกล้เคียงของ ZJ แพทช์ได้รับความเสียหายในทิศทางที่โครงสร้างใดๆ ที่น่าสนใจมีแนวโน้มที่จะแพร่กระจาย, การตั้งค่ามากขึ้นก็จะได้รับในขั้นตอนการคัดเลือก. มาตรการร่วมกันของความคล้ายคลึงกันแพทช์ที่กำหนดไว้ในข้อตกลง ของผลรวมของความแตกต่างของสองในหมู่แพทช์ที่D (ซีซี่ญ) เจ, 2 = - ZZ คำนวณมากกว่าพิกเซลที่รู้จักกัน เราใช้SD (ซีซี่ญ) (= - ซีซี่เจ) สำหรับการเลือกผู้สมัครใน (3) ด้วยขั้นตอนนี้การเลือกผู้สมัครที่ดีขึ้นร่วมกับการจัดการระบบสีโลภง่าย(การเลือกของแพทช์หนึ่งแทนในแต่ละตำแหน่ง) เรามีอยู่แล้วได้รับการปรับปรุงที่ชัดเจนมากกว่าวิธีการก่อนหน้านี้จาก[7] ในขณะที่ปรากฏอยู่ในรูปที่ 8 (แจ้งให้ทราบล่วงหน้าโดยเฉพาะอย่างยิ่งที่มีผลในการลบบางส่วนของตัวอักษรที่มีความรุนแรงน้อยกว่า). หนึ่งยังสามารถเลือกผู้สมัครหลายคนที่มีหลายค่าที่ใหญ่ที่สุดของเจพี่ใน (3) และต่อมาแก้ปัญหาที่เกิดขึ้น "ปริศนา" โดยใช้วิธีการเพิ่มประสิทธิภาพระดับโลกเช่นใน [17] และ [25] มันจะน่าสนใจในการสำรวจยังโซลูชันทางเลือกเช่นเดียวกับสถิติของแพทช์ชดเชย[16] หรือลำดับชั้น SuperResolution ตามการจัดการระบบสี[18]

ผลลัพธ์ (ไทย) 3:

แนวทางการเลือกแพทช์ผู้สมัครโดยข้อตกลง
กับพื้นที่ความเสียหายที่เกี่ยวข้องกับความคิดของโลกภาพการ
แนะนำตัว [ 29 ] วิดีโอเสร็จสมบูรณ์ วิธีการของ [ 29 ]
มีประสิทธิภาพมากสำหรับที่ประสบความสำเร็จขนาดใหญ่หายไปพื้นที่และพื้นผิว ,
แต่มันไม่ได้รักษาความต่อเนื่องของโครงสร้างเชิงเส้นโค้ง . ทางเลือกโซลูชั่นที่เผยแพร่โครงสร้างตาม

ผู้ใช้ที่ระบุเส้น [ 19 ] , [ 28 ] แสดงผลลัพธ์ที่ยอดเยี่ยมในการแก้ไขภาพ แต่สำหรับ
ใบสมัครของเราจำนวนของการแทรกแซงของผู้ใช้ตามที่
วิธีการดังกล่าวจะห้ามปราม
แนวคิดหลักของวิธีการของเราคือการตรวจสอบเส้นทางของการขยายพันธุ์พร้อมกัน
โครงสร้างท้องถิ่นและปรับให้เข้ากับการเลือกผู้สมัคร
ตามนั้น เราเสนออย่างอัตโนมัติและความซับซ้อน
น้อยวิธีการเลือกผู้สมัครเปลี่ยนแพทช์
ตามข้อตกลงของพวกเขาด้วย ส่วนความเสียหายของเป้าหมายและแพทช์กับเพื่อนบ้านไม่เสียหาย

พื้นที่ตามเส้นทางที่โครงสร้างมีแนวโน้มที่จะเผยแพร่ . การแก้ไขภาพให้จื่อแสดง
ศูนย์กลางที่ตำแหน่ง i , s ( Z จื่อ J ) บางวัด
ของความคล้ายคลึงกันระหว่างจื่อและ z J , และแสดงโดย ni k
, ทิศทางเพื่อนบ้านของจื่อแนว K . เรากำหนดก่อน
ความชอบ พีเจ สำหรับเลือกแหล่งของแพทช์จื่อเป็นผู้สมัคร
แทนความเสียหายเป้าหมายแพท Z J ดังนี้
pi J , S . s ( ฉันเจ ) ( Max ) K l n
ผม
J K ,
= Z Z Z Z
!

/ / ( 3 ) ในระยะแรกมาตรการตามปกติ ความเหมือนกับ
รู้จักส่วนหนึ่งของแพทช์ของเป้าหมาย นวัตกรรม คือ ในระยะที่สอง
ซึ่งจะใช้เวลาการดูแลของข้อตกลงกับบริบทที่กว้างขึ้น
รอบแพทช์ของเป้าหมาย โดยเฉพาะยิ่งผู้สมัคร
แพทซิเหมาะกับบ้านที่เสียหายในแพทช์ Z J
ทิศทางใดที่โครงสร้างของอัตราดอกเบี้ยมีแนวโน้มที่จะเผยแพร่
ความชอบมันมากขึ้น , จะได้รับในกระบวนการเลือก
มาตรการทั่วไปของแพทช์จะถูกกำหนดในแง่ของ
คล้ายคลึงผลรวมของความแตกต่างระหว่างสองแพทช์ D ( Z จื่อ J )
ฉัน J ,
2 = - Z Z คำนวณมากกว่ารู้จักพิกเซล เราใช้
S D ( Z จื่อ J ) ( = Z จื่อ J ) สำหรับการเลือกผู้สมัครใน ( 3 ) กระบวนการคัดเลือกผู้สมัครกับ
นี้ขึ้นร่วมกับ
InPaintingComment โลภง่าย ( เลือกแทนหนึ่งแพทช์ที่
แต่ละตำแหน่ง ) เราก็จะได้รับการปรับปรุงที่ชัดเจนกว่า
ก่อนหน้านี้วิธีการจาก [ 7 ] , จะปรากฏในรูปที่ 8 ( สังเกต โดยเฉพาะ
ว่าผลของการลบส่วนของตัวอักษรจะรุนแรงน้อยกว่า ) .
หนึ่งยังสามารถเลือกผู้สมัครหลายหลายมากที่สุดค่าของ PI
J , ( 3 ) และต่อมาได้แก้ปัญหาที่เกิด " ปริศนา "
โดยใช้ วิธีการเพิ่มประสิทธิภาพทั่วโลกเช่นใน [ 17 ] และ [ 25 ] มันอาจจะน่าสนใจที่จะสำรวจ

ยังโซลูชั่นทางเลือก เช่นสถิติของแพทช์เหลื่อม [ 16 ] หรือลําดับชั้น superresolution
InPaintingComment [ 18 ] ตาม