Guiding the selection of candidate

Guiding the selection of candidate patches by the agreement
with undamaged areas is related to the idea of global visual coherence introduced in [29] for video completion. The approach of [29]
is very effective for replicating larger missing areas and textures,
but it does not treat continuation of curvilinear structures. Alter-
native solutions that propagate structures along user-specified
lines [19], [28] showed excellent results in photo editing, but for
our application the amount of the user intervention required by
such methods would be prohibitive.
The main idea of our approach is to simultaneously detect
directions of local structure propagation and adapt the candidate
selection accordingly. We propose a fully automatic and low-complexity method for selecting the candidate replacement patches
based on their agreement with the undamaged part of the target
patch and with the neighboring undamaged areas, along directions where the structures are likely to propagate. Let i z denote
an image patch centered at position , i (, ) S ij zz a certain measure of similarity between i z and , j z and denote by N , ik a directional neighborhood of i z along direction . k We define prior
preference P, ij for selecting a source patch i z as a candidate
replacement for the damaged target patch j z as follows:

The first term measures, as usual, the similarity with the
known part of the target patch. The novelty is in the second term,
which takes care of the agreement with the wider context
around the target patch. In particular, the more the candidate
patch i z fits with the neighborhood of the damaged patch j z in
any direction where structures of interest are likely to propagate, the more preference it will get in the selection process.
Common measures of patch similarity are defined in terms of
the sum of squared differences among the patches (, ) D ij zz, ij
2
zz =- calculated over the known pixels. We used
(, )( ,) SD ij ij zz zz =- for the candidate selection in (3). With
this improved candidate selection process in combination with
simple greedy inpainting (selection of one replacement patch at
each position), we already obtain a clear improvement over the
earlier method from [7], as is visible in Figure 8 (notice, in particular, that the effect of deleting parts of letters is less severe).
One can also select multiple candidates, with several largest values of P, ij in (3) and subsequently solve the resulting “puzzle”
using a global optimization method like in [17] and [25]. It
would be interesting to explore also alternative solutions, like
the statistics of patch offsets [16] or hierarchical, superresolution-based inpainting [18].

ผลลัพธ์ (ไทย) 1:

แนะนำการเลือกซอฟต์แวร์ผู้สมัครตามข้อตกลง กับพื้นที่ไม่เสียหายเป็นที่เกี่ยวข้องกับความคิดของโปรเจคภาพสากลที่นำวิดีโอเสร็จใน [29] วิธีการ [29] มีประสิทธิภาพมากสำหรับการจำลองพื้นที่ขาดใหญ่และพื้นผิว แต่มันไม่สามารถรักษาความต่อเนื่องของโครงสร้าง curvilinear Alter-โซลูชั่นเป็นที่เผยแพร่โครงสร้างตามที่ผู้ใช้ระบุ บรรทัด [19], [28] แสดงให้เห็นผลลัพธ์ที่ดี ในการแก้ไขภาพ แต่สำหรับ แอพลิเคชันของเราจำนวนขัดจังหวะโดยผู้ใช้ต้องการ วิธีดังกล่าวจะห้ามปราม ความคิดหลักของวิธีการของเราจะตรวจสอบพร้อม ทิศทางของท้องถิ่นโครงสร้างเผยแพร่ และปรับผู้สมัคร เลือกตามนี้ เราเสนอวิธีการอย่างอัตโนมัติ และความ ซับซ้อนต่ำสำหรับการเลือกซอฟต์แวร์แทนผู้สมัคร ตามข้อตกลงของตนกับส่วนไม่เสียหายของเป้าหมาย ปรับปรุงและ มี พื้นที่ไม่เสียหายใกล้เคียง ตามทิศทางที่โครงสร้างที่มีแนวโน้มที่จะแพร่กระจาย ให้ฉัน z แสดง การแก้ไขรูปภาพแปลกตำแหน่ง zz ij แค S i () ที่วัดความคล้ายระหว่างฉัน z และ j z และแสดง โดย N, ik ย่านทิศทางของไอซีตามทิศทาง k ที่เรากำหนดก่อน ชอบ P, ij แคสำหรับเลือกแหล่งโปรแกรมแก้ไขฉัน z เป็นผู้ แทน z j ปรับปรุงเป้าหมายเสียหายเป็นดังนี้: ในระยะแรกวัด ตามปกติ คล้ายคลึงกับการ ส่วนหนึ่งที่รู้จักกันของแก้ไขเป้าหมาย นวัตกรรมที่อยู่ในระยะที่สอง ซึ่งจะดูแลข้อตกลงกับบริบทกว้างขึ้น สถานปรับปรุงเป้าหมายการ โดยเฉพาะอย่างยิ่ง ฟังเพิ่มเติม แก้ไขฉัน z เหมาะสมกับพื้นที่ใกล้เคียงของ z j ปรับปรุงเสียใน ทิศทางใดที่จะเผยแพร่ การกำหนดลักษณะอื่น ๆ นั้นจะได้รับในการเลือกโครงสร้างที่น่าสนใจ มีกำหนดมาตรการทั่วไปของโปรแกรมปรับปรุงความคล้ายคลึงกันในแง่ของ ผลรวมของผลต่างกำลังสองระหว่างการปรับปรุง () D ij แค zz, ij แค2zz = - คำนวณกว่าพิกเซลที่รู้จัก เราใช้ (, ) ( ,) SD ij แค ij แค zz zz =- สำหรับการเลือกผู้สมัครใน (3) มี กระบวนการเลือกผู้สมัครที่ดีขึ้นนี้ร่วมกับ อย่างตะกละ inpainting (เลือกหนึ่งแทนการปรับปรุงที่ แต่ละตำแหน่ง), เราแล้วได้รับการปรับปรุงที่ชัดเจนกว่านี้ ก่อนหน้านี้วิธี [7], เป็นแสดงในรูปที่ 8 (สังเกต โดยเฉพาะ ว่าผลของการลบส่วนของตัวอักษรความรุนแรงน้อยกว่า) สามารถเลือกหลายอันดับ ค่าหลายค่าที่ใหญ่ที่สุดของ P, ij แคใน (3) และต่อมาแก้ได้ "ปริศนา" ใช้วิธีการเพิ่มประสิทธิภาพของส่วนกลางเช่นใน [17] และ [25] มัน จะน่าสนใจให้บริการโซลูชั่นสำรอง นอกจากนี้เช่น สถิติของแพทช์ปรับค่า [16] หรือลำดับ ตาม superresolution inpainting [18]

ผลลัพธ์ (ไทย) 2:

แนวทางเลือกของแพทช์ผู้สมัครโดยข้อตกลงดังกล่าวมีพื้นที่เสียหายเป็นที่เกี่ยวข้องกับความคิดของการเชื่อมโยงภาพทั่วโลกนำมาใช้ใน [29] แล้วเสร็จวิดีโอ
วิธีการของ [29]
มีประสิทธิภาพมากสำหรับการจำลองพื้นที่ที่ขาดหายไปมีขนาดใหญ่และพื้นผิว
แต่ไม่ได้รักษาความต่อเนื่องของโครงสร้างโค้ง หรืออีกวิธีหนึ่งโซลูชั่นพื้นเมืองที่เผยแพร่โครงสร้างตามที่ผู้ใช้ระบุสาย[19], [28] แสดงให้เห็นผลลัพธ์ที่ยอดเยี่ยมในการแก้ไขภาพ แต่สำหรับโปรแกรมของเราจำนวนผู้ใช้ที่จำเป็นโดยวิธีการดังกล่าวจะห้ามปราม. แนวคิดหลักของวิธีการของเรา พร้อมกันคือการตรวจสอบทิศทางของการขยายพันธุ์โครงสร้างท้องถิ่นและปรับตัวเข้ากับผู้สมัครที่เลือกตามความเหมาะสม เราเสนอวิธีการอย่างอัตโนมัติและความซับซ้อนต่ำสำหรับการเลือกแพทช์แทนผู้สมัครขึ้นอยู่กับข้อตกลงกับส่วนที่เสียหายของเป้าหมายแพทช์และมีพื้นที่เสียหายเพื่อนบ้านตามทิศทางที่โครงสร้างมีแนวโน้มที่จะเผยแพร่ ขอแสดง iz แพทช์ภาพศูนย์กลางในตำแหน่งที่ฉัน () S เจ ZZ มาตรการบางอย่างของความคล้ายคลึงกันระหว่าง iz และ jz และแสดงโดย N, IK ย่านทิศทางของ iz ตามทิศทาง k เรากำหนดก่อนที่P ตั้งค่าสำหรับการเลือกเจแพทช์ iz แหล่งที่มาเป็นผู้สมัครแทนแพทช์เป้าหมายjz เสียหายดังนี้มาตรการระยะแรกเป็นปกติความคล้ายคลึงกันกับที่เป็นส่วนหนึ่งของแพทช์เป็นที่รู้จักในกลุ่มเป้าหมาย ความแปลกใหม่อยู่ในระยะที่สองซึ่งจะดูแลข้อตกลงกับบริบทที่กว้างขึ้นรอบแพทช์เป้าหมาย โดยเฉพาะอย่างยิ่งที่มากกว่าผู้สมัครแพทช์ iz เหมาะกับพื้นที่ใกล้เคียงของ jz แพทช์ได้รับความเสียหายในทิศทางที่โครงสร้างใดๆ ที่น่าสนใจมีแนวโน้มที่จะแพร่กระจาย, การตั้งค่ามากขึ้นก็จะได้รับในขั้นตอนการคัดเลือก. มาตรการร่วมกันของความคล้ายคลึงกันแพทช์ที่กำหนดไว้ในข้อตกลง ของผลรวมของความแตกต่างของสองในหมู่แพทช์(ที่) D เจ ZZ, เจ2 ZZ = - คำนวณมากกว่าพิกเซลที่รู้จักกัน เราใช้() () SD เจเจ ZZ ZZ = - สำหรับการเลือกผู้สมัครใน (3) ด้วยขั้นตอนนี้การเลือกผู้สมัครที่ดีขึ้นร่วมกับการจัดการระบบสีโลภง่าย(การเลือกของแพทช์หนึ่งแทนในแต่ละตำแหน่ง) เรามีอยู่แล้วได้รับการปรับปรุงที่ชัดเจนมากกว่าวิธีการก่อนหน้านี้จาก[7] ในขณะที่ปรากฏอยู่ในรูปที่ 8 (แจ้งให้ทราบล่วงหน้าโดยเฉพาะอย่างยิ่ง ที่มีผลในการลบบางส่วนของตัวอักษรที่มีความรุนแรงน้อยกว่า). หนึ่งยังสามารถเลือกผู้สมัครหลายคนที่มีค่าที่ใหญ่ที่สุดหลาย P, IJ ใน (3) และต่อมาแก้ปัญหาที่เกิดขึ้น "ปริศนา" โดยใช้วิธีการเพิ่มประสิทธิภาพระดับโลกเช่นใน [17] และ [25] มันจะน่าสนใจในการสำรวจยังโซลูชันทางเลือกเช่นเดียวกับสถิติของแพทช์ชดเชย[16] หรือลำดับชั้น SuperResolution ตามการจัดการระบบสีบ [18]

ผลลัพธ์ (ไทย) 3:

แนวทางการเลือกแพทช์ผู้สมัครโดยข้อตกลง
กับพื้นที่ความเสียหายที่เกี่ยวข้องกับความคิดของโลกภาพการแนะนำ [ 29 ] วิดีโอเสร็จสมบูรณ์ วิธีการของ [ 29 ]
มีประสิทธิภาพมากสำหรับที่ประสบความสำเร็จขนาดใหญ่หายไปพื้นที่และพื้นผิว ,
แต่มันไม่ได้รักษาความต่อเนื่องของโครงสร้างเชิงเส้นโค้ง . แก้ไข -
พื้นเมืองโซลูชั่นที่เผยแพร่โครงสร้างตามผู้ใช้กำหนด
เส้น [ 19 ] , [ 28 ] แสดงผลลัพธ์ที่ยอดเยี่ยมในการแก้ไขภาพ แต่สำหรับ
ใบสมัครของเราจำนวนของการแทรกแซงของผู้ใช้ตามที่
วิธีการดังกล่าวจะห้ามปราม
แนวคิดหลักของวิธีการของเราคือการตรวจสอบเส้นทางของการขยายพันธุ์พร้อมกัน
โครงสร้างท้องถิ่นและปรับให้เข้ากับการเลือกผู้สมัคร
ตามนั้นเราเสนออย่างอัตโนมัติและวิธีการที่ซับซ้อนน้อยสำหรับการเลือกผู้สมัครเปลี่ยนแพทช์
ตามข้อตกลงของพวกเขาด้วย ส่วนความเสียหายของแพทช์และเป้าหมาย
กับเพื่อนบ้านไม่เสียหายพื้นที่ตามเส้นทางที่โครงสร้างเป็นโอกาสในการเผยแพร่ ให้ฉันแสดงการแก้ไขภาพ
z เป็นศูนย์กลางที่ตำแหน่ง I ( , ij ZZ ) วัดหนึ่งของความคล้ายคลึงกันระหว่างชั้น Z และJ Z และแสดงโดย N IK เป็นทิศทางใกล้กับฉัน Z ตามทิศทาง K เรากำหนดก่อน
) p , IJ สำหรับเลือกแหล่งของแพทช์ผม Z เป็นผู้สมัคร
แทนเสียหายแก้ไขเป้าหมาย J Z ดังนี้

มาตรการในระยะแรกเป็นปกติ ความเหมือนกับ
รู้จักส่วนหนึ่งของแพทช์ของเป้าหมาย นวัตกรรม คือ ในระยะที่สอง
ซึ่งจะใช้เวลาการดูแลของข้อตกลงกับบริบทที่กว้างขึ้น
รอบแพทช์ของเป้าหมาย โดยเฉพาะยิ่งผู้สมัคร
แพทช์ผม Z เหมาะกับบ้านที่เสียหายในแพทช์ J Z
ทิศทางใดที่โครงสร้างดอกเบี้ยมีแนวโน้มที่จะเผยแพร่ ยิ่งโดนใจ จะได้รับการคัดเลือก
มาตรการทั่วไปของแพทช์จะถูกกำหนดในแง่ของ
คล้ายคลึงผลรวมของความแตกต่างระหว่างสองแพทช์ ( , ) D IJ IJ ไจ๋ไจ๋
,
2 = - คำนวณมากกว่ารู้จักพิกเซล เราใช้
( , ) ( , ij ij ไจ๋ไจ๋ ) SD = - สำหรับการเลือกผู้สมัครใน ( 3 ) กระบวนการคัดเลือกผู้สมัครกับ
นี้ขึ้นร่วมกับ
InPaintingComment โลภง่าย ( เลือกแทนหนึ่งแพทช์ที่
แต่ละตำแหน่ง ) เราก็จะได้รับการปรับปรุงที่ชัดเจนกว่า
ก่อนหน้านี้วิธีการจาก [ 7 ] , จะปรากฏในรูปที่ 8 ( สังเกต โดยเฉพาะ ซึ่งผลของการลบส่วนของตัวอักษรที่เป็นรุนแรงน้อย )
หนึ่งยังสามารถเลือกผู้สมัครหลาย ที่มีค่ามากที่สุดหลายของ P , ij ( 3 ) และต่อมาได้แก้ปัญหาที่เกิด " ปริศนา "
ใช้ทั่วโลกเพิ่มประสิทธิภาพวิธีการเหมือนใน [ 17 ] และ [ 25 ] มันอาจจะน่าสนใจที่จะสำรวจ
ยังโซลูชั่นทางเลือกเหมือน
สถิติของแพทช์เหลื่อม [ 16 ] หรือลําดับชั้นตาม superresolution InPaintingComment [ 18 ]