I E E E S I G N A L P R O C E S S IN G L E T T E RS , V O L . 2 2 , N O . 4 , A P R I L 2 0 1 5 417
Deblurred Images Post-Processing
by Poisson Warping
Alexandra Nasonova and Andrey Krylov , M e m b e r, I E E E
A b s tr a ct —I n t h i s w o r k w e d e v e l o p a p o s t - p ro c e s s i n g a l g o r i t h m
w h i c h e n h a n c e s t h e res u l t s o f t h e e x i s t i n g i m a g e d eb lu rr i n g
m e t h o d s . I t p e r f o r m s a d d i t io nal edge sharpening using grid
warping. The idea of the proposed algorithm is to transform
the neighborhood of the edge so that the neighboring pixels
move closer to the edge, and then resample the image from the
warped grid to the original uniform grid. The proposed technique
preserves image textures while making the edges sharper. The
effectiveness of the method is shown for basic deblurring methods
on LIVE database images with added blur and noise.
I n d e x Ter m s —Image sharpening, deblurring, edge model, image
grid warping, post-processing.
I. INTRODUCTION
T HERE are some fairly powerful techniques for image de-blurring [1], [2], [3]. The typical problem of image deblurring methods is finding optimal parameters for a compromise between smooth result with blurry edges and sharp result
with artifacts like ringing or noise ampli fication. In this work
we present a new post-processing algorithm for image deblurring with enhancement of edge sharpness.
We localize the area of interest to the neighborhood of the
edges. The idea is to transform the neighborhood of the blurred
edge so that the neighboring pixels move closer to the edge, and
then resample the image from the warped grid to the original
uniform grid.
The warping approach is related to the morphology-based
sharpening [4] and shock filters [5], [6], [7]. But these methods
make the image appear piecewise constant which is effective
mostly for cartoon-like images. The proposed method is applied to edges locally so the textures are preserved a priori, also
warping compresses the edge neighborhood at fixed rate and
does not make the image piecewise constant.
The warping approach for image enhancement was introduced in [8]. The warping of the grid is performed according
to the solution of a differential equation that is derived from
the warping process constraints. The solution of the equation
Manuscript received July 22, 2014; revised September 10, 2014; accepted
September 29, 2014. Date of publication October 02, 2014; date of current version October 09, 2014. The work was supported by RSCF Grant 14-11-00308.
The associate editor coordinating the review of this manuscript and approving
it for publication was Prof. Oscar C. Au.
The authors are with the Faculty of Computational Mathematics and Cybernetics, Lomonosov Moscow State University, Moscow, Russia (e-mail:
nasonova@cs.msu.ru; kryl@cs.msu.ru).
Color versions of one or more of the figures in this paper are available online
at http://ieeexplore.ieee.org.
Digital Object Identi fier 10.1109/LSP.2014.2361492
Fig. 1. The idea of 1D edge sharpening. (a) Proposed approach: pixels are
shifted. (b) Typical deblurring approach: pixel values are modi fied.
is used to move the edge neighborhood closer to the edge, and
the areas between edges are stretched. The method has several
parameters, and the choice of optimal values for the best result
is not easy. Due to the global nature of the method the resulting
shapes of the edges are sometimes distorted.
In [9] the warping map is computed directly using the values
of left and right derivatives. In both methods [8] and [9] the pixel
shifts are proportional to the gradient values. It results in oversharpening of already sharp and high contrast edges and insuffi-
cient sharpening of blurry and low contrast edges. Both methods
also introduce small local changes in the direction of edges and
produce aliasing effect due to calculation of horizontal and vertical warping components separately.
II. ONE-DIMENSIONAL EDGE SHARPENING
In this section we describe the idea of a single edge enhancement using a pixel grid transformation.
A . A G r i d Wa r p i n g
Compared to a sharp edge pro file, the pro file of a blurred
edge is more gradual. So in order to make the edge sharper its
transient width should be decreased (see Fig. 1).
For any edge centered at its sharper version
can be obtained shifting the pixels from the neighborhood of
the edge towards its center. The displacement function describes the shift of a pixel with coordinate to a new coordinate
.
The warped grid should remain monotonic (i.e. for any
new coordinates should be ), so the
displacement function should match the following constraint:
(1)
Another constraint localizes the area of warping effect near the
edge center:
1070-9908 © 2014 IEEE. Personal use is permitted, but republication/redistribution requires IEEE permission.
See http://www.ieee.org/publications_standards/publications/rights/index.html for more information.
41 8 IEEE SIGNAL PROCESSING LETTERS, VOL. 22, NO. 4, APRIL 2015
Fig. 2. Example of proximity function for edge sharpening.
Fig. 3. Edges warped using (3) with different parameters. Blue function
is the model edge with some noise. Red function is the result of warping. Green
line is the proximity function (a) Input edge (b) Approach (2) (c)
(d) (e) (f) .
The displacement function greatly in fluences the result of
the edge warping. On the one hand, the edge slope should become steeper. On the other hand, the area near the edge should
not be stretched over some prede fined limit to avoid wide gaps
between adjacent pixels in the discrete case.
B . T h e P ro x i m i t y F u n c t i o n
The displacement function is connected with the proximity of image pixels .
The proximity is the distance between adjacent pixels after
image warping. This value is inverse to the density value. If the
proximity function is less than 1, then the area is densi fied
at the point . If the proximity is greater than 1, then the grid is
rare fied. For an unwarped image .
The constraint (1) leads to non-negativity of the proximity
function. Also high values of the proximity function should be
avoided, because it will be hard to perform interpolation in rare fication areas if the rare fication is too strong.
We use the proximity function to calculate the displacement function: .
C. Edge Model
The choice of the displacement function is based on the assumption that the blurred edge can be approximated by
an ideal step edge convolved with Gaussian filter with
known parameter [10]:
where .
D. Choosing the Proximity Function
Consider the following physical model: the point is a particle of fixed mass situated on the slope . The particle
is connected by a spring to a vertical axis. Due to the force of
gravity the spring is deformed until the particle reaches equilibrium at the point . This model ensures that the shape of
the edge is not distorted and the grid transformation is smooth.
This model produces the following displacement function:
The constant controls the level of the grid warping. With
the increase of the value of the edge becomes sharper. The
value is limited by the constraint (1)
According to this model, the proximity function takes the form:
(2)
This approach has a limitation: it controls the areas of densi fi-
cation and rare fication simultaneously.
We approximate the proximity function (2) with the difference of two Gaussian functions in order to control the areas of
rare fication and densi fication independently:
(3)
Parameter controls the width of the densi fication area while
parameter controls the width of the rare fication area. When
, the proximity function (3) will converge to (2).
Observations show that with , where is the width of
the edge, the width of the densi fication area becomes narrower
(see Fig. 3(c)) while with the width of the densi fication
area becomes wider than the width of the edge (see Fig. 3(d)).
Using gives reasonable results. High values of results
in too wide rare fication area (see Fig. 3(f)).
Typically, images contain many edges, so it is desirable to
localize the area of warping effect to the neighborhood of the
edges, therefore the values of parameters and should be
as low as possible.
For the edge blurred with , we use . Parameter is
taken as . Good results are obtained with .
To achieve the strongest sharpening effect, we use the maximal
values of that matches the constraint (1):
N A SO N O VA A N D K RY L O V: D E B L U R R E D I M A G E S P O S T - P R O C E S S I N G B Y PO I SS O N WA R P I N G 4 1 9
F i g . 4 . D i s p l a c e m e n t s d i r e c t i o n s f o r 2 D g r i d w a r p i n g . T h e b l u e l i n e r e p r e s e n t s
t h e e x a c t e d g e l o c a t i o n , w h i t e c i r c l e s r e p r e s e n t e d g e p i x e l s, b l a c k c i r c l e s r e p r e s e n t p i x e l s f r o m t h e e d g e n e i g h b o r h o o d .
I I I . IMAGE SHARPENING USING WARPING
A . Tw o - D i m e n s i o n a l E x t e n s i o n
In the 2D case the displacement is a vector field . There
are some obvious constraints (see Fig. 4).
1) The shapes of the edges cannot be warped, so
for each edge point .
2) Also, there cannot be any turbulence: . Since
, the displacement field is assumed to be
gradient of some scalar function
.
3) The edge neighborhood points situated farther from the
edge cannot move closer to the edge than the neighborhood
points situated nearer to the edge. This condition can be
described in terms of the constraint (1) where 1D derivative
corresponds to a divergence of 2D vector field
and the proximity function takes the form:
Since , where is a Laplacian, the warping
problem can be posed as a Dirichlet problem for the Poisson
equation in the area of the image:
at image borders (4)
The second constraint here is the boundary condition: the displacements at image borders should be equal to zero.
B . T h e Wa r p i n g A l g o r i t h m
In order to get the same results as in the 1D case and to keep
the edge pixels
ฉัน E E E S ฉัน G N เป็น L P R O C E S S ใน G L E T T อีเอส V O L 2 2, N O 4, P R ฉัน L 2 0 1 5 417Deblurred ภาพหลังการประมวลผลโดยปัวแปรปรวนอเล็กซานดร้า Nasonova และ Andrey Krylov, M e m b e r ฉัน E E EB s tr ct เป็น — ฉัน h n t ฉัน s w o r k w e d e v e l o p กับ p o s t - p ro c e s s ฉันเป็น l g o r n g ฉัน t h mw h ผม c h e h n เป็น n c e s t h e ทรัพยากร u l t s o f t h e e x ผม s t ฉัน n g ฉัน m g e d eb ลู rr ฉัน n gm e t h o d s ฉัน t p e r f o r m s d d ฉัน t io nal ขอบเรื่องใช้เส้นตารางแปรปรวน ความคิดของอัลกอริทึมนำเสนอเป็นการ แปลงใกล้ขอบเพื่อให้พิกเซลย้ายเข้าไปขอบ และจากนั้น เปลี่ยนความละเอียดของภาพจากการตาราง warped ตารางเครื่องแบบเดิม เทคนิคการนำเสนอกวนภาพพื้นผิวขณะทำขอบคม ที่ประสิทธิผลของวิธีการแสดงวิธีพื้นฐาน deblurringบนฐานข้อมูลถ่ายทอดสดภาพเบลอเพิ่มและเสียงรบกวนฉัน e n d x s m เธอ — ภาพเรื่อง deblurring ขอบรูป ภาพตารางแปรปรวน หลังการประมวลผลI. บทนำT ที่นี่มีบางเทคนิคที่มีประสิทธิภาพค่อนข้างรูปเบลอ de-[1], [2], [3] ปัญหาทั่วไปของรูป deblurring วิธีคือการหาพารามิเตอร์ที่เหมาะสมสำหรับการประนีประนอมระหว่างผลเรียบ มีขอบตาพร่าและผลคมชัดมีสิ่งประดิษฐ์เช่น fication ampli ringing หรือเสียง ในงานนี้เรานำเสนอขั้นตอนวิธีการประมวลผลใหม่สำหรับ deblurring กับของความคมชัดของขอบภาพเราแปลสนใจใกล้กับบริเวณขอบ ความคิดที่จะแปลงย่านของที่ไม่คมชัดเอดจ์ให้พิกเซลไปชิดขอบ และแล้ว เปลี่ยนความละเอียดของภาพจากตาราง warped ต้นฉบับตารางเครื่องแบบเกี่ยวข้องกับการสัณฐานวิทยาโดยใช้วิธีการแปรปรวนคมชัด [4] และช็อกกรอง [5], [6], [7] แต่วิธีการเหล่านี้ทำให้ภาพปรากฏ คง piecewise ซึ่งมีผลบังคับใช้ส่วนใหญ่สำหรับภาพการ์ตูน วิธีการนำเสนอจะใช้ขอบภายในเพื่อให้พื้นผิวมีเก็บเป็น priori ยังแปรปรวนบีบบริเวณขอบที่อัตราคงที่ และทำให้ค่าคง piecewise รูปวิธีการแปรปรวนสำหรับเพิ่มประสิทธิภาพของภาพถูกนำมาใช้ใน [8] แปรปรวนของตารางการดำเนินการตามการแก้ปัญหาของสมการเชิงอนุพันธ์ที่ได้มาจากข้อจำกัดการแปรปรวน การแก้ปัญหาของสมการฉบับที่ 22 กรกฎาคม 2014 ได้รับ แก้ไข 10 กันยายน 2014 ยอมรับ29 กันยายน 2014 วันประกาศ 02 ตุลาคม 2014 วันที่ของเวอร์ชันปัจจุบัน 09 ตุลาคม 2014 งานที่ได้รับการสนับสนุน โดยเงินช่วยเหลือ RSCF 14-11-00308แก้ไขทีมประสานงานการตรวจทานฉบับนี้ และอนุมัติสำหรับงานพิมพ์ได้ศาสตราจารย์ Oscar C. Auผู้เขียนมีคณะคณิตศาสตร์คอมพิวเตอร์และมหาวิทยาลัย Lomonosov มอสโก มอสโคว รัสเซีย Cybernetics (อีเมล์:nasonova@cs.msu.ru; kryl@cs.msu.ru)รุ่นสีอย่างน้อยหนึ่งตัวเลขในกระดาษนี้มีออนไลน์ที่ http://ieeexplore.ieee.orgFier Identi วัตถุดิจิตอล 10.1109/LSP.2014.2361492Fig. 1 ความคิดเรื่องขอบ 1D (ก) เสนอวิธีการ: เป็นพิกเซลเปลี่ยน (ข) โดยทั่วไป deblurring วิธีการ: ค่าพิกเซลคือ modi ฟองใช้ในการย้ายพื้นที่ใกล้เคียงขอบชิดขอบ และพื้นที่ระหว่างขอบยืดออก วิธีการมีหลายพารามิเตอร์ และเลือกค่าที่เหมาะสมสำหรับผลดีที่สุดไม่ใช่เรื่องง่าย เนื่องจากโลกของวิธีการเกิดรูปทรงของขอบบางครั้งมีการผิดเพี้ยนใน [9] แผนที่แปรปรวนที่คำนวณโดยใช้ค่าโดยตรงของอนุพันธ์ซ้าย และขวา วิธีการ [8] และ [9] พิกเซลกะจะเป็นสัดส่วนกับค่าการไล่โทนสี ส่งผล oversharpening ความคมชัดสูง และคมชัดแล้วขอบและ insuffi-cient เรื่องขอบคมชัดพร่า และต่ำ ทั้งสองวิธีนอกจากนี้ยัง แนะนำเปลี่ยนแปลงท้องถิ่นขนาดเล็กในทิศทางของขอบ และสร้างนามแฝงผลเนื่องจากการคำนวณของแนวตั้ง และแนวนอนแปรปรวนประกอบแยกต่างหากII. ONE-DIMENSIONAL ขอบเรื่องในส่วนนี้ เราอธิบายความคิดของการเพิ่มขอบเดียวที่ใช้ในการแปลงตารางพิกเซลA G r ไอพีดีอาร์วาฉัน n gเมื่อเทียบกับขอบคมตามแฟ้ม แฟ้มตามของความมัวขอบมากขึ้นได้ ดังนั้นเพื่อให้ขอบคมของความกว้างแบบฉับพลันควรลดลง (ดู Fig. 1)สำหรับขอบใด ๆ รุ่นของคมได้ขยับพิกเซลที่จากพื้นที่ใกล้เคียงของขอบต่อของศูนย์ ฟังก์ชันแทนอธิบายกะของพิกเซลกับพิกัดการพิกัดใหม่.ตาราง warped ควรยังคง monotonic (เช่นสำหรับใด ๆพิกัดใหม่ควร), เพื่อแทนฟังก์ชันควรตรงกับข้อจำกัดดังต่อไปนี้:(1)ข้อจำกัดอื่น localizes แปรปรวนผลใกล้กับพื้นที่ขอบศูนย์:1070-9908 © 2014 IEEE สามารถใช้งานส่วนบุคคล แต่ republication/ซอร์ส ต้อง IEEE สิทธิ์ดู http://www.ieee.org/publications_standards/publications/rights/index.html สำหรับข้อมูลเพิ่มเติม41 8 ประมวลผลสัญญาณ IEEE อักษร ปี 22 เลขที่ 4, 2015 เมษายนFig. 2 ตัวอย่างของฟังก์ชันใกล้ขอบเรื่องFig. 3 ขอบเหยเกด้วย (3) พารามิเตอร์ที่แตกต่างกัน ฟังก์ชันบลูขอบรูป ด้วยบางอย่างได้ ฟังก์ชั่นสีแดงคือ ผลของการแปรปรวน กรีนบรรทัดเป็นฟังก์ชันใกล้ขอบเข้า (ก) (ข) วิธีการ (2) (c)(d) (e) (f)ปริมาณกระบอกสูบที่ทำงานอย่างมากใน fluences ผลขอบแปรปรวน คง ลาดขอบควรจะสูงชัน บนมืออื่น ๆ บริเวณใกล้ขอบควรไม่สามารถยืดกว่า prede บางปรับวงเงินเพื่อหลีกเลี่ยงช่องว่างมากมายระหว่างพิกเซลที่อยู่ติดกันในกรณีไม่ต่อเนื่องB T h e P ro x ผม m ผม t y F u n c t ฉัน o nฟังก์ชันแทนที่เชื่อมโยงกับพิกเซลภาพแห่งนี้ใกล้ชิดเป็นระยะห่างระหว่างพิกเซลอยู่ติดหลังภาพแปรปรวน ค่านี้เป็นค่าผกผันกับค่าความหนาแน่น ถ้าการฟังก์ชันความใกล้ชิดคือ น้อยกว่า 1 แล้วพื้นที่มีฟอง densiที่จุดนั้น ถ้าใกล้ชิดมากกว่า 1 แล้วเส้นตารางจะฟองน้อย สำหรับภาพ unwarpedข้อจำกัด (1) นำไปสู่การไม่-negativity ของความฟังก์ชัน ควรมีค่าสูงของฟังก์ชันความใกล้ชิดหลีกเลี่ยง เนื่องจากมันจะยากการแทรกข้อความในพื้นที่หายาก fication ถ้า fication หายากมีความแข็งแกร่งเราใช้ฟังก์ชันห้องคำนวณฟังก์ชันปริมาณกระบอกสูบ:C. ขอบรูปหลากหลายฟังก์ชันแทนที่เป็นไปตามสมมติฐานที่ขอบไม่คมชัดสามารถเลียนแบบโดยconvolved ขอบขั้นตอนเหมาะกับ Gaussian กรองด้วยรู้จักพารามิเตอร์ [10]:ที่ไหนD. เลือกฟังก์ชันความใกล้ชิดพิจารณารูปแบบทางกายภาพต่อไปนี้: อนุภาคของมวลคงที่ตั้งอยู่บนลาดชันก็ อนุภาคมีการเชื่อมต่อ โดยให้แกนตั้งสปริง เนื่องจากแรงแรงโน้มถ่วงฤดูใบไม้ผลิได้พิการจนกระทั่งอนุภาคหมายถึงสมดุลที่จุด แบบจำลองนี้มั่นใจได้ของขอบไม่ผิดเพี้ยน และการแปลงตารางเป็นเรียบรุ่นนี้สร้างแทนที่ฟังก์ชันต่อไปนี้:ค่าคงการควบคุมระดับของเส้นตารางที่แปรปรวน ด้วยการเพิ่มขึ้นของค่าของขอบจะคม ที่ค่าถูกจำกัด โดยข้อจำกัด (1)ตามรูปแบบนี้ ฟังก์ชันแห่งใช้แบบฟอร์ม:(2)วิธีนี้มีข้อจำกัด: ควบคุมพื้นที่ densi ไร้สาย-cation และ fication หายากพร้อมกันเราประมาณฟังก์ชันความใกล้ชิด (2) มีความแตกต่างของสองฟังก์ชัน Gaussian เพื่อควบคุมพื้นที่หายาก fication และ densi fication ต่างหาก:(3)พารามิเตอร์ควบคุมความกว้างของพื้นที่ fication densi ขณะพารามิเตอร์ควบคุมความกว้างของพื้นที่ fication หายาก เมื่อฟังก์ชันความใกล้ชิด (3) จะมาบรรจบกัน (2)สังเกตแสดงว่า ด้วย ซึ่งเป็นความกว้างของขอบ ความกว้างของพื้นที่ fication densi จะแคบลง(ดู 3(c)) Fig. กับความกว้างของ densi ficationพื้นที่จะกว้างกว่าความกว้างของขอบ (ดู Fig. 3(d))ใช้ให้เหมาะสมผลลัพธ์ ค่าสูงของผลลัพธ์บริเวณ fication ยากกว้างเกินไป (ดู Fig. 3(f))โดยปกติ ภาพประกอบด้วยขอบมาก ดังนั้นจึงสมควรแปลแปรปรวนผลละแวกของพื้นที่edges ดังนั้นค่าของพารามิเตอร์ และควรต่ำสุดที่เป็นไปสำหรับขอบเบลอด้วย เราใช้ พารามิเตอร์นำมาเป็น ผลลัพธ์ที่ดีจะได้รับด้วยเพื่อให้บรรลุผลคมชัดรัดกุมที่สุด เราใช้สูงสุดค่าที่ตรงกับข้อจำกัด (1):V คัมภีร์: N O อื่น ๆ N O VA A N D K ลอง L D E B L U R R E D ฉัน M เป็น G E S P O S T - P R O C E S S ฉัน N G B Y ปอผม SS O N หว้า R P ฉัน N G 4 1 9F ฉัน g 4 D ไอพีเอส l c e m e n t s d ฉัน r e c t ฉัน o n s f o r 2 D g r p w d r ฉันฉัน n g T h e b l u e l ฉัน n e r e p r e s e n t st h e e x e c t d g e l o c t เป็นฉัน o n, w h ฉัน t e c ฉัน r c l e s r e p r e s e n t e p e d g ฉัน x s e l, b l c เป็น k c ฉัน r c l อี s r e p r e s e n t p ฉัน x s e l f r o m t h e e d g e n e ฉัน g r o h b h o o dฉันฉันฉัน ภาพคมชัดใช้แปรปรวนA ผู้ที่ใช้ o - D ฉัน m e n s ฉัน n o l E x t e n s ฉัน o nในกรณี 2 มิติ แทนที่จะเป็นฟิลด์เวกเตอร์ มีมีข้อจำกัดบางอย่างชัดเจน (ดู Fig. 4)1 ไม่เหยเก)รูปร่างของขอบ ดังนั้นแต่ละจุดขอบ2) นอกจากนี้ ไม่มีความวุ่นวายใด ๆ: ตั้งแต่ฟิลด์แทนที่จะถือการไล่ระดับสีของบางฟังก์ชันสเกลา.3 จุดใกล้เคียงขอบ)ตั้งอยู่ห่างจากขอบไม่ย้ายเข้าไปขอบมากกว่าพื้นที่ใกล้เคียงสถานที่ตั้งอยู่ใกล้กับขอบ เงื่อนไขนี้สามารถอธิบายในแง่ของข้อจำกัด (1) ที่ 1 D อนุพันธ์สอดคล้องกับ divergence ของฟิลด์เวกเตอร์ 2Dและฟังก์ชันแห่งใช้แบบฟอร์ม:ตั้งแต่ เป็น Laplacian การแปรปรวนหรือไม่ปัญหาสามารถเกิดเป็นปัญหา Dirichlet สำหรับปัวสมการในพื้นที่ของรูป:ที่เส้นขอบรูป (4)ข้อจำกัดสองนี่มีเงื่อนไขขอบเขต: displacements ที่เส้นขอบของรูปภาพควรจะเท่ากับศูนย์B T h e p r วาฉันมี l g o r n g ฉัน t h mเพื่อ ให้ได้ผลลัพธ์เดียวกันในกรณี 1 D และให้พิกเซลขอบ
การแปล กรุณารอสักครู่..

I E E E S I G N A L P R O C E S S IN G L E T T E RS , V O L . 2 2 , N O . 4 , A P R I L 2 0 1 5 417
Deblurred Images Post-Processing
by Poisson Warping
Alexandra Nasonova and Andrey Krylov , M e m b e r, I E E E
A b s tr a ct —I n t h i s w o r k w e d e v e l o p a p o s t - p ro c e s s i n g a l g o r i t h m
w h i c h e n h a n c e s t h e res u l t s o f t h e e x i s t i n g i m a g e d eb lu rr i n g
m e t h o d s . I t p e r f o r m s a d d i t io nal edge sharpening using grid
warping. The idea of the proposed algorithm is to transform
the neighborhood of the edge so that the neighboring pixels
move closer to the edge, and then resample the image from the
warped grid to the original uniform grid. The proposed technique
preserves image textures while making the edges sharper. The
effectiveness of the method is shown for basic deblurring methods
on LIVE database images with added blur and noise.
I n d e x Ter m s —Image sharpening, deblurring, edge model, image
grid warping, post-processing.
I. INTRODUCTION
T HERE are some fairly powerful techniques for image de-blurring [1], [2], [3]. The typical problem of image deblurring methods is finding optimal parameters for a compromise between smooth result with blurry edges and sharp result
with artifacts like ringing or noise ampli fication. In this work
we present a new post-processing algorithm for image deblurring with enhancement of edge sharpness.
We localize the area of interest to the neighborhood of the
edges. The idea is to transform the neighborhood of the blurred
edge so that the neighboring pixels move closer to the edge, and
then resample the image from the warped grid to the original
uniform grid.
The warping approach is related to the morphology-based
sharpening [4] and shock filters [5], [6], [7]. But these methods
make the image appear piecewise constant which is effective
mostly for cartoon-like images. The proposed method is applied to edges locally so the textures are preserved a priori, also
warping compresses the edge neighborhood at fixed rate and
does not make the image piecewise constant.
The warping approach for image enhancement was introduced in [8]. The warping of the grid is performed according
to the solution of a differential equation that is derived from
the warping process constraints. The solution of the equation
Manuscript received July 22, 2014; revised September 10, 2014; accepted
September 29, 2014. Date of publication October 02, 2014; date of current version October 09, 2014. The work was supported by RSCF Grant 14-11-00308.
The associate editor coordinating the review of this manuscript and approving
it for publication was Prof. Oscar C. Au.
The authors are with the Faculty of Computational Mathematics and Cybernetics, Lomonosov Moscow State University, Moscow, Russia (e-mail:
nasonova@cs.msu.ru; kryl@cs.msu.ru).
Color versions of one or more of the figures in this paper are available online
at http://ieeexplore.ieee.org.
Digital Object Identi fier 10.1109/LSP.2014.2361492
Fig. 1. The idea of 1D edge sharpening. (a) Proposed approach: pixels are
shifted. (b) Typical deblurring approach: pixel values are modi fied.
is used to move the edge neighborhood closer to the edge, and
the areas between edges are stretched. The method has several
parameters, and the choice of optimal values for the best result
is not easy. Due to the global nature of the method the resulting
shapes of the edges are sometimes distorted.
In [9] the warping map is computed directly using the values
of left and right derivatives. In both methods [8] and [9] the pixel
shifts are proportional to the gradient values. It results in oversharpening of already sharp and high contrast edges and insuffi-
cient sharpening of blurry and low contrast edges. Both methods
also introduce small local changes in the direction of edges and
produce aliasing effect due to calculation of horizontal and vertical warping components separately.
II. ONE-DIMENSIONAL EDGE SHARPENING
In this section we describe the idea of a single edge enhancement using a pixel grid transformation.
A . A G r i d Wa r p i n g
Compared to a sharp edge pro file, the pro file of a blurred
edge is more gradual. So in order to make the edge sharper its
transient width should be decreased (see Fig. 1).
For any edge centered at its sharper version
can be obtained shifting the pixels from the neighborhood of
the edge towards its center. The displacement function describes the shift of a pixel with coordinate to a new coordinate
.
The warped grid should remain monotonic (i.e. for any
new coordinates should be ), so the
displacement function should match the following constraint:
(1)
Another constraint localizes the area of warping effect near the
edge center:
1070-9908 © 2014 IEEE. Personal use is permitted, but republication/redistribution requires IEEE permission.
See http://www.ieee.org/publications_standards/publications/rights/index.html for more information.
41 8 IEEE SIGNAL PROCESSING LETTERS, VOL. 22, NO. 4, APRIL 2015
Fig. 2. Example of proximity function for edge sharpening.
Fig. 3. Edges warped using (3) with different parameters. Blue function
is the model edge with some noise. Red function is the result of warping. Green
line is the proximity function (a) Input edge (b) Approach (2) (c)
(d) (e) (f) .
The displacement function greatly in fluences the result of
the edge warping. On the one hand, the edge slope should become steeper. On the other hand, the area near the edge should
not be stretched over some prede fined limit to avoid wide gaps
between adjacent pixels in the discrete case.
B . T h e P ro x i m i t y F u n c t i o n
The displacement function is connected with the proximity of image pixels .
The proximity is the distance between adjacent pixels after
image warping. This value is inverse to the density value. If the
proximity function is less than 1, then the area is densi fied
at the point . If the proximity is greater than 1, then the grid is
rare fied. For an unwarped image .
The constraint (1) leads to non-negativity of the proximity
function. Also high values of the proximity function should be
avoided, because it will be hard to perform interpolation in rare fication areas if the rare fication is too strong.
We use the proximity function to calculate the displacement function: .
C. Edge Model
The choice of the displacement function is based on the assumption that the blurred edge can be approximated by
an ideal step edge convolved with Gaussian filter with
known parameter [10]:
where .
D. Choosing the Proximity Function
Consider the following physical model: the point is a particle of fixed mass situated on the slope . The particle
is connected by a spring to a vertical axis. Due to the force of
gravity the spring is deformed until the particle reaches equilibrium at the point . This model ensures that the shape of
the edge is not distorted and the grid transformation is smooth.
This model produces the following displacement function:
The constant controls the level of the grid warping. With
the increase of the value of the edge becomes sharper. The
value is limited by the constraint (1)
According to this model, the proximity function takes the form:
(2)
This approach has a limitation: it controls the areas of densi fi-
cation and rare fication simultaneously.
We approximate the proximity function (2) with the difference of two Gaussian functions in order to control the areas of
rare fication and densi fication independently:
(3)
Parameter controls the width of the densi fication area while
parameter controls the width of the rare fication area. When
, the proximity function (3) will converge to (2).
Observations show that with , where is the width of
the edge, the width of the densi fication area becomes narrower
(see Fig. 3(c)) while with the width of the densi fication
area becomes wider than the width of the edge (see Fig. 3(d)).
Using gives reasonable results. High values of results
in too wide rare fication area (see Fig. 3(f)).
Typically, images contain many edges, so it is desirable to
localize the area of warping effect to the neighborhood of the
edges, therefore the values of parameters and should be
as low as possible.
For the edge blurred with , we use . Parameter is
taken as . Good results are obtained with .
To achieve the strongest sharpening effect, we use the maximal
values of that matches the constraint (1):
N A SO N O VA A N D K RY L O V: D E B L U R R E D I M A G E S P O S T - P R O C E S S I N G B Y PO I SS O N WA R P I N G 4 1 9
F i g . 4 . D i s p l a c e m e n t s d i r e c t i o n s f o r 2 D g r i d w a r p i n g . T h e b l u e l i n e r e p r e s e n t s
t h e e x a c t e d g e l o c a t i o n , w h i t e c i r c l e s r e p r e s e n t e d g e p i x e l s, b l a c k c i r c l e s r e p r e s e n t p i x e l s f r o m t h e e d g e n e i g h b o r h o o d .
I I I . IMAGE SHARPENING USING WARPING
A . Tw o - D i m e n s i o n a l E x t e n s i o n
In the 2D case the displacement is a vector field . There
are some obvious constraints (see Fig. 4).
1) The shapes of the edges cannot be warped, so
for each edge point .
2) Also, there cannot be any turbulence: . Since
, the displacement field is assumed to be
gradient of some scalar function
.
3) The edge neighborhood points situated farther from the
edge cannot move closer to the edge than the neighborhood
points situated nearer to the edge. This condition can be
described in terms of the constraint (1) where 1D derivative
corresponds to a divergence of 2D vector field
and the proximity function takes the form:
Since , where is a Laplacian, the warping
problem can be posed as a Dirichlet problem for the Poisson
equation in the area of the image:
at image borders (4)
The second constraint here is the boundary condition: the displacements at image borders should be equal to zero.
B . T h e Wa r p i n g A l g o r i t h m
In order to get the same results as in the 1D case and to keep
the edge pixels
การแปล กรุณารอสักครู่..

ผม e e e S I G N L P R O C E S S G L E T T E R , V o L . 2 2 , N o 4 P R ชั้น 2 0 1 5
โพสต์ deblurred 417 ภาพการประมวลผลโดยปัวซองอ
อเล็กซานดราและ nasonova Andrey ไครลอฟ , m e m b e r , I E E E
B S TR CT - n i t h i s W O R K W D e v e l O P P o s t - P RO c e s s i n g l g o r i t h m
W h i C H E N H A N C E S T H E RES U L T S o f t h e e x i s t i n g I m a g e d i n g EB ลู่ RR
M e t h o d s ฉัน T P E R F R O M S D D i t io รลับคมโดยใช้ตาราง
งอ . ความคิดของวิธีที่เสนอเพื่อแปลง
บริเวณขอบเพื่อให้พิกเซลรอบข้าง
ย้ายใกล้ชิดกับขอบ แล้ว resample ภาพจาก
เปลี่ยนตารางตารางชุดเดิม เทคนิคที่นำเสนอ
รักษาพื้นผิวในขณะที่ทำให้ขอบภาพคมกว่า
ประสิทธิผลของวิธีที่แสดงวิธีการพื้นฐานในชีวิต
deblurring ฐานข้อมูลภาพเป็นเบลอและเสียง .
n d e x 6 m S - ภาพคม deblurring , รูปแบบ , ขอบ , ภาพ
ตารางการแปรปรวนการโพสต์ แนะนำ
.T นี่คือเทคนิคบางอย่างที่มีประสิทธิภาพเป็นธรรมสำหรับภาพเดอเบลอ [ 1 ] , [ 2 ] , [ 3 ] ปัญหาโดยทั่วไปของภาพ deblurring วิธีการหาพารามิเตอร์ที่เหมาะสมสำหรับการประนีประนอมระหว่างผลเรียบมีขอบไม่ค่อยชัด
ผลคมชัดกับสิ่งประดิษฐ์เช่นเสียงหรือ fication ampli เสียงดัง ในงานนี้เราได้นำเสนอขั้นตอนวิธีการประมวลผลใหม่
deblurring เพิ่มขอบภาพมีความคมชัด
เราจำกัดพื้นที่ของความสนใจกับละแวกของ
ขอบ ความคิดที่จะเปลี่ยนแถวของเบลอ
ขอบเพื่อให้พิกเซลรอบข้างขยับเข้าใกล้ขอบและ
แล้ว resample ภาพจากตารางเพื่อตารางเหยเกเครื่องแบบเดิม
.
งอเข้าหาเกี่ยวข้องกับสัณฐานตาม
เหลา [ 4 ] และช็อกตัวกรอง [ 5 ] [ 6 ] [ 7 ] แต่วิธีการเหล่านี้
ทำให้ภาพที่ปรากฏเป็นช่วงที่คงที่ซึ่งมีประสิทธิภาพ
ส่วนใหญ่การ์ตูนที่ชอบภาพ วิธีการที่ใช้กับขอบในประเทศดังนั้นพื้นผิวจะยังคงอยู่ระหว่างการบีบอัดยัง
ขอบละแวกที่อัตราคงที่และไม่ทำให้ภาพ
เป็นช่วงที่คงที่ การแปรปรวนแนวทางการเสริมสร้างภาพลักษณ์เป็นที่รู้จักใน [ 8 ]การงอของตารางจะแสดงตาม
เพื่อแก้ปัญหาสมการอนุพันธ์ที่ได้มาจากการแปรปรวน
ข้อจำกัดของกระบวนการ ผลเฉลยของสมการ
ต้นฉบับได้รับ 22 กรกฎาคม 2014 ; แก้ไข 10 กันยายน 2014 ; ยอมรับ
ที่ 29 กันยายน 2014 วันที่ประกาศตุลาคม 02 , 2014 ; วันที่ของรุ่นปัจจุบัน ตุลาคม 09 , 2014 งานที่ได้รับการสนับสนุนจาก rscf ให้
14-11-00308 .ร่วมแก้ไขบทความต้นฉบับ ประสานงาน และอนุมัติให้ตีพิมพ์ได้ ดร. ออสการ์
C . อุ๊ ผู้เขียนกับคณะคณิตศาสตร์คอมพิวเตอร์และไซเบอร์เนติกส์ Lomonosov Moscow State University , มอสโก , รัสเซีย ( e :
nasonova@cs.msu.ru ; kryl @ CS . หน้าหลัก รุ ) .
สีรุ่นของหนึ่งหรือมากกว่าหนึ่ง ของตัวเลขในกระดาษนี้จะพร้อมใช้งานแบบออนไลน์
http : / / ieeexplore .1 . org .
ดิจิตอลวัตถุ identi เฟียร์ 10.1109 / LSP . 2014.2361492
รูปที่ 1 ความคิดของ ดี ขอบ เหลา ( ) วิธีการที่เสนอ : พิกเซลเป็น
เลื่อน ( ข ) โดยทั่วไป deblurring วิธีการ : Pixel ค่า Modi fied .
ถูกใช้เพื่อย้ายขอบละแวกใกล้ขอบและ
พื้นที่ระหว่างขอบยืด วิธีการมีหลายพารามิเตอร์
และทางเลือกของค่านิยมที่เหมาะสมสําหรับ
ผลที่ดีที่สุดไม่ใช่เรื่องง่าย เนื่องจากธรรมชาติของโลกของวิธีผล
รูปร่างของขอบบางครั้งบิดเบี้ยว
[ 9 ] การแผนที่จะคำนวณโดยตรงโดยใช้ค่า
ซ้ายและขวา ทั้งสองวิธี [ 8 ] และ [ 9 ] พิกเซล
กะเป็นสัดส่วนกับการไล่ระดับสีค่า ผลลัพธ์ที่ได้ oversharpening แล้วขอบคมชัดและความคมชัดสูง และ insuffi -
cient เหลาพร่ามัวและขอบความคมชัดต่ำ ทั้งสองวิธี
แนะนำการเปลี่ยนแปลงขนาดเล็กในท้องถิ่นในทิศทางของขอบและ aliasing
ผลิตผลจากการคำนวณของแนวนอน และแนวตั้งการส่วนประกอบแยกกัน .
2 ขอบในเหลา
ในส่วนนี้เราจะอธิบายแนวคิดของการเพิ่มประสิทธิภาพการใช้พิกเซลขอบเดียวตารางการแปลง .
. g r d . R P i n g
เมื่อเทียบกับขอบคมโปรไฟล์ , ไฟล์ของเบลอ
ขอบมันค่อยเป็นค่อยไปมากกว่า ดังนั้นเพื่อให้ขอบแหลมคมของมัน
ชั่วคราวกว้างควรลดลง ( ดูรูปที่ 1 ) .
รุ่นใดขอบศูนย์กลางที่คมชัดสามารถได้รับการขยับพิกเซลจากแถวของ
ขอบสู่ศูนย์กลางฟังก์ชันการอธิบายกะของพิกเซลพร้อมประสานงานการประสานงานใหม่
.
ตารางเหยเกจะยังคงอย่างเดียว ( เช่นใด
พิกัดใหม่ควรจะ ) ดังนั้น
ฟังก์ชันการกระจัดควรจะตรงกับข้อจำกัดต่อไปนี้ :
( 1 ) เงื่อนไขอื่น localizes บริเวณใกล้ศูนย์กลาง
ขอบผลบิดเบี้ยว :
1070-9908 สงวนลิขสิทธิ์ 2014 IEEE ใช้ส่วนตัวได้รับอนุญาตแต่สาธารณรัฐ / การใช้โดยได้รับอนุญาต สำหรับข้อมูลเพิ่มเติมดู http://www.ieee.org/publications_standards/publications/rights/index.html
.
41 8 IEEE ประมวลสัญญาณตัวอักษร , ปีที่ 22 , ฉบับที่ 2 , เมษายน 2015
รูปที่ 2 ตัวอย่างของฟังก์ชัน Proximity สำหรับลับคม .
รูปที่ 3 ขอบโค้งงอ ( 3 ) ใช้กับพารามิเตอร์ที่แตกต่างกัน
ฟังก์ชันสีฟ้าเป็นรุ่นขอบบางเสียงฟังก์ชัน สีแดง คือ ผลของการ . สายสีเขียว
คือฟังก์ชัน Proximity ( ) ขอบใส่ ( ข ) วิธีการ ( 2 ) ( c )
( D ) ( e ) ( F )
แทนที่ฟังก์ชันอย่างมากใน fluences ผล
ขอบงอ . ในมือข้างหนึ่ง , ขอบชันก็ชัน บนมืออื่น ๆ , บริเวณใกล้ขอบควร
ไม่ยืดเรื่อง prede ปรับวงเงินเพื่อหลีกเลี่ยงช่องว่าง
กว้างระหว่างพิกเซลที่อยู่ติดกันโดยสิ้นเชิงในกรณี .
b . T H E P RO X I m i t y F u n c o n t ฉัน
ฟังก์ชั่นการติดต่อกับความใกล้ชิดของจุดภาพ
ความใกล้ชิดคือระยะห่างระหว่างพิกเซล
ภาพติดกันหลังงอ . ค่าผกผันกับค่าความหนาแน่น ถ้าฟังก์ชัน
ความใกล้ชิดน้อยกว่า 1 แล้วพื้นที่ densi fied
ที่จุดถ้าความใกล้ชิดมากกว่า 1 แล้วตาราง
หายาก fied . สำหรับภาพ unwarped .
ข้อจำกัด ( 1 ) นำไปสู่การไม่ปฏิเสธการทำงานใกล้เคียง
ค่าสูงของฟังก์ชัน Proximity ควรจะ
หลีกเลี่ยง เพราะมันจะยากที่จะดําเนินการในพื้นที่ fication หายากถ้า fication หายากเกินไป
เราใช้ฟังก์ชัน เช่นฟังก์ชันคำนวณการกระจัด :.
C
ขอบรูปแบบทางเลือกของฟังก์ชันการแทนที่จะขึ้นอยู่กับสมมติฐานที่ว่าเบลอขอบสามารถคำนวณโดย
ขอบขั้นตอนที่เหมาะกับ convolved เสียนกรองด้วย
รู้จักพารามิเตอร์ [ 10 ] :
ดี ใกล้ที่ไหน เลือกฟังก์ชั่น
พิจารณาตามแบบจำลองทางกายภาพ : จุด เป็นอนุภาคของ มวลคงที่ ตั้งอยู่บนลาด อนุภาค
เชื่อมกันด้วยสปริงกับแกนแนวตั้ง เนื่องจากแรง
แรงโน้มถ่วงฤดูใบไม้ผลิจนถึงอนุภาคพิการถึงสมดุลที่จุด รุ่นนี้ช่วยให้มั่นใจว่า รูปร่างของ
ขอบไม่บิดเบี้ยวและตารางการแปลงเรียบ .
รุ่นนี้ผลิตฟังก์ชันการแทนที่ดังต่อไปนี้ :
คงที่ การควบคุมระดับของตารางการ . กับ
การเพิ่มขึ้นของค่าของขอบจะคมกว่า
ค่าถูก จำกัด โดยข้อจำกัด ( 1 )
ตามรูปแบบนี้ การทำงาน เช่น ใช้รูปแบบ :
( 2 ) วิธีการนี้มีข้อ จำกัด : การควบคุมพื้นที่ของ densi Fi -
ไอออนบวกและหายาก fication พร้อมกัน
เราประมาณฟังก์ชัน Proximity ( 2 ) มีความแตกต่างของทั้งสอง ฟังก์ชันเกาส์เซียนเพื่อควบคุมพื้นที่ของ
fication หายากและ densi fication อิสระ :
( 3 ) พารามิเตอร์การควบคุมความกว้างของ densi fication พื้นที่ในขณะที่
พารามิเตอร์การควบคุมความกว้างของพื้นที่ fication หายาก เมื่อ
, ฟังก์ชั่น ( 3 ) ใกล้จะบรรจบ ( 2 )
) แสดงให้เห็นว่ามีตรงไหนกว้าง
ขอบ ความกว้างของ densi fication พื้นที่กลายเป็นแคบ
( ดูภาพประกอบ3 ( C ) ในขณะที่มีความกว้างของ densi fication
พื้นที่จะกว้างกว่าความกว้างของขอบ ( ดูรูปที่ 3 ( d ) ) .
ใช้ให้ผลลัพธ์ที่เหมาะสม ค่าสูงของผลลัพธ์ ในพื้นที่หายาก
fication กว้างเกินไป ( ดูรูปที่ 3 ( F ) ) .
โดยปกติแล้วภาพมีหลายขอบ ดังนั้นจึงเป็นที่พึงปรารถนาที่จะ
จำกัดพื้นที่ผลกระทบของการแปรปรวนใกล้กับ
ขอบ ดังนั้นค่าของพารามิเตอร์และควรจะ
ที่สุดเท่าที่จะทำได้ .
สำหรับขอบเบลอกับเราใช้ เป็นค่า
ถ่ายเป็น ผลลัพธ์ที่ดีได้ด้วย เพื่อให้เกิดผลสูงสุด ให้
เราใช้สูงสุดค่าของที่ตรงกับเงื่อนไข ( 1 ) :
n ดังนั้น N O VA n D K L O V E : d " B L U R R E D I m a g e S P O S T - P r o c e s s i n g b y โปผม SS O N R P i n g 4 วา 1 9
F I G . 4 .D I S P L C E M E N T S D R E C T ฉันฉัน n o S F o r 2 D G R I D W A R P i n g . T H E B l u e l i n e r e P R E S E N T
T H E S E X A C T E D G E L O C T O N W H ฉัน , i t e C ผม R C L E S R E P r e s e n t E D G E P ผม x E L S , B L A C K C ผม R C L E S R E P R E S E N T E X P ฉันฉัน s F R O M T H E E D G E N E G H B R O H ฉัน O O D .
ฉันฉันฉัน . ภาพคมใช้งอ
.tw o - D I M E N S o n l e x t E N S n o
ใน 2D กรณีการกระจัดคือเวกเตอร์สนาม มีบางส่วนที่เห็นได้ชัด
ข้อจำกัด ( ดูรูปที่ 4 )
1 ) รูปร่างของขอบไม่สามารถบิดเบือน ดังนั้น สำหรับแต่ละจุดขอบ
.
2 ) ยัง ไม่มีความวุ่นวายใด ๆ : . ตั้งแต่
, การกระจัดที่สมมุติจะถือว่ามีความลาดชันของฟังก์ชันสเกลา
3 ) ขอบละแวกจุดตั้งอยู่ห่างจาก
ขอบไม่สามารถขยับเข้าใกล้ขอบกว่าละแวก
จุดตั้งอยู่ใกล้ขอบ เงื่อนไขนี้สามารถอธิบายได้ในแง่ของการ
( 1 ) 1D อนุพันธ์ที่สอดคล้องกับความแตกต่างของ 2D เวกเตอร์สนาม
และฟังก์ชัน เช่น ใช้รูปแบบ :
ตั้งแต่ที่เป็น Laplacian , การแปรปรวน
ปัญหาสามารถปลอมตัวเป็นดีริชเลต์ปัญหาสำหรับสมการปัวซง
ในพื้นที่ของภาพ :
ที่เส้นขอบภาพ ( 4 )
2 ข้อจำกัดนี่คือเงื่อนไขขอบเขต : ขณะที่เส้นขอบของรูปภาพควรเท่ากับศูนย์ .
b . T H E R P i n G wa l g o r i t h m
เพื่อให้ได้ผลลัพธ์เดียวกันใน 1D และเก็บ
ขอบพิกเซล
การแปล กรุณารอสักครู่..
