The Bayesian conditional tensor factorization
method for multimodal data
The newly acquired multimodal data set (see Figure 2 for an example)
allows for new crack detection techniques that are able to make
use of the information provided by each modality, thereby yielding a
more reliable detection scheme. However, a pixel-perfect registration is required prior to using all modalities together. The panels of The
Ghent Altarpiece were already roughly registered for adjacent viewing
in [31], but the spatial alignment of these preregistered images is
not sufficient in the current context, as the images can be shifted by
a few pixels or even exhibit local inconsistencies due to the different
acquisition modalities. The nature of the different modalities and the
stringent requirements for crack detection make direct registration
a challenging task. However, since the cracks themselves are a more
or less consistent component throughout all modalities, we used
them for the registration process. Crude crack maps are first
obtained by filtering the unregistered images with elongated filters
and subsequent thresholding (more details of the exact procedure
can be found in [7]). It should be noted at this point that the presence
of false positives is not a nuisance as long as the locations of
most of the cracks in each modality are identified. The crude crack
maps obtained from the X-radiograph and the visual and infrared
images are mutually registered using the algorithm described in [5]
(using the infrared crack map as the reference). The resulting transformation
is then applied to the original images.
Simply applying the methods described in [7], which were
designed for a single image, requires choosing an additional set of
parameters per modality, which would be too cumbersome. Here
we adopt a semisupervised Bayesian approach that estimates for
each pixel a posterior probability of belonging to the “crack” category
given a large set of feature vectors extracted over all modalities.
These feature vectors are obtained by processing each image
modality with a number of different filters, commonly used in
image processing, ranging from morphological filters to multiorientation
filter banks, as described in [8]. The resulting feature vectors,
hereafter denoted as categorical predictors, or predictors for
short, are quantized into an experimentally chosen number of
bins. Let X X 1,..., p denote p predictors at a given pixel location,
and let Y denote a hidden random variable, taking values
y ! { , 0 1}, where the label “1” denotes a crack pixel and “0” a
noncrack pixel. The conditional probability P Y( | X X 1, , f p) is a
d d 1 # # f p dimensional tensor, with d j the number of quantization
bins of the jth predictor X j .
แยกตัวประกอบ tensor เงื่อนไขทฤษฎีวิธีการสำหรับทุกข้อมูลชุดข้อมูลทุกซื้อมาใหม่ (ดูรูปที่ 2 ตัวอย่าง)สำหรับเทคนิคตรวจหารอยแตกใหม่ที่สามารถทำให้การใช้ข้อมูลโดยแต่ละ modality ผลผลิตจึงเป็นแผนงานตรวจสอบที่เชื่อถือได้มาก อย่างไรก็ตาม การลงทะเบียนสมบูรณ์เซลจำเป็นก่อนใช้ modalities ทั้งหมดเข้าด้วยกัน การติดตั้งของการเก้นท์ถูกลงทะเบียนสำหรับติดดูแล้วประมาณใน [31], แต่การจัดตำแหน่งพื้นที่ของภาพเหล่านี้ preregisteredไม่เพียงพอในปัจจุบัน เป็นภาพที่สามารถเปลี่ยนโดยกี่พิกเซลหรือแม้กระทั่งแสดงท้องถิ่นไม่สอดคล้องกันเนื่องจากที่อื่นซื้อ modalities การ ลักษณะของ modalities ที่แตกต่างกันและข้อกำหนดที่เข้มงวดสำหรับการตรวจหารอยแตกให้ลงทะเบียนโดยตรงงานที่ท้าทาย อย่างไรก็ตาม เนื่องจากรอยตัวเองมีมากขึ้นหรือลบคอมโพเนนต์ที่สอดคล้องกันตลอดทั้งหมด modalities เราใช้สำหรับการลงทะเบียนเหล่านั้น แผนที่หยาบแตกเป็นครั้งแรกได้ โดยการกรองรูปภาพไม่ได้ลงทะเบียนกับอีลองเกตthresholding ภายหลัง (รายละเอียดของขั้นตอนแน่นอนและสามารถพบใน [7]) จึงควรสังเกตจุดนี้ที่อยู่ของปลอมทำงานผิดพลาดจะไม่รบกวนที่ยาวเป็นที่ตั้งของสุดของรอยแตกในแต่ละ modality ที่ระบุ แตกน้ำมันแผนผังที่ได้รับจาก X radiograph และ visual และอินฟราเรดภาพลงทะเบียนร่วมกันโดยใช้อัลกอริทึมที่อธิบายไว้ใน [5](ใช้แผนที่แตกอินฟราเรดเป็นการอ้างอิง) การเปลี่ยนแปลงได้แล้วใช้กับรูปเดิมเพียงแค่ใช้วิธีการอธิบายไว้ใน [7], ซึ่งได้มารูปเดียว ต้องเลือกชุดเพิ่มเติมพารามิเตอร์ต่อ modality ซึ่งจะยุ่งยากเกินไป ที่นี่เราใช้วิธีทฤษฎี semisupervised ที่ประเมินสำหรับแต่ละพิกเซลที่หลังน่าเป็นประเภท "ถอด"กำหนดให้เวกเตอร์คุณลักษณะแยกผ่าน modalities ทั้งหมดชุดใหญ่เวกเตอร์ของคุณลักษณะเหล่านี้จะได้รับ โดยการประมวลผลแต่ละภาพmodality กับจำนวนของตัวกรองต่าง ๆ มักใช้ในรูปภาพประมวลผล ตั้งแต่กรองสัณฐาน multiorientationกรองข้อมูลธนาคาร ตามที่อธิบายไว้ใน [8] เวกเตอร์ผลของคุณลักษณะโดยสามารถบุเป็น predictors แน่ชัด หรือ predictors สำหรับระยะสั้น มี quantized เป็นเลข experimentally ท่านช่องเก็บ ให้ X X 1,..., p แสดง predictors p ที่ตำแหน่งกำหนดพิกเซลและให้ Y แสดงการซ่อนตัวแปรสุ่ม การค่าy {, 0 1 }, ที่ป้าย "1" หมายถึงพิกเซลแตกและ "0" เป็นเซล noncrack ความน่าเป็นมีเงื่อนไข P Y (| X X 1 f p) เป็นการd d 1 ## f p มิติ tensor กับ j d จำนวน quantizationช่องเก็บของเจ predictor X jth
การแปล กรุณารอสักครู่..
