딥러닝 Super resolution 이전 논문 정리

Haar Wavelet 사용 CNN 기반 IR 영상 Stripe Denoising 

 

적외선 영상은 가시광선이 아닌 물체의 복사량을 측정하기 때문에, 가시광선이 부족한 야간상황에서 많이 쓰인다. 하지만 적외선 센서, 검출기의 구조 특성 상 영상에서 stripe 잡음(노이즈(noise))이 발생하고, 이로인하여 적외선 영상을 응용하는 다양한 분야의 시스템에서 성능저하가 발생한다. 따라서 적외선(IR; Infrared) 영상에서 stripe 잡음 성분만을 검출하여 제거하는 방법이 필요하다. 최근에는 CNN (Convolutional Neural Network)를 이용한 딥러닝 기반의 IR 영상 stripe 잡음 제거 방법이 소개되었다.

그 중에서도 wavelet transform과 CNN을 이용한 IR 영상 stripe 잡음 제거 방법[4]을 기반으로 하는 잡음을 제거하는 방법을 소개한다. 제안하는 stripe 잡음 제거 방법은 해당 논문과 비교하여 보다 간단한 구조와 학습으로도 효과적으로 stripe 잡음을 제거할 수 있다.

Haar Wavelet Transform과 Stripe 잡음 성분

Wavelet Transform은 주파수 성분을 볼 수 있는 Fourier Transform 과는 다르게 주파수 정보와 공간 정보를동시에확인할수있는장점이있다.그 중에서도 haar wavelet을 이용한 HWT(haar wavelet transformation)은 직관적으로 approximation, vertical, horizontal, diagonal 정보를 확인할 수 있다. 세로 방향 Stripe 잡음 영상인 경우 그림1과 같이 approximation, horizontal 성분에서는 뚜렷하게 검출되고, vertical, diagonal 성분에서는 크게 보이지 않는 특성이 있다.

따라서, approximation, horizontal의 residual을 이용한 학습을 통하여 stripe 잡음 제거를 진행하였다.

 

본 논문에서 제안하는 CNN 기반 haar wavelet을 이용한 IR 영상 stripe 잡음 제거 방법은 그림2와 같다. Stripe 잡음 영상을 HDWT를 이용한 4개의 성분 영상으로 분해하고, 이를 각각 CNN Layer를 통과시킨다. Layer를 통과한 결과와 잡음 영상을 차분하여 추정되는 잡음 성분을 이용하여 식 (1)과 같이 Loss function을 정의하여 학습한다.

 

이때 𝑐𝐴,𝑐𝑉,𝑐𝐻,𝑐𝐷 는 각각 학습을 통해 추정된 haar wavelet의 approximation, vertical, horizontal, diagonal 성분 영상이고,  𝑐𝐴, 𝑐𝐻는 추정된 residual 이다.