[17′ ICCV] Hierarchical Homography Estimation : Homography Estimation from Image Pairs with Hierarchical Convolutional Networks 핵심 리뷰

내용 요약

CNN을 hierarchical 하게 구성하여 iterative homography estimation을 수행하는 방법론을 설명합니다.

1. 들어가며

이번 논문은 Deep Homography 방법론에 관한 논문입니다. Deep Homography Network 방식의 한계를 극복하기 위해 hierarchical CNN을 구성하며 iterative homography estimation을 수행하는 방법론을 설명합니다.

2. 제안 방법

제안 방법을 살펴보겠습니다.

2-1. Network architecture

먼저 전체 네트워크 구조는 Deep Homography Network와 비슷합니다.

8개의 Convolution Layer와 2개의 Fully Connected Layer로 구성되어 있습니다. 다만 차이는 네트워크의 Input으로 Concat 된 이미지를 받지 않고 각각의 이미지를 병렬로 Convolution 연산을 수행한다는 점입니다. 제안하는 구조는 4개의 Convolution Layer 연산을 거친 뒤 Feature를 Concat 하여 최종 Homography Matrix를 Regression 하는 방식입니다. Loss는 Output으로 나온 Homography Matrix와 Ground Truth Homography Matrix와의 L2 Distance입니다.

2-2. Hierarchical model

저자들은 한 번의 Regression으로 Homography Matrix를 구하는 방식을 Deep Homography Network의 한계로 지적합니다. 따라서 한 번의 Regression이 아닌, Regression을 연속으로 수행하여 미세조정까지 추가하면 더 정확도를 올릴 수 있다는 아이디어를 제안합니다.

이에 따라 저자들이 제안하는 모델은 다음과 같습니다.

위의 그림을 보면 연속으로 n번의 Homography Estimation을 수행하는 모습을 볼 수 있습니다. 또한 한번 Predict 한 H Matrix를 사용하여 Input Image를 Warp 한 뒤 다시 Homography Estimation을 수행하는 모습을 볼 수 있습니다. 따라서 뒤에 있는 Homography Estimation 모델일수록 앞서 수행한 H Matrix와의 Residual Error만 예측하면 됩니다. 최종적인 H Matrix는 n번 구한 H Matrix의 합으로 결정됩니다.

아래 그림은 제안하는 방법으로 Target Image까지의 Homography를 찾아가는 모습입니다.

앞의 모델일수록 큰 변화를 예측하고, 뒤로 갈수록 미세 조정하며 정답을 찾아가는 모습을 볼 수 있습니다.

3. 실험 결과

다음은 이렇게 제안한 방법의 실험 결과를 살펴보겠습니다.

3-1. 성능 비교

먼저 다른 Homography Estimation 방법들과의 성능 비교를 살펴보겠습니다.

제안하는 방법을 1개 모델만 사용했을 때 Deep Homography Network과 유사한 성능을 내는 모습을 볼 수 있습니다. 그리고 모델을 쌓을수록 성능이 크게 향상되는 모습을 볼 수 있습니다.

4. Ablations

다음은 Ablations를 살펴보겠습니다.

4-1. Module comparison

CNN의 Dimension을 늘린 방식과 Module을 여러 개 쌓은 방식의 성능을 비교해보겠습니다.

1개 모듈을 사용하면서 더 깊은 네트워크를 구성할수록 성능이 미세하게 좋아지는 모습을 볼 수 있습니다. 하지만 모듈을 추가해줄수록 성능은 드라마틱하게 좋아지는 모습을 볼 수 있습니다.

Ffightingseok