Introduction

• compact representative image descriptor를 생성할 수 있고 end-to-end 학습이 가능한 새로운 orthogonal global and local feature fusion framework를 사용하여 single-stage 이미지 검색을 제안
• Discriminative local features을 extract하기 위해 multi-atrous 컨볼루션 레이어와 self-attention 모듈을 사용, 로컬 브랜치의 성능을 개선하도록 설계됨
• 본 논문에서 소개하는 single-stage 방법은 이전의 two-stage state-of-the-art를 significantly outperforms 함

Proposed Method

Overview

• Global branch는 original ResNet에서 global averaging pooling을 GeM pooling으로 교체하고, feature dimension을 줄이기 위해 FC layer를 사용한 것 외에는 동일하게 유지

  • Res4의 output feature map에 GeM pooling을 수행하는 공식은 다음과 같이 정의됨

    

• 동시에 local decriptors를 extract하기 위해, local branch는 ResNet에서의 Res3 block 이후에 이어짐

  • local branch는 multiple atrous convolution layers와 self-attention module로 구성

• 이후, novel orthogonal fusion module을 사용하여 global & local feature를 aggregation하여 최종 compact descriptor를 생성

Local Branch