Dual Attention Network for Scene Segmentation (DANet)

Resources

• Title : Dual Attention Network for Scene Segmentation (DANet)
• Paper : https://arxiv.org/abs/1809.02983

Motivation & Introduction

기존의 연구는 Global한 Context 정보를 잡기위해서 Kernel Size를 넓히거나 Global Average Pooling, Dilated Convolution 등을 이용했다. 하지만, 이는 object와 stuff 사이의 관계를 제대로 파악하지 못한다. 이를 위해, DANet은 2가지의 Self-Attention인 Position Attention과 Channel Attention을 통해서 위의 문제를 해결하려고 한다.

Methodology

• Position Attention : long-range contextual information을 잡기위해서 (HXW)X(HXW)의 Self-Attention을 적용해서 모든 픽셀들 간의 관계를 파악한다. 이때, Adaptively하게 학습 가능한 scale factor alpha를 만들어서 각 position 별 가중치를 제공하는게 특징이다.

• Channel Attetion : 기존의 Channel Attention과 비슷하게 각 채널에 담긴 클래스의 특징들을 (Specific Semantics) 향상시키기 위해 사용하는 방법이다. CxC로 self-attention을 적용해서 피쳐맵들간의 구별성을 높이는 특징이 있다. Position Attention과 마찬가지로 scale factor beta가 있어서 channel 별 가중치를 제공하는게 특징이다.

Experiments & Results