Context Encoding for Semantic Segmentation (EncNet)

Resources

Motivation & Introduction

Semantic Segmentation 에서 많은 카테고리가 존재하는 경우에는 정확하게 분류를 하기가 어렵다. 사람도 카테고리가 많으면 분류하기 어려운데, 이를 좀 더 간단하게 하기위해서 상위 카테고리를 기반으로 분류를 진행하면 더 쉽지 않을까하는 동기에서 만들어진 모델이다. 이를 Context Encoding Module 이라고 해서 class-dependent featuremaps를 만들고 Semantic Segmentation을 더 쉽게 만드는 역할을 해준다.

Methodology

주요한 방법으로는 Encoding Layer를 통해서 입력 피처에 대한 벡터를 딕셔너리에 매핑하는게 특징이다. 실제 수식과 그림은 아래와 같은데 N개에 대한 클래스로 매핑하기 전에 K개로 미리 매핑을하고 거기에서 N으로 확장시키려는 의도로 보인다.

SE-Loss를 추가해서 Classficiation Task도 같이 수행해주는 것도 특징이다. 작은 Object의 경우 Pixel wise로 계산하면 무시되는 문제가 생기는데 이를 해결해주는데 주요한 역할을 한다. 해당 부분은 N개의 클래스에 대해서 로스를 계산하는데 개인적으로는 해당 부분을 K개의 상위 Dictionary로 하는게 논문의 방향성과 더 맞지 않나 생각이 든다.

Experiments & Results

Ablation Study 결과부터 추론된 이미지까지 모두 잘 된 것을 볼 수있다.

댓글(0)

Designed by JB FACTORY