TEAM EDA

이번 강의에서는 학습 된 모델을 평가하는 과정에 대해 알아보겠습니다. 주어진 데이터를 학습 및 검증, 평가 셋으로 나누는 방법론에 대해 배우고 장단점과 언제 어떤 방법을 선택할지에 대해 살펴봅니다. 평가함수에 대해 모델의 성능을 측정하고, 결과를 해석해서 머신러닝 프로세스를 반복하는 과정에 대해 이해해보도록 하겠습니다. 데이터 셋 분할은 무엇을 의미하며, 왜 하는 것일까요? 선택한 모델을 학습하기 위해서는 먼저 데이터를 Train / Valid / Test 총 3가지의 데이터로 나눠야 합니다. 일반적으로 저희가 가진 데이터는 전체 데이터의 일부분입니다. 그렇기에, 학습 데이터에서 엄청 잘 나온다고 실제 미래 데이터가 들어왔을때 잘 나온다는 보장이 없습니다. 그렇기에, 이러한 모델의 성능을 보장해줄 데이터..

이번 강의에서는 변수의 선택 (Feature Selection)에 대해 알아보겠습니다. 변수의 선택은 파생 변수가 만들어진 이후에 진행되기도 하고, 모델의 학습이 끝난 이후에 진행되기도 합니다. 어떤 방법, 모델, 목적에 따라 다른 모습을 보이는데 이번 강의에서는 Feature Selection의 의미와 왜 해야 하는지, 어떤 방법들이 있는지 살펴보고 마지막으로 최근 대회에서 사용되는 실용적인 기법들을 보면서 마무리하겠습니다. Feature Selection이란 무엇이고 왜 해야하는 것일까요? Feature Selection (변수 선택)은 학습에 필요한 변수들을 선택하는 과정을 의미합니다. 이 과정을 통해서 변수를 줄이게 되면 얻는 장점은 1. 차원의 저주 (Curse of Dimensionality)..

이전의 강의까지 해서 변수란 무엇인지, 변수에 결측치나 이상치가 있는 경우 어떻게 처리하는지, 연속형 변수의 값을 어떻게 변환하는지에 대해 살펴봤습니다. 이번 강의에서는 범주형 변수와 그 외 변수의 인코딩, 임베딩 방법에 대해 알아보도록 하겠습니다. 범주형 변수는 무엇이며 왜 처리해야하는 것일까요? 정형 데이터에서 범주형 변수를 처리하는 방법은 되게 까다롭습니다. 범주형 변수란 일종의 카테고리를 가지는 변수를 의미합니다. 예를들어 식물의 종도 일종의 카테고리가 되고 음식점의 종류 등 어떠한 집단을 의미하는 변수들을 의미합니다. 이러한 변수들은 컴퓨터가 인식할 수 없기에 인식할 수 있도록 해주는 작업이 필요합니다. 대표적으로 많이 알려진 방법으로는 One-Hot Encoding, Label Encoding..

이전 강의인 [Machine Learning Advanced] 2강. 머신러닝 강의 - 데이터 전처리 (결측치)에 이어서 이상치에 대해서 살펴보도록 하겠습니다. 이상치란 무엇일까요? 이상치(outlier)는 일반적인 데이터 패턴에서 벗어나거나 예외적인 값을 가지는 데이터 포인트를 의미합니다. 이러한 이상치는 주로 측정 오류, 혹은 특이한 상황 등으로 인해 발생하는 값입니다. 이러한 이상치는 통계적 결과를 왜곡 하는 원인이 되기도 하고, 모델의 학습을 방해하는 요소이기도 원인을 파악하고 원인에 따른 처리를 하는게 중요합니다. 예를들어, 위의 그래프처럼 축구선수의 평균연봉은 222000으로 크게 느껴지지만, 메시라는 선수 한명을 제외하면 10배 가까이 확 낮아지는 것을 볼 수 있습니다. 그렇기에, 이런 이상..

이론 : https://eda-ai-lab.tistory.com/598 코드 출처 : https://github.com/jfzhang95/pytorch-deeplab-xception/blob/master/modeling/backbone/xception.py import math import torch import torch.nn as nn import torch.nn.functional as F import torch.utils.model_zoo as model_zoo # 출처 : https://github.com/jfzhang95/pytorch-deeplab-xception/blob/master/modeling/backbone/xception.py def fixed_padding(inputs, kern..

Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation DeepLab 시리즈의 마지막 글인 DeepLabv3+의 리뷰를 하도록 하겠습니다. v3+ 또한 기존의 논문들과 구성 자체는 비슷하기에, 기존의 DeepLab 논문을 아직 안보시는 분들은 아래의 글을 먼저 참고하시기 바랍니다. DeepLabv1 : https://eda-ai-lab.tistory.com/589 DeepLabv2 : https://eda-ai-lab.tistory.com/593 DeepLabv3 : https://eda-ai-lab.tistory.com/596 Motivation 위의 DeepLabv3의 그림을 보면 알겠지만, 한계점 중에 하나가..

이론 : https://eda-ai-lab.tistory.com/596 from collections import OrderedDict import torch import torch.nn as nn import torch.nn.functional as F from types import ModuleType class Bottleneck(nn.Module): def __init__(self, in_ch, out_ch, stride, dilation, downsample): super(Bottleneck, self).__init__() mid_ch = out_ch // 4 self.conv1 = nn.Conv2d(in_channels=in_ch, out_channels=mid_ch, kernel_size=1..

Rethinking Atrous Convolution for Semantic Image Segmentation DeepLabv3는 DeepLabv1, v2와 굉장히 유사합니다. 그래서, 기존의 논문을 안읽으신 분들은 DeepLabv1의 글을 먼저 읽고 DeepLabv2을 읽으시기 바랍니다. 해당 글에서는 DeepLabv2와의 차별점에 대해서 주로 살펴볼 예정입니다. paper : https://arxiv.org/abs/1706.05587 DeepLabv2 vs DeepLabv3 DeepLabv2와 v3의 차별화 지점은 두가지가 있습니다. ASPP (Atrous Spatial Pyramid Pooling)의 Rate 비율이 달라집니다. Global Average Pooling이 도입됩니다. ASPP가 Su..

#!/usr/bin/env python # coding: utf-8 import torch import torch.nn as nn import torch.nn.functional as F import math import torch.utils.model_zoo as model_zoo __all__ = ['ResNet', 'resnet18', 'resnet34', 'resnet50', 'resnet101', 'resnet152'] model_urls = { 'resnet18': 'https://download.pytorch.org/models/resnet18-5c106cde.pth', &#39..

Pyramid Scene Parsing Network (PSPNet) Review papers : https://arxiv.org/pdf/1612.01105.pdf 0. Abstract FCN 기반의 모델은 global scene category clue를 활용하지 못하기 때문에 Open Vocabulary 와 diverse secens 두 가지 어려운 점을 가지고 있습니다. 위의 문제를 해결하기위해서 Pyramid Pooling Modules를 이용한 PSPNet을 제안합니다. Global context information을 탐색하는 능력을 가집니다. 서로 다른 영역을 기반으로 하는 Context를 탐색할 수 있습니다. 이는 local 및 global clue를 모두 활용해서 reliable pred..