TEAM EDA

이번 글에서는 기존의 RNN Basics에 이어서 PyTorch로 RNN를 구현하는 것에 대해서 심화적으로 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. Cross entropy loss에 대한 이론적인 설명은 hyuwk님의 블로그와 ratsgo님의 블로그를 참고하였습니다. 목차 'Hihello' problem Data Setting one hot encoding Cross entropy loss Code run 'longseq' example RNN timeseries 'Hihello' problem 문제 : hihello라는 문자열을 예측하는 모델을 만드는 것 목적 : 다음에 오는 ..

이번 글에서는 PyTorch로 RNN를 구현하는 것에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. RNN에 대한 이론적인 설명은 밑바닥 부터 시작하는 딥러닝2와 김성훈 교수님의 모두를 위한 딥러닝 강의, ratsgo님의 블로그를 참고하였습니다. 목차 RNN Usages of RNN RNN in PyTorch Simple Example RNN RNN은 Sequential data를 잘 다루기 위해 도입되었습니다. Sequential data는 순서가 중요한 데이터로 시계열 데이터(Time series), 문장(sentence)와 같은 예가 있습니다. 예) H -> E -> L -..

이번 글에서는 PyTorch로 VGG를 구현하는 것에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 VGG NET VGG 구현 1. VGG NET VGG는 옥스포드 대학의 연구팀 VGG에 의해 개발된 모델로써, 2014년 이미지넷 인식 대회에서 준우승을 한 모델입니다. 층의 갯수에 따라 11부터 19까지 갯수가 다양하고 사용하기 쉬운 구조와 성능때문에 많은 인기를 얻은 모델입니다. VGG의 특징은 3x3의 작은 필터를 사용했다는 점입니다. 3x3 Convolution을 두 번 쌓는 것은 5x5 convolution과 동일하고 3x3 Convolution을 세 번 쌓는 것은 ..

이번 글에서는 PyTorch로 Convolution Neural Network 하는 것에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Convolution? Neuron과 Convolution Pooling Mnist 구현 1. Convolution Convolution Neural Network(CNN)의 구조는 위의 사진과 같습니다. 이미지가 들어오면 Convolutions 작업으로 feature maps를 만들어 내고 Subsampling을 통해서 그 사이즈를 줄입니다. 마찬가지로 Convolutions - Subsampling 작업을 반복하다가 마지막에 Full C..

이번 글에서는 PyTorch로 Batch Normalization 하는 것에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Gradient Vanishing / Exploding Internal Covariate Shift Batch Normalization Code: mnist_batchnorm 1. Gradient Vanishing / Exploding Gradient Vanishing : 역전파시에 그래디언트가 사라지는 현상 앞쪽의 레이어가 영향을 주지 못하고 뒤쪽의 레이어에 의해 모델이 결정됨 Gradient Exploding : 역전파시에 그래디언트가 매우 커지는 ..

이번 글에서는 Overfitting과 Dropout에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Overfitting Regularization Dropout Code : mnist_nn_dropout 1. Overfitting 과도하게 현재 데이터에 대해 모델을 learning을 한 경우. 즉, Training data에 대해 acc는 높지만 Test data에 대해 acc는 낮은 현상 해결 training data를 늘린다. features의 수를 줄인다. (차원의 저주를 피하기 위함) Regularization Dropout 2. Regularization 데이터에..

이번 글에서는 PyTorch로 Weight Initialization 하는 것에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Why good initialization? RBM / DBN Xavier / He initialization Code : mnist_nn_xavier 1. Why good initialization? weight 초기화와 관련해서 연구한 내용을 보면, weight 초기화 방법을 적용한 ~ N이 다른 모델에 비해 학습속도와 에러 모두 낮은 것을 볼 수 있습니다. 그렇다면 어떤 식으로 초기화를 할 수 있을까요? 가중치 초기값이 0이거나 동일한 경우 모..

이번 글에서는 PyTorch로 ReLU를 적용하는 것에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Problem of Sigmoid ReLU Optimizer in PyTorch Review : MNIST Code : mnist_softmax Code : mnist_nn 1. Problem of Sigmoid 시그모이드의 가장 큰 문제점은 Vanishing Gradient입니다. Vanishing Gradient는 역전파를 하는 과정에서 미분값이 점점 0이나 1로 가는 현상을 의미합니다. 미분 값이 0이나 1로 가게되면 아무리 학습을 진행해도 파라미터의 값은 변하지 않고..

이번 글에서는 PyTorch로 XOR문제를 풀어보고 Perceptron에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Perceptron AND, OR XOR Code: xor Multi Layer Perceptron Backpropagation Code : xor - nn 1. Perceptron Perceptron은 위에 보이는 인간의 신경망을 구현한 것입니다. 인간의 신경망은 입력이 들어오면 뉴런을 통해서 에너지가 흐르고 특정 임계값을 넘으면 출력으로 넘어가게 됩니다. 그 모습을 나타낸게 아래와 같습니다. 아래의 Perceptron도 입력이 주어지면 가중치와 반응해서..

이번 글에서는 PyTorch로 Softmax Classification을 하는 방법에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 작성하였습니다. 목차 Softmax Cross Entropy Low-level Implementation High-level Implementation 1. Softmax Discrete Probability Distribution 정의 : 이산적인 확률 분포 예 : 주사위를 던질 경우에 1에서부터 6 중 하나에 분포하게 됨. 이산적인 확률분포를 바탕으로 우리는 Neural Net, Machine Learning을 수행합니다. 예를 들어, 가위바위보를 예측하는 프로그램을 만든다고 생각했을 때, 철수가 가위를 낸 이..