TEAM EDA

이번 글에서는 PyTorch로 Batch Normalization 하는 것에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Gradient Vanishing / Exploding Internal Covariate Shift Batch Normalization Code: mnist_batchnorm 1. Gradient Vanishing / Exploding Gradient Vanishing : 역전파시에 그래디언트가 사라지는 현상 앞쪽의 레이어가 영향을 주지 못하고 뒤쪽의 레이어에 의해 모델이 결정됨 Gradient Exploding : 역전파시에 그래디언트가 매우 커지는 ..

이번 글에서는 Overfitting과 Dropout에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Overfitting Regularization Dropout Code : mnist_nn_dropout 1. Overfitting 과도하게 현재 데이터에 대해 모델을 learning을 한 경우. 즉, Training data에 대해 acc는 높지만 Test data에 대해 acc는 낮은 현상 해결 training data를 늘린다. features의 수를 줄인다. (차원의 저주를 피하기 위함) Regularization Dropout 2. Regularization 데이터에..

이번 글에서는 PyTorch로 Weight Initialization 하는 것에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Why good initialization? RBM / DBN Xavier / He initialization Code : mnist_nn_xavier 1. Why good initialization? weight 초기화와 관련해서 연구한 내용을 보면, weight 초기화 방법을 적용한 ~ N이 다른 모델에 비해 학습속도와 에러 모두 낮은 것을 볼 수 있습니다. 그렇다면 어떤 식으로 초기화를 할 수 있을까요? 가중치 초기값이 0이거나 동일한 경우 모..

이번 글에서는 PyTorch로 ReLU를 적용하는 것에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Problem of Sigmoid ReLU Optimizer in PyTorch Review : MNIST Code : mnist_softmax Code : mnist_nn 1. Problem of Sigmoid 시그모이드의 가장 큰 문제점은 Vanishing Gradient입니다. Vanishing Gradient는 역전파를 하는 과정에서 미분값이 점점 0이나 1로 가는 현상을 의미합니다. 미분 값이 0이나 1로 가게되면 아무리 학습을 진행해도 파라미터의 값은 변하지 않고..

이번 글에서는 PyTorch로 XOR문제를 풀어보고 Perceptron에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Perceptron AND, OR XOR Code: xor Multi Layer Perceptron Backpropagation Code : xor - nn 1. Perceptron Perceptron은 위에 보이는 인간의 신경망을 구현한 것입니다. 인간의 신경망은 입력이 들어오면 뉴런을 통해서 에너지가 흐르고 특정 임계값을 넘으면 출력으로 넘어가게 됩니다. 그 모습을 나타낸게 아래와 같습니다. 아래의 Perceptron도 입력이 주어지면 가중치와 반응해서..

이번 글에서는 PyTorch로 Softmax Classification을 하는 방법에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 작성하였습니다. 목차 Softmax Cross Entropy Low-level Implementation High-level Implementation 1. Softmax Discrete Probability Distribution 정의 : 이산적인 확률 분포 예 : 주사위를 던질 경우에 1에서부터 6 중 하나에 분포하게 됨. 이산적인 확률분포를 바탕으로 우리는 Neural Net, Machine Learning을 수행합니다. 예를 들어, 가위바위보를 예측하는 프로그램을 만든다고 생각했을 때, 철수가 가위를 낸 이..

이번 글에서는 PyTorch로 Logistic Regression을 하는 방법에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 작성하였습니다. 목차 Reminder Computing Hypothesis Computing Cost Function Evaluation Higher Implementation 1. Reminder : Logistic Regression 목적 : 이진분류 방법 : 선형회귀식에 sigmoid를 씌워서 해결함 sigmoid란? 정의 : 시그모이드 함수는 실함수로써 유계이며 미분가능한 함수이며, 모든 점에서의 미분값은 양수이다. 성질 : 음의 무한대로 가면 0을 양의 무한대로 가면 1의 값을 가진다. Logistic Regr..