TEAM EDA

이번 글에서는 Overfitting과 Dropout에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Overfitting Regularization Dropout Code : mnist_nn_dropout 1. Overfitting 과도하게 현재 데이터에 대해 모델을 learning을 한 경우. 즉, Training data에 대해 acc는 높지만 Test data에 대해 acc는 낮은 현상 해결 training data를 늘린다. features의 수를 줄인다. (차원의 저주를 피하기 위함) Regularization Dropout 2. Regularization 데이터에..

이번 글에서는 PyTorch로 Weight Initialization 하는 것에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Why good initialization? RBM / DBN Xavier / He initialization Code : mnist_nn_xavier 1. Why good initialization? weight 초기화와 관련해서 연구한 내용을 보면, weight 초기화 방법을 적용한 ~ N이 다른 모델에 비해 학습속도와 에러 모두 낮은 것을 볼 수 있습니다. 그렇다면 어떤 식으로 초기화를 할 수 있을까요? 가중치 초기값이 0이거나 동일한 경우 모..

이번 글에서는 PyTorch로 ReLU를 적용하는 것에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Problem of Sigmoid ReLU Optimizer in PyTorch Review : MNIST Code : mnist_softmax Code : mnist_nn 1. Problem of Sigmoid 시그모이드의 가장 큰 문제점은 Vanishing Gradient입니다. Vanishing Gradient는 역전파를 하는 과정에서 미분값이 점점 0이나 1로 가는 현상을 의미합니다. 미분 값이 0이나 1로 가게되면 아무리 학습을 진행해도 파라미터의 값은 변하지 않고..

이번 글에서는 PyTorch로 XOR문제를 풀어보고 Perceptron에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. 목차 Perceptron AND, OR XOR Code: xor Multi Layer Perceptron Backpropagation Code : xor - nn 1. Perceptron Perceptron은 위에 보이는 인간의 신경망을 구현한 것입니다. 인간의 신경망은 입력이 들어오면 뉴런을 통해서 에너지가 흐르고 특정 임계값을 넘으면 출력으로 넘어가게 됩니다. 그 모습을 나타낸게 아래와 같습니다. 아래의 Perceptron도 입력이 주어지면 가중치와 반응해서..

이번 글에서는 PyTorch로 Softmax Classification을 하는 방법에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 작성하였습니다. 목차 Softmax Cross Entropy Low-level Implementation High-level Implementation 1. Softmax Discrete Probability Distribution 정의 : 이산적인 확률 분포 예 : 주사위를 던질 경우에 1에서부터 6 중 하나에 분포하게 됨. 이산적인 확률분포를 바탕으로 우리는 Neural Net, Machine Learning을 수행합니다. 예를 들어, 가위바위보를 예측하는 프로그램을 만든다고 생각했을 때, 철수가 가위를 낸 이..

이번 글에서는 PyTorch로 Logistic Regression을 하는 방법에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 작성하였습니다. 목차 Reminder Computing Hypothesis Computing Cost Function Evaluation Higher Implementation 1. Reminder : Logistic Regression 목적 : 이진분류 방법 : 선형회귀식에 sigmoid를 씌워서 해결함 sigmoid란? 정의 : 시그모이드 함수는 실함수로써 유계이며 미분가능한 함수이며, 모든 점에서의 미분값은 양수이다. 성질 : 음의 무한대로 가면 0을 양의 무한대로 가면 1의 값을 가진다. Logistic Regr..

이번 글에서는 PyTorch로 데이터를 Loading 하는 방법에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 작성하였습니다. 목차 Multivariate Linear Regression 복습 "Minibatch" Gradient Descent 이론 PyTorch Dataset and DataLoader 사용법 1. Multivariate Linear Regression 복습 2. "Minibatch" Gradient Descent 이론 복잡한 머신러닝 모델을 학습하려면 엄청난 양의 데이터가 필요 대부분 데이터셋은 적어도 수십만 개의 데이터를 제공 (IMAGENET은 14,197,122개의 이미지) 엄청난 양의 데이터를 한번에 학습시킬 수 없..

이번 글에서는 PyTorch로 하는 선형 회귀 법에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 작성하였습니다. 목차 Data Definition Hypothesis Compute loss Gradient Descent Multivariate Linear Regression nn.Module Q&A 1. Data Definition 1시간 공부시에 2점을 받고, 2시간에는 4점, 3시간에는 6점을 얻었다면 4시간을 공부하면 몇 점을 얻을 수 있을까? 2. Hypothesis "위의 문제를 해결하기 위해서 Hours(x)와 Points(y)를 가장 잘 표현하는 선형의 방정식을 찾겠다." 라는 것이 선형 회귀 방정식의 개념입니다. 이를 식으로 표..

이번 글에서는 PyTorch의 기본적인 연산 법에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 작성하였습니다. 목차 Vector, Matrix and Tensor NumPy Review PyTorch Tensor Allocation Matrix Multiplication Other Basic Ops 1. Vector, Matrix and Tensor 스칼라(scala) : 차원이 없는 값 벡터(vector) : 1차원으로 이루어진 값(1D) 행렬(matrix) : 2차원으로 이루어진 값(2D) 텐서(tensor) : 3차원으로 이루어진 값(3D) Tensor의 Shape를 계산할 수 있는 것이 중요함. 2D : (batch size, dim)..

문제 1. 회원 테이블 추가하기 엘리스 가게에서는 회원가입을 통해 구매한 가격만큼 마일리지 혜택을 주려고 합니다. 이를 위해 customer 테이블을 만들고자 합니다. 지시사항에 맞추어 customer 테이블을 완성해 봅시다. 지시사항 아래와 같은 고객의 정보를 customer테이블에 추가해 봅시다 customer테이블의 모든 컬럼을 출력해 봅시다. 풀이 1. -- customer 테이블의 내용을 추가합니다. INSERT INTO customer(id, name, birthday, mileage) VALUES(1, 'Elice', '2010-01-15', 100); INSERT INTO customer(id, name, birthday, mileage) VALUES(2, 'Cheshire', '2005-..