TEAM EDA

이번 글에서는 기존의 RNN Basics에 이어서 PyTorch로 RNN를 구현하는 것에 대해서 심화적으로 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. Cross entropy loss에 대한 이론적인 설명은 hyuwk님의 블로그와 ratsgo님의 블로그를 참고하였습니다. 목차 'Hihello' problem Data Setting one hot encoding Cross entropy loss Code run 'longseq' example RNN timeseries 'Hihello' problem 문제 : hihello라는 문자열을 예측하는 모델을 만드는 것 목적 : 다음에 오는 ..

이번 글에서는 PyTorch로 RNN를 구현하는 것에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 하였고 같이 스터디하는 팀원분들의 자료를 바탕으로 작성하였습니다. RNN에 대한 이론적인 설명은 밑바닥 부터 시작하는 딥러닝2와 김성훈 교수님의 모두를 위한 딥러닝 강의, ratsgo님의 블로그를 참고하였습니다. 목차 RNN Usages of RNN RNN in PyTorch Simple Example RNN RNN은 Sequential data를 잘 다루기 위해 도입되었습니다. Sequential data는 순서가 중요한 데이터로 시계열 데이터(Time series), 문장(sentence)와 같은 예가 있습니다. 예) H -> E -> L -..

이번 글에서는 PyTorch로 Softmax Classification을 하는 방법에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 작성하였습니다. 목차 Softmax Cross Entropy Low-level Implementation High-level Implementation 1. Softmax Discrete Probability Distribution 정의 : 이산적인 확률 분포 예 : 주사위를 던질 경우에 1에서부터 6 중 하나에 분포하게 됨. 이산적인 확률분포를 바탕으로 우리는 Neural Net, Machine Learning을 수행합니다. 예를 들어, 가위바위보를 예측하는 프로그램을 만든다고 생각했을 때, 철수가 가위를 낸 이..

이번 글에서는 PyTorch로 Logistic Regression을 하는 방법에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 작성하였습니다. 목차 Reminder Computing Hypothesis Computing Cost Function Evaluation Higher Implementation 1. Reminder : Logistic Regression 목적 : 이진분류 방법 : 선형회귀식에 sigmoid를 씌워서 해결함 sigmoid란? 정의 : 시그모이드 함수는 실함수로써 유계이며 미분가능한 함수이며, 모든 점에서의 미분값은 양수이다. 성질 : 음의 무한대로 가면 0을 양의 무한대로 가면 1의 값을 가진다. Logistic Regr..