[파이토치로 시작하는 딥러닝 기초] 1.4.2 Loading Data

이번 글에서는 PyTorch로 데이터를 Loading 하는 방법에 대해서 배워보도록 하겠습니다. 이번 글은 EDWITH에서 진행하는 파이토치로 시작하는 딥러닝 기초를 토대로 작성하였습니다. 

 

목차 

• Multivariate Linear Regression 복습 

• "Minibatch" Gradient Descent 이론 

• PyTorch Dataset and DataLoader 사용법 

1. Multivariate Linear Regression 복습 

2. "Minibatch" Gradient Descent 이론

• 복잡한 머신러닝 모델을 학습하려면 엄청난 양의 데이터가 필요

• 대부분 데이터셋은 적어도 수십만 개의 데이터를 제공 (IMAGENET은 14,197,122개의 이미지) 

• 엄청난 양의 데이터를 한번에 학습시킬 수 없음 (너무 느리고, 하드웨적으로 불가능)

• 그렇다면 일부분의 데이터로만 학습하면 어떨까? (Mini Batch)

  • 업데이트를 좀 더 빠르게 할 수 있음

  • 전체 데이터를 쓰지 않아서 잘못된 방향으로 업데이트를 할 수도 있음 

출처 : https://engmrk.com/mini-batch-gd/

 

3. PyTorch Dataset and DataLoader 사용법