TEAM EDA

이번 Lecture3에서는 지난Lecture2(https://eda-ai-lab.tistory.com/122)에 이어서 Word window Classification과 NN에 대해 알아보도록 하겠습니다. 지난번과 마찬가지로 파리의 언어학도블로그의 글을 토대로 내용을 추가하였습니다. 일반적으로 우리는 training dataset을 i=1부터 N까지 xi라는 inputs과 yi라는 output(label or class)에 대해 가지고 있습니다. nlp에서는 xi는 단어나 문장, 문서를 의미하고 yi는 classes일수도 words나 다른 것들일 수도 있습니다. 위의 데이터를 ML/ Deep Learning 방법으로 분류의 과정을 거치게 됩니다. 분류는 아래의 그림처럼 비슷한 비슷한 Output끼리 모이..

이번 Lecture2에서는 지난Lecture1(https://eda-ai-lab.tistory.com/120)에 이어 word2vec에 대해 자세히 알아보도록 하겠습니다. 그리고 counting 기법과 GloVe model에 대해서 살펴보도록 하겠습니다. 대부분의 내용은 파리의 언어학도의 글을 토대로 만들었습니다. 1. Review: Main idea of word2vec 지난 시간에 배운것부터 복습해보면, Word2vec는 one-hot-vector의 한계를 극복하려고 등장한 개념입니다. 중심단어가 주어졌을 때, 주변단어가 나타날 확률을 계산하고 window내의 이 확률의 곱을 최대화 하도록 학습을 하게 됩니다. Objective function은 위의 P(o|c)가 되고, 우변의 v는 입력층과 은닉층..

CS224N의 1주차 강의 Introduction and Word Vectors의 강의 순서입니다. 기본적인 인간의 언어에 대해 먼저 이야기를 하고 Wor2Vec와 Gensim에 대해서 이야기를 진행합니다. 1. The course CS224n의 강의를 통해서 배울 수 있는 것은 아래와 같습니다. 첫째로, attention과 같은 최근 deep learning의 기법들을 배우고 이해할 수 있습니다. 두번째로, 사람의 언어가 왜 이해하기 어려운지 그리고 어떻게 생산해야 하는지, 이해해야 하는지에 대해 알 수 있습니다. 마지막으로, PyTorch를 이용하여 자연어처리의 많은 문제들을 해결할 능력을 기를 수 있습니다. 2. Human language and word meaning 우리는 단어의 의미를 어떤식으..