TEAM EDA

이번 Lecture2에서는 지난Lecture1(https://eda-ai-lab.tistory.com/120)에 이어 word2vec에 대해 자세히 알아보도록 하겠습니다. 그리고 counting 기법과 GloVe model에 대해서 살펴보도록 하겠습니다. 대부분의 내용은 파리의 언어학도의 글을 토대로 만들었습니다. 1. Review: Main idea of word2vec 지난 시간에 배운것부터 복습해보면, Word2vec는 one-hot-vector의 한계를 극복하려고 등장한 개념입니다. 중심단어가 주어졌을 때, 주변단어가 나타날 확률을 계산하고 window내의 이 확률의 곱을 최대화 하도록 학습을 하게 됩니다. Objective function은 위의 P(o|c)가 되고, 우변의 v는 입력층과 은닉층..

CS224N의 1주차 강의 Introduction and Word Vectors의 강의 순서입니다. 기본적인 인간의 언어에 대해 먼저 이야기를 하고 Wor2Vec와 Gensim에 대해서 이야기를 진행합니다. 1. The course CS224n의 강의를 통해서 배울 수 있는 것은 아래와 같습니다. 첫째로, attention과 같은 최근 deep learning의 기법들을 배우고 이해할 수 있습니다. 두번째로, 사람의 언어가 왜 이해하기 어려운지 그리고 어떻게 생산해야 하는지, 이해해야 하는지에 대해 알 수 있습니다. 마지막으로, PyTorch를 이용하여 자연어처리의 많은 문제들을 해결할 능력을 기를 수 있습니다. 2. Human language and word meaning 우리는 단어의 의미를 어떤식으..

Note : 이 포스터는 (주)느린생각의 지원을 받아 딥러닝 쿡북이라는 교재로 스터디를 하고 작성하는 포스터입니다. 코드는 아래의 저자 링크(https://github.com/Dosinga/deep_learning_cookbook)를 활용하였습니다. 목차 4.1 데이터 수집하기 4.2 영화 임베딩 학습하기 4.3 영화 추천 시스템 만들기 4.4 단순 영화 평점 예측 이번 챕터에서는 위키피디아의 외부 링크를 기반으로 데이터를 수집할 것 입니다. 그리고 이를 바탕으로 임베딩 훈련을 시킨 후 SVM 모델로 간단한 추천시스템을 구현해보도록 하는 작업을 하겠습니다. 4.1 데이터 수집하기. 먼저 위키피디아의 덤프 페이지에서 최신 덤프 데이터를 수집합니다. # https://dumps.wikimedia.org/en..

Note : 이 포스터는 (주)느린생각의 지원을 받아 딥러닝 쿡북이라는 교재로 스터디를 하고 작성하는 포스터입니다. 이론은 딥러닝을 이용한 자연여 처리 입문(https://wikidocs.net/22660) 교재를 사용하였고 코드는 딥러닝 쿡북이라는 교재를 사용하였습니다. 단어 임베딩이란? 이 장에서는 단어 임베딩을 사용해 텍스트 간 유사도를 계산하는 방법을 설명합니다. 단어 임베딩은 원-핫 인코딩과는 다른방식으로 단어를 공간상의 벡터로 표현하는 기술 입니다. 단어 임베딩을 사용할 경우 비슷한 의미가 있는 단어들이 서로 가까운 곳에 나타나게 됨으로써 벡터 상에 단어의 의미를 포함시킬 수 있습니다. 이번 챕터에서는 단어 임베딩의 방법으로 구글의 Word2Vec을 사용할 것입니다. Word2Vec은 '비슷한..

교재 : 데이터 분석 준 전문가 Adsp 2017 데이터 분석 1장. 데이터 분석 개요 2장. R프로그래밍 기초 3장. 데이터 마트 4장. 통계 분석 5장 정형 데이터 마이닝 4장. 통계 분석 - PCA 주성분 분석 : 기존의 상관성이 높은 변수들을 요약, 축소하여 선형결합으로 만드는 방법!!! = 차원을 축소하는 방법. Proportion of Variance : 변수가 설명하는 정도. 주성분1은 95.5%를 설명함. Cumulative Proportion : 위의 Proportion of Variance의 누적값. 위와는 다른 예시지만 Component Number의 수에 따라 변동성을 보여 줌. 위의 테이블은 2개의 변수 long과 diag가 주성분1과 2에 기여하는 가중치를 보여주는 부분. Com..