Word2Vec

참고한 링크는 여기

Word2Vec이란 무엇인가

말 그대로 단어를 벡터로 바꿔주는 알고리즘. 뉴럴 네트워크를 사용함.

단어를 벡터로 바꾸는 가장 간단한 방법은 ont-hot encoding 인데, 이걸로 하면 단어간 유사성을 계산할 수 없는 단점이 존재.

CBOW, Skip-gram

2가징 방법론이 있는데

CBOW(Continuous Bag of Words)는 주변에 있는 단어들을 가지고, 중간에 있는 단어들을 예측하는 방법.

Skip-gram은 반대로 중간에 있는 단어로 주변 단어들을 예측하는 방법

CBOW

Word2Vec의 입력은 모두 one-hot vector가 되어야 한다. 아래 그림 두 장을 보면 대체로 이해가 된다.

하나의 hidden layer만 사용하기 때문에 deep하지 않음에 주목.

hidden layer의 노드 개수가 결과적으로 인코딩 되는 벡터의 차원수가 된다.