[3-9] 단어 임베딩 평가 방법

단어 임베딩의 품질은 어떠한 기준으로 평가가 이루어 질까?

​

크게 세 개로 나뉜다.

1. 단어 유사도 평가 (word similarity test)

2. 단어 유추 평가 (word analogy test)

3. 단어 임베딩 시각화

​

​

1. 단어 유사도 평가는

일련의 단어 쌍을 미리 구성한 후에

사람이 평가한 점수와 단어 벡터 간 코사인 유사도 사이의 상관관계를 계산해

단어 임베딩의 품질을 평가한다.

​

이때는

예측 기반 임베딩 기법(Word2Vec, FastText)이

행렬 분해 방법(GloVe,Swivel)들보다 의미적 관계가 잘 녹아있다는 결과가 나온다.

(평가 데이터 셋 크가가 충분치 않기는 하지만 다음과 같은 경향을 띤다)

​

​

2. 단어 유추 평가는

단어 벡터간 계산을 통해

예를들어

'갑-을+병' 이라는 질의에 '정'을 도출 해낼 수 있는지를 평가한다.

​

이 평가에서는 '갑-을+병' 에 해당하는 벡터에 대해 가장 코사인 유사도가 높은 벡터가 '정'인지를 확인한다.

 

+이에 대한 설명은 내 블로그 glove에 추가설명해 놓았다. https://nlp-study.tistory.com/19

 

[3-6] Glove란?

 

​

결과로써

'정답을 맞춘 개수', '전체 데이터 수' , '해당 단어의 임베딩 벡터가 존재하지 않는 경우의 수'

가 나오는데

이에 대해

​​

를 수치로 나타내 표현하면

Word2Vec과 GloVe가 상대적으로 높은 품질을 나타낸다.

​

​

​

3. 단어 임베딩 시각화는

의미가 유사한 단어를 사람이 쉽게 이해할 수 있는 형태의 그림으로 나타내 평가하는 방법이다.

이때 t-SNE를 통해 차원축소를 하고 표현해보면

서로 가까이 있을 수록 유형이 비슷하고, 색의 진함과 옅음에 따라 단어의 유사도를 나태낼 수 있다.