[1-3] TF-IDF 란?

TF-IDF 는 간단히 표현하자면 모든 문서에서 자주 등장하는 단어는 중요도가 낮다고 판단하고(조사 등..),

특정 문서에서만 자주 등장하는 단어는 중요도가 높다고 판단하여 (주제를 담고 있는 단어일 확률 높으므로) 하나의 값으로 나타내는 것이다. 그래서 TF-IDF값이 높은 단어일 수록 주제를 담고있는 단어라고 말 할 수있다.

​

TF-IDF식 (출처: https://www.affde.com/ko/tf-idf-can-it-really-help-your-seo.html)

 

1. TF는 특정 문서에서만 쓰인 단어 사용 수이다.

2. DF는 특정 단어가 나타난 문서의 수이다. 그러므로 DF값이 클수록 범용적인 단어라고 할 수 있다.

 

3. IDF는 N(문서 개수)를 DF로 나누고 log를 취해준다. 그러므로 IDF는 값이 클수록 특이한 단어라고 할 수있다.

IDF값

4. TF와IDF를 곱함으로써 우리는 단어의 주제함축 정도를 값으로 나타낼 수 있다.

​