NLP 시작부터 전문가까지

비용함수로 자주 사용되는 Cross Entropy에 대해서 깊은 이해를 하게 해주는 영상을 발견했다. ( 자막도 잘 나와있어서 좋다. ) https://www.youtube.com/watch?v=PtmzfpV6CDE https://www.youtube.com/watch?v=2s3aJfRr9gE | 정보량 ​ 세상에는 다양한 종류의 정보들이 있다. 이 정보들을 하나의 기준으로 평가하고 싶은데 어떤 기준이 좋을 것인가? ​ ​ A라는 사람이 B라는 사람에게 정보를 전달할 것인데 보내고자 하는 정보의 양(정보량)을 수치화 할 수 있는 방법이 있을까? ​ 일단 정보들을 하나의 기준으로 평가하려면 정보들을 전달하는 방식이 동일해야 할 것이다. ​ 어떤 정보는 문자로 보내고, 어떤 정보는 숫자로 보내면 이 둘 정보..

Decision Tree : 머신러닝의 분류,예측 알고리즘중 하나. ​ 1. 결과의 원인 분석이 쉽다. 2. 간단하다. 3. 빠르다. ​ 1. Root node : 나무의 가장 꼭대기 2. Splitting(branch) : node의 출력 3. Decision node(internal node) : 하나의 특성(attribute,class) 4. Leaf node(terminal node) : 마지막 node 1.ID3(하나의 Decision node에 대해 3개 이상의 branch(가지) 생성 가능 => ID3 알고리즘을 보완하여 C4.5가 개발되었고, C4.5를 보완하여 C5.0이 개발됨 : Information gain을 이용하여 판단 ​ 2. CART (하나의 Decision node에 대해 2..