머신러닝(기계학습) 3

논문을 통해 XGBOOST 완전히 이해하기(Bagging과 Boosting)

목차 1. 소개 2. XGBOOST 흐름 3. 논문속 수식으로 이해 4. 참고자료 1 . 소개 앙상블(ensemble) 방법이란 티끌 모아 태산이라는 아이디어를 담고있다. 성능이 좋지 않은 분류기를 여러개 모아서 합치면 좋은 성능을 낸다는 것이다. ​ 자세히 말하면, 분류기 하나(A Decision Tree)는 특정 몇개의 특성에 대해서 판단할 수 있지만, 분류기 여러개(Decision Trees)를 사용해 나온 결과를 종합해서 최종 결과를 낸다면 => 모든 분류기에서 사용된 특성 판단 조건들(Decision Nodes)을 모두 어느 정도 사용을 할 수 있어서 => 차원 높은 분류가 가능해진다. ​ 이런 앙상블 방법에는 1. Bagging 2. Boosting 등이 있다. ​ 1. Bagging (boo..

GBM(Gradient Boost Machine)이란? +학습이 되는 원리 자세히 설명

GBM을 알아보자 ​ 2022.10.10 - [머신러닝(기계학습)] - Decision Tree(의사결정나무) https://github.com/pilsung-kang/Business-Analytics-IME654-/blob/master/04%20Ensemble%20Learning/04-6_Ensemble%20Learning_Gradient%20Boosting%20Machine.pdf GitHub - pilsung-kang/Business-Analytics-IME654-: Course homepage for "Business Analytics (IME654)" @Korea University Course homepage for "Business Analytics (IME654)" @Korea Univer..

Decision Tree(의사결정나무)

Decision Tree : 머신러닝의 분류,예측 알고리즘중 하나. ​ 1. 결과의 원인 분석이 쉽다. 2. 간단하다. 3. 빠르다. ​ 1. Root node : 나무의 가장 꼭대기 2. Splitting(branch) : node의 출력 3. Decision node(internal node) : 하나의 특성(attribute,class) 4. Leaf node(terminal node) : 마지막 node 1.ID3(하나의 Decision node에 대해 3개 이상의 branch(가지) 생성 가능 => ID3 알고리즘을 보완하여 C4.5가 개발되었고, C4.5를 보완하여 C5.0이 개발됨 : Information gain을 이용하여 판단 ​ 2. CART (하나의 Decision node에 대해 2..