[멋사] AI SCHOOL 5기_ Day 30

Decision Tree(의사결정나무)

출처_ https://ratsgo.github.io/machine%20learning/2017/03/26/tree/

이해하기 쉽고 해석도 용이하다. 하지만 2가지 큰 단점이 있다

• 입력 데이터의 작은 변동에도 Tree의 구성이 크게 달라질 수 있다
• 과적합이 쉽게 발생한다

→ 그래서 모델 앙상블 기법 중 하나인 Boosting 기법이 적용되었다.

 

AdaBoost (Adaptive Boosting)

출처_ https://subscription.packtpub.com/book/big_data_and_business_intelligence/9781788295758/4/ch04lvl1sec32/adaboost-classifier

1) 데이터를 바탕으로 여러 weak learner들을 반복적으로 생성한다

2) 앞선 learner가 잘못 예측한 데이터에 가중치를 부여하도록 하고(boosting) 학습시킨다

3) 최종적으로 만들어진 strong learner를 이용하여 실제 예측을 진행한다

여기서 문제는 높은 가중치를 가진 data point가 존재하게 되면 성능이 크게 떨어졌음

→ 그래서 어떻게 하면 에러를 최소화하는 방향으로 가중치를 매겨줄 수 있을까 고민하다가 나온게..

 

Gradient Boosing(2012)

경사 하강법을 사용해 AdaBoost의 성능을 개선했다. 

문제는 학습 성능은 좋은데, 모델의 학습 시간이 오래 걸렸다

-> 그래서 또 고민하다가 나온게..

 

XG Boost (Extreme Gradient Boosting, 2016)

병렬처리를 함으로써 시간을 단축시켰다!

그리고 여기서 더 업그레이드 돼서 Light GBM(2018)도 만들어졌다!

---

SVM (Support Vector Machines, 서포트 벡터 머신)

SVM은 Margin을 최대화하는 결정 경계(면)를 찾는 기법이다.

데이터의 분포에 따라 선형 분리가 불가능한 경우가 있다.

그럴 때는 original data가 놓여있는 차원을 비선형 매핑(Mapping)을 통해 고차원 공간으로 변환하는 것으로 해결할 수 있다!

Kernelized Support Vector Machine 

커널 함수도 직접 골라서 사용하는 것이기 때문에 Hyper-parameter 다!근데 여기서 커널함수도 데이터를 기반으로 컴퓨터가 좋은 걸로 알아서 찾았으면 좋겠는데... 라는 생각을 구현한게 바로 딥러닝이다..!