부스팅(boosting)

여기, 여기, 여기 참조함

bagging(= Bootstrap Aggregating)

bagging은 decision tree쪽에서 활용되는 기술이며 bootstrapping을 통해 강한 오버피팅모델 여러개를 만들어 correlation을 줄인다음 앙상블 하는 기술

bootstrap sampling(중복을 허용하여 전체가 아닌 부분을 샘플링하는 것) 을 통해 여러개 모델을 병행적으로 동시에 학습시키고 평균을 취하는 것(voting)

아래처럼 acc가 높은 상황에서 모델별로 오동작 하는 영역이 다르면 최상의 결과를 가져옴

하지만 아래처럼 acc가 낮거나 해서 오동작 하는 영역이 겹칠경우 voting에 의한 효율이 떨어지게 됨

Boosting

여러 모델을 병행적으로 동시에 학습하는게 아니라 하나를 학습하고(h1), 거기서 오동작하는 영역을 위주로 다른 하나의 모델을 학습하고(h2), h1과 h2가 결과가 다른 곳을 중심으로 새로운 모델을 학습하고(h3) 이런식으로 순차적으로 진행하는 방식

error rate가 50%에 가까운(49%등) weak classifier를 사용하는 것 가능(!!)