본문 바로가기
머신러닝

Regularization - 복잡도에 패널티 주기, 오버피팅 피하기

by Chan_찬 2020. 8. 3.
728x90
반응형

overfit

  1. Early stopping
    모델이 복잡해지기 전에 막음
    학습, 검증, 평가로 데이터를 3등분(7:2:1)하여 모델을 만드는 초기부터 검증하며 복잡도를 막음
    단점: 데이터량이 낭비됨, 검증/평가 데이터

  2. Noisy input
    부족한 데이터를 늘리기위해 노이즈를 추가하여 데이터를 늘림
    단점: 오분류된 샘플에 노이즈를 추가하여 데이터를 늘렸다면 안좋은 데이터가 늘어나게됨

  3. drop-out
    일부 파라미터를 의도적으로 제거하는 방법
    인공신경망에서 일부 은닉층의 몇몇 노드를 비활성화하여 모델을 만듬

  4. 복잡도 패널티
    L1, L2 reqularization - 모델의 복잡도에 패널티를 줌

  5. Pruning / feature selection
    복잡하거나, 불필요한 가지/feature를 제거해서 모델을 만듬

  6. Ensemble
    앙상블 - 여러모델을 합쳐서 하나의 큰 모델을 만드는 방법
    많은 모델을 이용함으로 개별 모델의 복잡도를 무시하는 것

728x90
728x90
BIG

'머신러닝' 카테고리의 다른 글

Stacking - 스태킹  (1) 2020.08.06
Boosting - 부스팅  (0) 2020.08.05
배깅 - bagging algorism  (0) 2020.08.04
Overfitting, Undeffitting - 오버피팅, 언더피팅  (0) 2020.07.31
머신러닝 - 학습 데이터 속성  (0) 2020.07.30
Buy me a coffeeBuy me a coffee

댓글