Regularization - 복잡도에 패널티 주기, 오버피팅 피하기

overfit

1. Early stopping
   모델이 복잡해지기 전에 막음
   학습, 검증, 평가로 데이터를 3등분(7:2:1)하여 모델을 만드는 초기부터 검증하며 복잡도를 막음
   단점: 데이터량이 낭비됨, 검증/평가 데이터

2. Noisy input
   부족한 데이터를 늘리기위해 노이즈를 추가하여 데이터를 늘림
   단점: 오분류된 샘플에 노이즈를 추가하여 데이터를 늘렸다면 안좋은 데이터가 늘어나게됨

3. drop-out
   일부 파라미터를 의도적으로 제거하는 방법
   인공신경망에서 일부 은닉층의 몇몇 노드를 비활성화하여 모델을 만듬

4. 복잡도 패널티
   L1, L2 reqularization - 모델의 복잡도에 패널티를 줌

5. Pruning / feature selection
   복잡하거나, 불필요한 가지/feature를 제거해서 모델을 만듬

6. Ensemble
   앙상블 - 여러모델을 합쳐서 하나의 큰 모델을 만드는 방법
   많은 모델을 이용함으로 개별 모델의 복잡도를 무시하는 것