과적합(오버피팅, over-fitting) 해결법

목차

1. 오버피팅이란
2. 과적합의 원인
3. 오버피팅으 근본적인 방지 - variance낮추기 (https://nittaku.tistory.com/289)
4. 데이터 보강(agumentation)
5. feature 수 줄이기
6. 가중치 감소
7. 드롭아웃
   https://shryu8902.github.io/working/2019-02-01-overfit/
8. 훈련 데이터를 늘린다
9. 피처를 정규화 / 표준화 시켜준다
10. 피처를 선택하여 제거하거나, 페널티를 준다.
11. 데이터의 차원을 축소한다 (CNN과 같은 커널이나 샘플링 개념이 포함된 신경망 알고리즘은 이 문제가 자동으로 해결이 된다.)

1. 오버피팅이란

오버피팅이란, 신경망이 훈련 데이터에만 지나치게 적응된 나머지, 훈련 데이터가 아닌 새로운 데이터에는 제대로 대응하지 못하는 상태를 말한다. 오버피팅을 설명하기 위해서 다음의 그래프가 꽤 많이 사용된다.