프로필사진

IT Anthology/encyclopedia

과적합(오버피팅, over-fitting) 해결법

다각 2020. 4. 19. 00:32

목차

  1. 오버피팅이란
  2. 과적합의 원인
  3. 오버피팅으 근본적인 방지 - variance낮추기 (https://nittaku.tistory.com/289)
  4. 데이터 보강(agumentation)
  5. feature 수 줄이기
  6. 가중치 감소
  7. 드롭아웃
    https://shryu8902.github.io/working/2019-02-01-overfit/
  8. 훈련 데이터를 늘린다
  9. 피처를 정규화 / 표준화 시켜준다
  10. 피처를 선택하여 제거하거나, 페널티를 준다.
  11. 데이터의 차원을 축소한다 (CNN과 같은 커널이나 샘플링 개념이 포함된 신경망 알고리즘은 이 문제가 자동으로 해결이 된다.)

1. 오버피팅이란

오버피팅이란, 신경망이 훈련 데이터에만 지나치게 적응된 나머지, 훈련 데이터가 아닌 새로운 데이터에는 제대로 대응하지 못하는 상태를 말한다. 오버피팅을 설명하기 위해서 다음의 그래프가 꽤 많이 사용된다.