* 이 글은 책을 읽으며 정리한 글입니다. * 나중에라도 제가 참고하기 위해 정리해 두었으며, 모든 내용을 적은 것이 아닌, 필요하다고 생각되는 부분만 추려서 정리한 것임을 미리 밝힙니다. 목차 배치 정규화(Batch Normalization) 배치 정규화의 효과 NLP에서의 배치 정규화는? 1. 배치 정규화(Batch Normalization) 배치 정규화에 대해 정식으로 소개하기 전에, 이 방식이 왜 그렇게 열광받는지 소개하겠다. 배치 정규화에는 다음과 같은 장점이 있다. 학습을 빨리 진행할 수 있다. 초깃값에 크게 의존하지 않는다. 오버피팅을 억제한다. 배치 정규화는 각 층에서의 활성화 값이 적당히 분포되도록 조정하는 것이다. 조금 더 자세히 얘기를 해보자면, 학습 시에 평균이 0, 분산이 1이 되..