* 이 글은 책을 읽으며 정리한 글입니다. * 나중에라도 제가 참고하기 위해 정리해 두었으며, 모든 내용을 적은 것이 아닌, 필요하다고 생각되는 부분만 추려서 정리한 것임을 미리 밝힙니다. 목차 ReLU에서의 역전파 구현 Sigmoid에서의 역전파 구현 Softmax-with-Loss에서의 역전파 구현 앞서 간단한 덧셈, 곱셈 노드에서의 역전파를 구현해보았다. 2020/03/29 - 파이썬으로 간단한 계층(덧셈 노드/곱셈 노드)에서의 역전파 구현하기 이제 신경망에서 자주 쓰이는 활성화함수에서의 역전파를 구현해보도록 하자. 1. ReLU에서의 역전파 구현 앞선 포스트에서 ReLU 함수에 대해 다룬 바가 있다. 리마인드를 위해 잠깐 언급하자면 다음과 같다. ReLU(Rectified Linear Unit) ..

* 이 글은 책을 읽으며 정리한 글입니다. * 나중에라도 제가 참고하기 위해 정리해 두었으며, 모든 내용을 적은 것이 아닌, 필요하다고 생각되는 부분만 추려서 정리한 것임을 미리 밝힙니다. 목차 계산 그래프(computational graph)란? 계산 그래프 사용의 장점 계산 그래프의 역전파(back-propagation) 1. 계산 그래프(computational graph)란? 오차역전파를 쉽게 설명하기 위해 계산 그래프를 도입한다. (이 설명 방식은 안드레 카페스(Andreg Karpathy)의 블로그와 그와 페이페이 리(Fei-Fei Li) 교수가 진행한 cs231n 수업을 참고한다.) 계산 그래프(computational graph)란 계산 과정을, 복수의 노드(node)와 엣지(edge)가 ..