Computation Graph

 

 

신경망의 계산은

정방향 패스, 정방향 전파는 신경망의 출력값을 계산하고,

이는 역방향 패스, 역방향 전파로 이어져 경사나 도함수를 계산한다.

 

이는 계산 그래프를 통해 확인할 수 있는데,

로지스틱 회귀나 완성된 신경망보다 더 쉬운 것을 예로 들어보고자 한다,

 

함수 J를 계산한다고 하자.

이 함수는 a,b,c 세 개의 변수를 가지고 있고, 3(a+bc)이다.

이 함수를 계산하기 위해서는 서로 다른 세 단계의 과정이 필요하다.

먼저 bc를 계산해야 한다. (이를 u라고 한다.)

다음에는 v = a+u라고 할 때, v를 계산해야 한다.

마지막으로 J=3v라고 할 때, 이것이 함수 J의 계산이다.

 

 

 

위의 세 단계를 다음과 같이 계산 그래프로 나타낼 수 있다.

 

 

 

계산 그래프는 J 같은 특정한 출력값 변수를 최적화하고 싶을 때 사용한다.

그리고 로지스틱 회귀의 경우에 J는 당연히 최적화할 비용 함수이다.

 

위의 예제에서 확인할 수 있는 것은 

왼쪽에서 오른쪽의 패스로 J의 값을 계산할 수 있다는 것이다.

 

---

 

계산 그래프는 왼쪽에서 오른쪽으로 계산하는 파란색 화살표를 사용해서 계산을 정리한다.

(다음 영상에서는 역방향으로 화살표를 이용해서 오른쪽에서 왼쪽의 방향으로 도함수를 계산하고자 한다.)

 

 

 

 

* 아래의 영상을 참고하여 정리한 내용입니다.

https://www.youtube.com/watch?v=hCP1vGoCdYU&list=PLkDaE6sCZn6Ec-XTbcX1uRg2_u4xOEky0&index=13