Computation Graph
신경망의 계산은 정방향 패스, 정방향 전파는 신경망의 출력값을 계산하고, 이는 역방향 패스, 역방향 전파로 이어져 경사나 도함수를 계산한다. 이는 계산 그래프를 통해 확인할 수 있는데, 로지스틱 회귀나 완성된 신경망보다 더 쉬운 것을 예로 들어보고자 한다, 함수 J를 계산한다고 하자. 이 함수는 a,b,c 세 개의 변수를 가지고 있고, 3(a+bc)이다. 이 함수를 계산하기 위해서는 서로 다른 세 단계의 과정이 필요하다. 먼저 bc를 계산해야 한다. (이를 u라고 한다.) 다음에는 v = a+u라고 할 때, v를 계산해야 한다. 마지막으로 J=3v라고 할 때, 이것이 함수 J의 계산이다. 위의 세 단계를 다음과 같이 계산 그래프로 나타낼 수 있다. 계산 그래프는 J 같은 특정한 출력값 변수를 최적화하고 ..
2024. 3. 23.
More Derivative Examples
미적분과 도함수 -> 곡선에서의 기울기, 도함수 예시) f(a) = a^2의 그래프 a가 2일 때 f(a)는 4가 되고, a를 오른쪽으로 밀어서 2.001이 되도록 하면 f(a)는 4.004가 된다. a를 오른쪽으로 0.001만큼 밀면 f(a)는 그것의 네 배인 0.004만큼 증가함을 알 수 있다. 미적분 관점에서 이는 a=2일 때, f(a)의 기울기, 미분계수가 4라고 말한다. 미적분 표기법을 사용하면, a=2일 때, (d/da)*f(a) = 4이다. 이 함수 a^2에서는 a의 값이 다르면, 기울기가 다르다. a가 5이면, a^2, f(a)는 25이다. 그리고 a를 5.001이 되도록 오른쪽으로 조금 밀면, f(a)는 약 25.010이 된다. 여기서는 a를 0.001만큼 밀어도 f(a)는 열 배가 증가..
2024. 3. 23.
