반응형 경사하강법3 Gradient Descent on m Examples m개의 훈련 샘플에 대한 로지스틱 회귀의 경사하강법 예시) J(비용함수)=0, dw_1=0, dw_2=0, db=0 으로 초기화한다. 그리고 훈련 세트를 반복해 각 훈련 샘플에 대한 도함수를 계산하고 이를 더한다. i=1에서 훈련 샘플의 개수 m까지인 for문에서 z^(i) = w^T*x(i)+b 와 예측값 a^(i) = σ(z^(i))를 계산하고, J에 더해준다. ----> J += -[y^(i) loga^(i) + (1-y^(i)) log(1-a^(i))] 이다. 전에 확인한 바로, dz^(i) = a^(i)-y^(i) 이고, dw_1 += x_1^(i) dz^(i), dw_2 + = x_2^(i) dz^(i) 이다. 지금의 계산은 특성이 n=2으로 가정하고 진행한 것이다. 끝으로, db += dz^.. 2024. 3. 25. Logistic Regression Gradient Descent 로지스틱 회귀의 경사하강법을 구현하는데 필요한 도함수를 계산하는 방법 계산 그래프를 로지스틱 회귀의 경사하강법에 사용하는 것은 조금 과하긴 하지만, 이런 방법을 통해 살펴보면 나중에 완전한 신경망을 다룰 때 이해가 더 잘 될 것이다. 로지스틱 회귀의 경사하강법 계산 그래프로 나타내기 이 예제에서는 특성이 x_1과 x_2 두 개가 있다고 가정한다. z를 계산하려면, 특성값 x_1과 x_2를 포함해서 w_1과 w_2를 포함해서 w_1,w_2,b가 필요하다. 계산그래프에서는 이 모두가 z를 계산하는데 필요하다. z = w_1x_1 + w_2x_2 + b 이다. 그 다음에 y의 예측값을 계산하고, 마지막으로 손실함수 L을 계산한다. 로지스틱 회귀에서 목적은 매개변수 w와 b를 변경해서 이 손실을 줄이는 것이다... 2024. 3. 25. Gradient Descent 경사하강법 알고리즘을 사용해서 매개변수 w와 b를 훈련 세트에 학습시킨다. 첫 번째 식은 로지스틱 회귀 알고리즘이고, 두 번째 식은 비용함수 J이다. (매개변수 w와 b에 대한 함수) 이는 평균으로 정의할 수 있으므로 1/m에 손실함수의 합을 곱한다. 그리고 손실함수는 알고리즘이 각 훈련 샘플의 y의 예측값이 얼마나 좋은지를 각 훈련 샘플에 대한 참값 y^(i)와 비교해 측정한다. 비용함수는 매개변수 w와 b가 훈련 세트를 잘 예측하는지 측정하는데, 그러면 매개변수 w와 b를 알아내기 위해서는 비용함수 J(w,b)를 가장 작게 만드는 w와 b를 찾아야 할 것이다. 경사하강법 아래 그래프에서 두 가로축은 매개변수 w와 b의 공간을 나타낸다. (실제로는 w가 더 높은 차원을 취할 수 있지만, 도표를 그릴 때.. 2024. 3. 23. 이전 1 다음 반응형
