rngkrl1 cs231n - lecture04(역전파, 신경망) 역전파(Back Propagation) 아래와 같이 x와 W로 total Loss를 구하는 과정을 Computational Graph라고 한다. 이제 역전파를 계산해보자. 대략적인 방식은 아래와 같다.1. 각 local gradient 2. Chain Rule 적용을 위한 gradient들 구하기 3. Input이 마지막 단에 끼치는 영향 구하기 4. 의미파악 우선 아래와 같은 Computational Graph가 있다고 가정하고 역전파 계산하기 1. local gradient 구하기 - Forward Pass에서 Local Gradient를 구한다. 2. Chain Rule 적용을 위한 gradient들 구하기 3. Input이 마지막 단에 끼치는 영향 구하기 - Back.. 2024. 9. 27. 이전 1 다음
