gradient descent1 Gradient Descent를 위한 최적화 알고리즘 목차1. Stochastic gradient descent (SGD)2. Momentum3. Nestrov accelerated gradient (NAG)4. Adagrad5. RMSProp6. Adadelta7. Adam8. Adamax9. Noam decay10. Cosine Annealing with Warm Restart 1. Stochastic gradient descent (SGD) Gradient Descent 알고리즘은 오류 함수의 기울기(미분)를 계산해 이를 바탕으로 파라미터를 업데이트하여 최적점을 찾는 방법입니다. Gradient Descent에는 두 가지 방식이 있는데, Steepest Descent 알고리즘은 전체 데이터를 사용해 기울기를 계산하는 반면, Stochastic Grad.. 2024. 10. 23. 이전 1 다음
