연구 노트/적응신호처리13 Gradient Descent를 위한 최적화 알고리즘 목차1. Stochastic gradient descent (SGD)2. Momentum3. Nestrov accelerated gradient (NAG)4. Adagrad5. RMSProp6. Adadelta7. Adam8. Adamax9. Noam decay10. Cosine Annealing with Warm Restart 1. Stochastic gradient descent (SGD) Gradient Descent 알고리즘은 오류 함수의 기울기(미분)를 계산해 이를 바탕으로 파라미터를 업데이트하여 최적점을 찾는 방법입니다. Gradient Descent에는 두 가지 방식이 있는데, Steepest Descent 알고리즘은 전체 데이터를 사용해 기울기를 계산하는 반면, Stochastic Grad.. 2024. 10. 23. Steepest descent Method 총정리 목차1. Steepest descent algorithm이란?2. Steepest descent algorithm의 Stability3. (Example) 2nd order real-valued AR process 수식 전개는 계산 용이성을 위해, complex가 아닌 real을 가정하였습니다. 1. Steepest descent algorithm이란? Steepest descent algorithm은 기울기(gradient)를 따라 함수 값을 최소화하는 최적화 알고리즘입니다. 주어진 함수에서 현재 위치의 기울기 반대 방향으로 이동하며 함수 값이 가장 빠르게 감소하게 됩니다. 각 단계에서 step size에 따라 이동하며, 기울기가 0에 가까워질수록 최적점(optimal point)에 수렴합니다. .. 2024. 10. 22. Linear Prediction 바로 알기 목차1. Forward linear prediction2. Backward linear prediction3. Levinson-Durbin algorithm4. Lattice predictors 수식 전개는 계산 용이성을 위해, complex가 아닌 real을 가정하였습니다.1. Forward linear prediction 위 filter의 output은 과거의 $(N-1)$개의 input을 가지고 현재를 추정한 값 $\hat{u}(n|\mathcal{U}_{n-1})$입니다. $f_M(n)$은 desired signal인 $u(n)$에서 output인 $\hat{u}(n|\mathcal{U}_{n-1})$을 뺀 값으로, filter의 Forward prediction error를 의미합니다. 여기서.. 2024. 10. 21. Wiener filter 총정리 목차1. Wiener filter2. MMSE criterion을 만족하는 최적의 FIR filter3. Orthogonality principle4. Minimum mean-square error5. Wiener-Hopf equation6. Error-performance surface 수식 전개는 계산 용이성을 위해, complex가 아닌 real을 가정하였습니다.1. Wiener filter MMSE (minimum mean square error) 최소화하도록 설계된 최적의 linear discrete-time filter를 wiener 필터라고 합니다. 다시 말해, 필터 출력 $y(n)$이 원하는 신호 $d(n)$에 근사하도록 추정 오차 $e(n)=y(n)-d(n)$을 최소화하는 방향으로 wie.. 2024. 10. 19. NLMS filter의 Stability normalized LMS filter의 stability에 대해 알아봅시다. 앞으로 나올 수식 전개는 모두 complex가 아닌 real을 가정하였습니다. 먼저, desired response $d(n)$에 additive disturbance가 존재한다고 가정해봅시다. weight error vector는 desired output을 출력하는 target weight 값에서 추정한 weight 를 뺀 것으로 아래와 같이 정의해주었습니다. mean-square deviation은 weight error vector의 energy로 정의됩니다. $\mathfrak{D}(n)$이 이차식이기 때문에, 최솟값 $\tilde{\mu}_{\mathrm{opt}}$은 $ \mathfrak{D}(n +1) .. 2024. 10. 18. NLMS filter 수식 유도 complex가 아닌 real로 가정하고 풀었습니다.1) Error를 최소화하는 optimal learning rate를 이용한 유도 2) 라그랑주 승수법을 이용한 유도 GIST 신종원 교수님 '적응신호처리' 수업 자료를 바탕으로 쓴 글입니다. 2024. 10. 17. 이전 1 2 3 다음
