연구 노트51 Frequency-Domain & Subband Adaptive filter 정리 목차1. Self-orthogonalizing adaptive filter2. DCT-LMS algorithm3. Subband adaptive filter 1. Self-orthogonalizing adaptive filter DFT는 bandpass filter를 활용한 subband processing의 특수한 경우로 볼 수 있습니다. 따라서 filter bank나 prototype filter를 잘 설계하면 성능이 향상됩니다. 하지만 bandpass filtering 단계가 추가로 필요하고 설계가 복잡하다는 단점이 있습니다. 이를 보완하기 위해, low band과 high band를 반씩 나눠 처리하는 QMF(Quadrature Mirror Filter)를 많이 사용한다고 합니다.Self-ort.. 2024. 10. 28. Fast block LMS 알고리즘 이해하기 목차1. Block adaptive filter2. Fast block LMS algorithm 1. Block adaptive filter Block adaptive filter는 $L$개의 샘플 데이터로 이루어진 블록마다 filter weight를 업데이트하며, 각 블록에 동일한 filter weight가 적용됩니다. LMS filter가 매번 단일 데이터 값만을 사용해 weight를 업데이트하는 것과 달리, Block adaptive filter는 최근 $L$개의 데이터 값을 이용해 time average를 구하고 이를 바탕으로 weight를 계산합니다. 수렴 속도와 MSE 최솟값은 LMS와 거의 동일합니다. 2. Fast block LMS algorithm Fast block-LMS 알고리즘은 주.. 2024. 10. 26. Least-Mean-Square Adaptive Filter (LMS) 알아보기 목차1. LMS algorithm Overview2. Statistical LMS theory 수식 전개는 계산 용이성을 위해, complex가 아닌 real을 가정하였습니다. 1. LMS algorithm Overview Least-mean-square (LMS) 알고리즘은 stochastic gradient 알고리즘의 일종으로, tap-weight를 정확히 gradient 방향이 아닌 randomness 더해진 방향으로 이동시키는 방법을 말합니다. LMS 알고리즘은 gradient descent와 달리 expectation 대신 가장 최신 값만을 사용하여 tap-weight를 업데이트합니다. LMS 알고리즘은 FIR 필터에 input vector가 주어지면 adaptive하게 tap-weight를.. 2024. 10. 24. Gradient Descent를 위한 최적화 알고리즘 목차1. Stochastic gradient descent (SGD)2. Momentum3. Nestrov accelerated gradient (NAG)4. Adagrad5. RMSProp6. Adadelta7. Adam8. Adamax9. Noam decay10. Cosine Annealing with Warm Restart 1. Stochastic gradient descent (SGD) Gradient Descent 알고리즘은 오류 함수의 기울기(미분)를 계산해 이를 바탕으로 파라미터를 업데이트하여 최적점을 찾는 방법입니다. Gradient Descent에는 두 가지 방식이 있는데, Steepest Descent 알고리즘은 전체 데이터를 사용해 기울기를 계산하는 반면, Stochastic Grad.. 2024. 10. 23. Steepest descent Method 총정리 목차1. Steepest descent algorithm이란?2. Steepest descent algorithm의 Stability3. (Example) 2nd order real-valued AR process 수식 전개는 계산 용이성을 위해, complex가 아닌 real을 가정하였습니다. 1. Steepest descent algorithm이란? Steepest descent algorithm은 기울기(gradient)를 따라 함수 값을 최소화하는 최적화 알고리즘입니다. 주어진 함수에서 현재 위치의 기울기 반대 방향으로 이동하며 함수 값이 가장 빠르게 감소하게 됩니다. 각 단계에서 step size에 따라 이동하며, 기울기가 0에 가까워질수록 최적점(optimal point)에 수렴합니다. .. 2024. 10. 22. Linear Prediction 바로 알기 목차1. Forward linear prediction2. Backward linear prediction3. Levinson-Durbin algorithm4. Lattice predictors 수식 전개는 계산 용이성을 위해, complex가 아닌 real을 가정하였습니다.1. Forward linear prediction 위 filter의 output은 과거의 $(N-1)$개의 input을 가지고 현재를 추정한 값 $\hat{u}(n|\mathcal{U}_{n-1})$입니다. $f_M(n)$은 desired signal인 $u(n)$에서 output인 $\hat{u}(n|\mathcal{U}_{n-1})$을 뺀 값으로, filter의 Forward prediction error를 의미합니다. 여기서.. 2024. 10. 21. 이전 1 2 3 4 ··· 9 다음
