전체 글129 Multi-Channel 신호처리 & 빔포밍 (Beamforming)에 대한 고찰 Multi-Channel 오디오 신호처리, 음질 개선 (speech enhancement) 작업에 자주 쓰이는 spatial filter인 beamformer에 대해 알아보고 time difference of arrival (TDOA), directivity, beampattern 등 관련 개념들을 정리해봅시다. Multi-Channel 오디오 신호처리여러 개의 마이크를 사용해 여러 개의 입력을 받아 신호를 처리하는 것을 다채널 신호처리 (multi-channel signal processing)라고 말합니다. (e.g. 4개의 마이크로부터 입력을 받았다면 입력 채널의 개수는 4개) 이렇게 얻은 입력 신호들을 통해 공간 정보를 얻을 수 있습니다. 여기서 공간 정보란 각 마이크 간 신호가 도달한 시간차 (.. 2024. 3. 7. 행렬의 계수, Rank Rank rank는 행렬이 가지는 independent한 column의 수를 말합니다. $rank(A)=rank(A^T)$로 나타낼 수 있기 때문에 independent한 row의 수를 말하기도 합니다. 또한, 열벡터가 표현할 수 있는 column space의 차원이자 행벡터가 나타낼 수 있는 row space의 차원을 의미합니다. Example $$\begin{bmatrix} 1 & 2 & 3\\ 0 & 0 & 0 \end{bmatrix}$$ $$\begin{bmatrix} 1 & 2 & 3\\ 1 & 2 & 3 \end{bmatrix}$$ 위 행렬은 rank가 1입니다. 따라서, column space 상 2차원 공간에서 1차원에 span 합니다. $2\times3$ 행렬이지만 rank가 1로 더 작.. 2024. 3. 7. 적성 찾기 힘들이지 않고 숨쉬듯이 할 수 있는 것 루틴대로 사는 것 무언가 꾸준히 하는 것, 습관 만들기 (e.g. 아침밥 챙겨먹기) 기록 남기기 (e.g. 일기/플래너 쓰기, 카카오맵 리뷰 남기기, 블로그 운영) 사진 찍기, 색감보정 헤드셋으로 장시간 노래듣기 요리하기, 하지만 뒷정리는 귀찮아 문득 공부하다가 심심해져서 써보았다. 인스타에서 봤는데 "나는 이걸 하루종일 할 수 있는데 남들은 나만큼 안한다고?" 라고 생각되는 게 곧 내 적성이라고 한단다. 2024. 3. 6. FFT 수행 시 zero padding이 frequency resolution에 미치는 영향 STFT 결과로 얻게 된 frequency bin이 무엇인지 알아보고 FFT 수행 과정에서 zero padding이 frequency resolution에 어떤 영향을 미치는지 알아봅시다. STFT (Short-time Fourier Transform) 자연적으로 발화되는 음성은 시간에 따라 계속해서 변하는 성질을 가지고 있기 때문에, 음성 신호를 표현하는데 있어 일반적인 Fourier 표현 방법을 적용하는 건 한계가 있습니다. 이 문제를 해결하기 위해, 음성 신호를 주파수 영역에서 분석할 수 있도록, STFT, 즉, 음성 신호를 짧은 세그먼트 단위로 나눠 DFT를 수행하게 됩니다. Frequency binSTFT 결과는 frequency, time 값들로 이루어진 2차원 행렬로서 표현이 가능한데 이.. 2024. 2. 14. 음성신호처리에서 Pre-emphasis filtering을 하는 이유 오디오 신호 처리에 사용되는 기술인 Pre-emphasis filtering에 대해 알아봅시다. Pre-emphasis filtering 위 그림은 넓은 주파수 대역에서 음성 신호의 average magnitude spectrum을 나타낸 것입니다. 저주파에서는 높은 에너지를 가지고 있는 반면, 고주파로 갈수록 에너지가 줄어드는 것을 관찰할 수 있습니다. 이는 인간의 발성기관과 소리의 특성에 의해 발생하게 되는데 이 내용은 밑에서 자세하게 설명하도록 하겠습니다. 위에서 보았던 것처럼 고주파의 에너지가 감소하는 문제를 pre-emphasis filtering이라는 전처리 방법을 통해 해결할 수 있습니다. 사람의 음성이 저주파 대역에서 강조되고 고주파 대역에서는 크기가 작아지는 특성이 있기 때문에 전처리를 .. 2023. 11. 10. Hamming window와 Rectangular window 비교 window 개념을 살펴보기 전에, 왜 신호를 짧은 시간 단위로 나눠 주파수 분석을 수행하는지에 대해 알아봅시다. STFT를 하는 이유음성 신호는 time-varying, non-stationary 특성을 가지고 있어서 정확한 주파수 분석을 수행하는데 어려움이 있습니다. 하지만, 음성 신호를 짧은 간격으로 쪼개 보면, 신호의 특성이 시간에 따라 천천히 변하여 준주기적인 특성을 갖기 때문에 작은 시간 단위로 나눠 short-time fourier transform(STFT)를 수행해 주파수 분석을 할 수 있습니다. window와 framenon-stationary한 음성신호는 작은 시간 단위로 쪼개 stationary한 청크로 잘라 처리해줄 수 있습니다. 윈도잉(windowing)은 신호의 어느 부분을 볼.. 2023. 11. 9. 이전 1 ··· 9 10 11 12 13 14 15 ··· 22 다음
