'연구 노트/음성신호처리' 카테고리의 글 목록 (2 Page)
본문 바로가기

연구 노트/음성신호처리16

Coherence 개념으로 Diffuse noise 모델링 Coherence 정의를 알아보고 다채널 음성신호처리에서 쓰이는 중요한 개념인 Interchannel Coherence에 대해 정리해봅시다. 추가로, Diffuse noise가 수학적으로 어떻게 모델링되는지 살펴봅시다. Coherence$$C_{xy}(f)=\frac{|G_{xy}(f)|^2}{G_{xx}(f)G_{yy}(f)}$$ 두 신호 $x(t)$와 $y(t)$ 사이의 magnitude squared coherence [1]는 실수 값 함수로 정의됩니다. 여기서, $G_{xy}(f)$는 $x$와 $y$ 사이의 cross-spectral density이고 $G_{xx}(f)$와 $G_{yy}(f)$는 각각 $x$와 $y$의 auto spectral desity 입니다. 일반적으로, 주파수 영역에서 계.. 2024. 5. 9.
2024.04.25-05.02 신입생 세미나 Time-domain Methods for Speech Processing 질문 정리 질문1. frame이 뭔가요?하나의 윈도우로 자른 신호 세그먼트(or chunk) 2. 50번째 frame은 몇 샘플에서 시작해서 몇 샘플에서 끝나는가? 3. 윈도우를 왜 overlap하는가?윈도우 특성 상 양 사이드에서 discontinuity가 발생하기 때문에 overlap을 해야 정보 손실이 없음kernel, stride 사이즈에 똑같이 적용됨frame size = hop size / window length=frame length 4. mainlobe sidelobe 개념 설명해보기mainlobe는 cutoff frequency까지의 주파수 대역mainlobe를 제외한건 다 sidelobe 5. mainlobe, sidelobe 구별하는 게 어떤 의미가 있을까?frequency selectivit.. 2024. 4. 25.
Speech Quality 평가지표 정리 (SNR, SI-SDR, PESQ, STOI / MOS, MUSHRA) 음성 품질(Speech Quality)을 측정하는데 쓰이는 4가지 객관적 평가지표 (evaluation metric) - SNR, SI-SDR, PESQ, STOI에 대해 알아봅시다. 추가로, 주관적 평가지표 MOS, MUSHRA 개념을 살펴보고 CSIG, CBAK, 그리고 COVL로 구성된 합성측정 방법에 대해서도 정리해봅시다.  * 음성 품질 (Speech Quality)음성 신호를 처리할 때, 디지털 형식으로 표현된 소리를 reconstruction하여 원신호와 똑같이 들리게 하는 것을 목표로 합니다. 이때 Speech quality는 재구성된 신호가 원래의 음성신호와 얼마나 유사한가를 나타냅니다. Speech quality가 높을수록, 부자연스러운 왜곡이 없다는 점에서 naturalness 자연스.. 2024. 4. 24.
2024.04.11 신입생 세미나 Hearing, Auditory Models, and Speech Perception 2/2 질문 정리 질문1. masking effect에 대해 자세하게 설명해보기 2. noise type에서 generator가 뭔가요?발전기 소리? 3. noise는 stationary 할까요? non-stationary 할까요? 각각의 예시도 말해보기팬 돌아가는 소리, 서버 돌아가는 소리 (stationary)babble, music (non-stationary) 4. broadband가 뭔가요? 5. masking effect가 거의 일어나지 않는 한계점이 왜 critical bandwidth인가요? 6. block-processing, pre-echo, quantization noise 찾아보기 (숙제)block-processing: 프레임 단위로 신호를 처리하는 것 7. pre-masking이랑 pre-echo가.. 2024. 4. 11.
Wiener filter: 신호 필터링, 예측을 하는데 쓰는 linear filter signal filtering, prediction에 쓰이는 wiener filter가 무엇인지 알아봅시다. Wiener filterMMSE (Minimum mean square error) criterion을 사용하여 최적의 값을 찾도록 설계된 linear filter를 wiener filter라고 합니다.  위와 같이, 마이크로부터 input signal $x(n)$이 들어오는 경우를 생각해봅시다. 우리는 $s(n)$ 신호만을 얻길 원하기 때문에 undesired interference 성분을 억제하는 필터를 설계하고자 합니다. 바로 이때, wiener filter를 씁니다. 다시 말해, wiener filter는 원하는 소스 신호 $s(n)$의 특성 (characteristics)을 그대로 유지하면.. 2024. 3. 13.
MVDR beamformer 완전 정복 대표적인 adaptive beamforming 기법인 MVDR (Minimum Variance Distortionless Responses) beamformer에 대해 살펴보겠습니다. Beamforming 신호에 weight를 곱해서 특정 방향으로부터 온 원하는 소스 신호를 강화하고 그 외의 방향에서 온 노이즈는 억제하는 것을 beamforming이라고 합니다. beamformer는 spatial filter라고도 하는데 frequency dependent한 벡터 $\textbf{w}(f)$로 나타낼 수 있습니다. 마이크로부터 받은 입력 신호가 $\textbf{x}(n,f)$라고 했을 때, beamformer의 출력은 $ \textbf{w}^H(f)\textbf{x}(n,f)$로 표현할 수 있습니다. d.. 2024. 3. 12.

티스토리툴바