※ 2021년 10월-12월에 진행한 개발 프로젝트입니다.
목차
1. 프로젝트 개요
'음성 AI 솔루션 기업 B사와 진행한 프로젝트로, CCTV 사각지대에서 발생하는 범죄 및 위급 상황을 주변 음향 데이터 분석을 통해 실시간 감지하는 기술을 구현했습니다. 개발한 시스템은 비명, 폭행 소리 등 특정 음향 패턴을 분석해 상황 정보를 자동으로 인식하고, 위급 상황이 발생했다고 판별되면, 주변에 즉각적으로 알릴 수 있도록 비상벨을 작동시킵니다.
CCTV는 범죄 예방과 해결에 중요한 역할을 하고 있습니다. 전국적으로 800만 대 이상이 설치되었으며, 실제로 5대 강력범죄 발생률을 26.6% 감소시키는 데 기여했습니다. 하지만 여전히 CCTV 사각지대에서 발생하는 범죄는 증가하고 있으며, 이를 해결하기 위한 새로운 접근 방식이 필요하다고 생각하였습니다.
특히, 공중화장실에서의 범죄는 2021년 기준, 4년 만에 두 배 이상 급증했습니다. 공중화장실은 폐쇄적인 구조와 야간에도 자유로운 출입이 가능하다는 공간적 특성 때문에 범죄에 취약합니다. 그러나 관련 법률은 여전히 이용 편의와 위생에 초점이 맞춰져 있을 뿐, 범죄 예방을 위한 명확한 조항이 부재한 상황이었습니다.
CCTV는 저화질 문제, 야간 촬영 시 품질 저하 등으로 인해 실시간으로 범죄 현장을 감지하고 대응하는 데 한계가 있습니다. 이에 따라, 주변 소리를 분석해 위협 상황을 감지하는 AI 시스템이 효과적인 대안이 될 수 있다고 판단했습니다.
이 아이디어를 바탕으로 CCTV 사각지대에서 발생하는 위급 상황을 실시간으로 감지할 수 있는 음향 분석 AI 시스템을 구상하였습니다. 이 시스템은 현장에서 발생하는 비명, 폭행 소리 등 특정 음향 패턴을 분석해 상황 정보를 자동으로 인식하고, 관제 요원에게 즉시 알림을 보냅니다. 이를 통해, 소수의 인력으로도 이 시스템이 설치된 공간을 효과적으로 관리할 수 있으며, 비상 버튼을 누를 수 없는 긴급 상황에서도 신속한 대응이 가능할 것으로 기대하였습니다.
2. 프로젝트 수행 내용
- 기업에서 제공받은 음향 데이터를 비폭력/범죄 상황으로 분류하고, 112 신고 대응 매뉴얼을 참고하여 위급 상황의 긴급도를 나타내는 코드로 데이터 라벨링
- Librosa 라이브러리를 활용해 MFCC 특징 추출, CNN 모델을 설계하여 15개 위급상황 코드로 분류
- FastAPI 기반 웹서버 구축 및 Raspberry Pi를 활용한 실시간 위급상황 탐지·비상벨 제어 시스템 개발
프로젝트에서 사용한 도구는 아래와 같습니다.
프로젝트에서 제가 맡은 역할은 음향/음성 오디오 데이터 전처리와 CNN 모델 개발이었습니다. 하지만 하나의 통합 시스템으로 구현되기까지의 과정을 더 깊이 이해하고자, 다른 파트들도 간략히 설명한 후 모델 구현에 대해 이야기하도록 하겠습니다.
✅ FastAPI 기반 웹 API 서버 구축
구현된 서버는 클라이언트로부터 오디오 파일을 업로드받아 저장한 후, 모델을 통해 해당 파일을 분석하여 예측 결과를 얻습니다. 이 결과는 JSON 형식으로 클라이언트에게 반환됩니다.
✅ 데이터 세트 전처리
기업에서 오디오 데이터를 soundfile 라이브러리를 이용해 .wav 파일로 읽어들인 후, 모델 학습을 위해 오디오 데이터를 일정한 길이로 맞추고자 3초 단위로 분할하였습니다. 기존 오디오 데이터는 각 샘플이 나타내는 상황에 따라 레이블이 지정되어 있었는데, 범죄 상황의 심각도를 보다 신속하게 파악할 수 있도록 하기 위해, 현행 112신고 대응 코드체계를 참고하여 클래스(분류 모델의 예측 label)를 부여하였습니다.
✅ K-NN (K-Nearest Neighbor) 알고리즘 구현
K-NN은 특정 데이터와 가장 가까운 K개의 이웃 데이터를 찾아, 다수결을 통해 레이블을 예측하는 분류 알고리즘입니다. 거리 계산 방법으로 유클리디안 거리(Euclidean Distance)를 사용하며, 주어진 데이터가 어느 범주에 속하는지 결정합니다. 본 프로젝트에서는 오디오 특징을 기반으로 세부 상황을 분류하고 위급 상황 여부를 판별하는 모델을 구현하였습니다.
K-NN은 머신러닝 알고리즘으로, 비모수(Non-parametric) 방법이기 때문에 모델 자체가 별도의 가중치 기반 학습을 수행하지 않습니다. 새로운 데이터가 주어지면, 기존 데이터와 유클리디안 거리를 측정하여 가장 가까운 K개의 데이터를 참조하여 예측을 수행합니다.
✅ 오디오 데이터 처리 및 CNN (Convolutional Neural Network) 모델 구현
먼저, librosa 라이브러리를 이용하여 오디오 데이터에서 MFCC (Mel-Frequency Cepstral Coefficients) 특징을 추출하였습니다. MFCC는 사람의 청각 시스템, 즉 소리를 인지하는 원리를 모방하여 오디오 신호가 가지고 있는 특징을 뽑아내는 알고리즘으로, 이후 Keras를 사용하여 구현한 CNN 모델이 오디오 데이터의 local pattern을 효과적으로 학습할 수 있도록 설계하였습니다. 모델 아키텍처는 합성곱 (Conv2D), 풀링 (MaxPooling2D), 드롭아웃 (Dropout)으로 구성되어 있으며, 이 레이어들은 특징 추출, 차원 축소, 과적합(overfitting) 방지 역할을 수행합니다.
| K-NN (머신러닝 알고리즘) | CNN (딥러닝 모델) | |
| 학습 방식 | 학습 과정 X (Lazy Learning) | 신경망 가중치 기반 학습 (Backpropagation) |
| 연산 방식 | 유클리디안 거리 기반 분류 | Feature Extraction |
| 모델 구조 | 단순 데이터 저장 | 다층 신경망 |
| 계산 비용 | 예측 시 많은 계산 비용 소용 | 학습 과정에서 계산 비용 소요 |
3. 데모 영상
4. 프로젝트 성과
- 교내 캡스톤 디자인 산학협력 경진대회 ‘은상’ 수상
- 멋쟁이사자처럼 주관 인공지능사관학교 2기 프로젝트 팀 ‘최우수상’ 수상
저를 포함한 4명의 학부생이 팀을 이루어 음향 기반 폭력 상황 감지 시스템을 개발하였습니다. 프로젝트 팀장으로서 팀원들 간 적극적인 협업을 유도하여 기업 연계형 프로젝트를 성공적으로 마무리지었습니다. 프로젝트를 효과적으로 진행하기 위해 딥러닝 및 머신러닝 기반 위급 상황 탐지 모델 개발, FastAPI 웹 서버 구축, Raspberry Pi를 활용한 제어 시스템 구현으로 역할을 분담하였으며, 저는 음향 신호 전처리 및 CNN 분류 모델 개발을 담당했습니다.
프로젝트를 진행하면서, 구현해야 할 서비스를 서로 다르게 이해한 문제로 인해 개발한 모듈이 기대한 대로 결합되지 않는 등 개발 과정에서 견해차가 조금 있었습니다. 이 문제를 해결하기 위해, 회의에서 논의한 내용과 결정 사항을 Notion에 정리하여 팀원 모두가 쉽게 확인할 수 있도록 문서로 정리하였습니다. 또한, Slack을 적극 활용해 실시간으로 의견을 교환하고 필요한 정보를 즉시 공유할 수 있는 환경을 조성하였습니다. 이러한 노력 덕분에 팀원 간의 원활한 소통과 협업을 끌어내며, AI 기반 위급 상황 탐지 기술을 성공적으로 개발할 수 있었습니다. 그 결과, 범죄 예방 및 신속 대응 체계 구축 체계 완성도와 제품화 가능성까지 인정받아 경진대회에서 수상하는 성과를 거두었습니다.
5. 프로젝트 한계 및 향후 발전 방향
본 프로젝트에서는 clean한 오디오 데이터를 이용해 위급상황 여부를 판단하는 모델을 구현하고, 비교적 시끄럽지 않은 조용한 방에서 시연하였기 때문에, 하지만 실제 배경 소음이 많은 환경에서는 성능 저하가 발생할 가능성이 높았습니다.이러한 이유로, 제품화를 위해 프로젝트의 완성도를 높이기 위해서는 잡음 제거 기술 등 추가적인 고도화가 필요했습니다. 하지만, 도메인 지식이 부족한 학부생들이 주도하여 진행하다 보니, 기술 개선에 한계가 있었습니다. 특히, 음성 신호 처리에 대한 사전 경험이 부족하여 MFCC와 같은 특징 추출 기법을 새롭게 학습하며 프로젝트를 진행해야 했습니다.
따라서, 향후 기회가 된다면, 더 다양한 음향 데이터를 확보하고, 실제 noisy한 환경에서 테스트를 진행하여 모델을 최적화하고자 합니다. 또한, 음향 분리 및 잡음 제거 기술을 적용하여 더욱 정밀한 위급 상황 감지 시스템을 구축하는 방향으로 성능을 개선할 수 있는 방법을 찾아 적용해볼 것입니다.
6. 참고자료
[1] “[매일건설신문] 소리로 안전 책임지는 ‘스마트 비상벨’-(주)BS소프트⓷,” 매일건설신문, Mar. 05, 2021. https://www.mcnews.co.kr/72860 (accessed Mar. 21, 2025).