'AI 구현' 카테고리의 글 목록
본문 바로가기

AI 구현15

Multi-Task Learning (MTL)의 정의 및 Speech Domain 적용 사례 목차1. Multi-Task Learning이란?2. Motivation3. Method 4. 장단점5. Speech Domain 적용 사례1. Multi-Task Learning이란?Multi-Task Learning (MTL)은 여러 개의 learning task를 동시에 해결하면서, 각 task 간 관계를 활용하는 머신러닝의 한 분야입니다. 서로 관련된 여러 task의 training signal에 포함된 도메인 정보를 inductive bias로 사용하여 모델의 일반화 성능을 향상시킵니다.  2. Motivation(1) 여러 개의 task를 함께 수행 → 한 task에서 배운 정보가 다른 task를 학습하는 데 도움 됨적용 예시 : 얼굴 인식 모델을 학습할 때  "나이 예측"을 추가로 학습하면,.. 2025. 2. 27.
[WSL] wget: unable to resolve host address 에러 해결 목차1. Error 발생 원인2. Error 해결 방법1. Error 발생 원인저는 Windows에서 WSL(Windows Subsystem for Linux) 개발 환경을 구축하여 VS Code를 해당 환경에서 사용해왔습니다. 평소처럼 터미널에서 code . 명령어를 실행해 프로젝트 폴더를 열려고 했는데 다음 에러 메시지가 발생했습니다. wget: unable to resolve host address 찾아보니 이 에러는 VS Code가 WSL 환경에서 원격 서버에 연결을 시도할 때, 네트워크 연결 문제로 인해 호스트 주소를 해석하지 못해서 발생한 문제였습니다. 2. Error 해결 방법먼저 네트워크 연결이 정상적으로 되어있는지 확인합니다. 문제가 없다면  WSL 내부에서 네트워크 문제를 해결하기 위해.. 2025. 1. 12.
[Docker] NVIDIA Container Toolkit 설치 과정 목차0. 직면한 Docker Error1. NVIDIA Container Toolkit이란?2. 설치 환경 체크 3. NVIDIA Container Toolkit 설치0. 직면한 Docker Errordocker run --rm -it --ipc=host --gpus all ${mount_arg} ${image} 그동안 별탈 없이 실행되던 docker container가 어느날 갑자기 먹통이 되었습니다. 항상 쓰던 위 코드로 docker를 실행했을 뿐인데 "docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]."라는 error 메세지를 마주했을 때의 당황스러움이란...😥 Error 관.. 2025. 1. 9.
npz compressed를 이용한 데이터 로드 속도 개선 (Feat. 학습 속도를 부스팅하기 위한 다양한 시도들) 목차1. 학습 속도가 너무 느려요... GPU Util이 안나와요...😭2. npz를 npz compressed로 바꿔서 저장해보자!    2-1. npz를 불러와서 npz compressed로 저장하는 코드    2-2. npz vs npz compressed 로딩 속도 비교3. 학습 속도 개선을 위해 시도해 볼 만한 방법들1. 학습 속도가 너무 느려요... GPU Util이 안나와요...😭현재 연구중인 베이스라인 모델이 DDP (Distributed Data Parallel)를 사용하고 있음에도 불구하고, training 속도가 느린 문제가 있었습니다. 학습 속도를 개선하기 위해 여러 가지 방법을 시도해보았지만, GPU Util이 제대로 나오지도 않고 epoch 하나 도는데 무려 10시간이 걸려 .. 2024. 12. 13.
ZOH (Zero-order hold):Mamba의 discretization rule 아래 논문으로 Mamba architecture를 처음 공부하면서 맞닥뜨렸던 생소한 개념인 ZOH에 대해 정리해보려고 합니다. State space model (SSM)과 마찬가지로, ZOH (Zero-order hold)도 제어 이론에 기반하여 적용된 기법입니다. ※ notation이 다소 정확하지 않을 수 있습니다.. 잘못된 부분이 있다면 언제든 댓글 남겨주세요.  [논문 정리] RawBMamba: End-to-End Bidirectional State Space Model for Audio Deepfake Detection목차0. Summary1. Background2. Proposed method    2-1. Short-range feature representation    2-2. Bidir.. 2024. 10. 17.
[Pytorch] view, reshape, permute 함수 : 차원 재구성 텐서의 크기를 바꾸는 view, reshape 함수와 차원 순서를 바꾸는  reshape 함수에 대해 알아봅시다. view 함수view는 텐서의 크기를 바꾸는 함수로, 기존의 데이터와 같은 메모리 공간을 공유하고 contigious 할 때 사용 가능합니다. (아닌 경우 에러 발생)  import torchx = torch.randn(4,4)y = x.view(2,2,4)z = x.view(-1,8)print(x.size())print(y.size())print(z.size())"""[출력]torch.Size([4, 4])torch.Size([2, 2, 4])torch.Size([2, 8])""" reshape 함수reshape는 view 처럼 텐서의 크기를 바꿔주는 함수입니다. 약간의 다른점이 있다면, .. 2024. 9. 8.

티스토리툴바