AI 구현/머신러닝 & 딥러닝2 npz compressed를 이용한 데이터 로드 속도 개선 (Feat. 학습 속도를 부스팅하기 위한 다양한 시도들) 목차1. 학습 속도가 너무 느려요... GPU Util이 안나와요...😭2. npz를 npz compressed로 바꿔서 저장해보자! 2-1. npz를 불러와서 npz compressed로 저장하는 코드 2-2. npz vs npz compressed 로딩 속도 비교3. 학습 속도 개선을 위해 시도해 볼 만한 방법들1. 학습 속도가 너무 느려요... GPU Util이 안나와요...😭현재 연구중인 베이스라인 모델이 DDP (Distributed Data Parallel)를 사용하고 있음에도 불구하고, training 속도가 느린 문제가 있었습니다. 학습 속도를 개선하기 위해 여러 가지 방법을 시도해보았지만, GPU Util이 제대로 나오지도 않고 epoch 하나 도는데 무려 10시간이 걸려 .. 2024. 12. 13. ZOH (Zero-order hold):Mamba의 discretization rule 아래 논문으로 Mamba architecture를 처음 공부하면서 맞닥뜨렸던 생소한 개념인 ZOH에 대해 정리해보려고 합니다. State space model (SSM)과 마찬가지로, ZOH (Zero-order hold)도 제어 이론에 기반하여 적용된 기법입니다. ※ notation이 다소 정확하지 않을 수 있습니다.. 잘못된 부분이 있다면 언제든 댓글 남겨주세요. [논문 정리] RawBMamba: End-to-End Bidirectional State Space Model for Audio Deepfake Detection목차0. Summary1. Background2. Proposed method 2-1. Short-range feature representation 2-2. Bidir.. 2024. 10. 17. 이전 1 다음
