npz1 npz compressed를 이용한 데이터 로드 속도 개선 (Feat. 학습 속도를 부스팅하기 위한 다양한 시도들) 목차1. 학습 속도가 너무 느려요... GPU Util이 안나와요...😭2. npz를 npz compressed로 바꿔서 저장해보자! 2-1. npz를 불러와서 npz compressed로 저장하는 코드 2-2. npz vs npz compressed 로딩 속도 비교3. 학습 속도 개선을 위해 시도해 볼 만한 방법들1. 학습 속도가 너무 느려요... GPU Util이 안나와요...😭현재 연구중인 베이스라인 모델이 DDP (Distributed Data Parallel)를 사용하고 있음에도 불구하고, training 속도가 느린 문제가 있었습니다. 학습 속도를 개선하기 위해 여러 가지 방법을 시도해보았지만, GPU Util이 제대로 나오지도 않고 epoch 하나 도는데 무려 10시간이 걸려 .. 2024. 12. 13. 이전 1 다음
