pytorch cuda OOM 해결하고 싶습니다.

Question

https://github.com/ToonCrafter/ToonCrafter?tab&#61;readme-ov-file#%EF%B8%8F-setupg4dn.2xlarge 인스턴스에서 돌려봤는데, 혹시 어떻게 해결할 수 있을까요.인스턴스는 64G 메모리인데, java 와 달라서 python 메모리 설정을 어떻게 해야할 지 도움이 필요합니다.torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 1.25 GiB (GPU 0; 14.74 GiB total capacity; 13.69 GiB already allocated; 62.12 MiB free; 14.53 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

Clickin · Answer

메인 메모리가 아니리 vram이 모자란 상황 같은데요Dataloader에서 batch_size를 반으로 줄여보면 어떨까요

캐티 · Answer

gpu메모리 할당을 실패하는 문제이지 않나요.gpu가 14.74GiB 메모리를 가지고 있는데 13.69GiB를 이미 사용중이고 62.12MiB가 남은 용량이라고 오류를 출력 하였어요.모델이 여러번 로딩된 것이 원인이거나 캐싱에 문제가 있나보아요.max_split_size_mb의 기본값은 unlimited(무제한)인데 out of memory에 원인이 된다고 문서에 기재되어 있어요.이렇다 하더라도 애초에 1.25GiB를 할당하려고 시도하였는데 재부팅한 처음 시점부터 실패하지 않을 것으로 예상되므로 이미 로딩하였던 모델을 잊어버리고 해제하지 않았는지 다시 확인해보아야 하겠어요.[1] Understanding CUDA Memory Usage — PyTorch 2.3 documentation[2] CUDA semantics — PyTorch 2.3 documentation

pytorch cuda OOM 해결하고 싶습니다.

2개의 답변

Q&A 목록