메모리가 넘쳐나는데 Cuda out of memory 가 뜹니다.

Question

왜그런걸까요?추가로,,gc.collect() 함수는 코드의 어느 위치에 추가해줘야 하나요?********import gcgc.collect()torch.cuda.empty_cache()*********놀고있는 0번 gpu도 사용하고 싶은데요 코드를 아래 내용처럼 바꾸고 싶은데 어느 부분을 바꿔야 하나요?[코드]def load_model_from_config(config, ckpt, verbose&#61;False):print(f&#34;Loading model from {ckpt}&#34;)pl_sd &#61; torch.load(ckpt, map_location&#61;&#34;cpu&#34;)if &#34;global_step&#34; in pl_sd:print(f&#34;Global Step: {pl_sd['global_step']}&#34;)sd &#61; pl_sd[&#34;state_dict&#34;]model &#61; instantiate_from_config(config.model)m, u &#61; model.load_state_dict(sd, strict&#61;False)if len(m) > 0 and verbose:print(&#34;missing keys:&#34;)print(m)if len(u) > 0 and verbose:print(&#34;unexpected keys:&#34;)print(u)model.cuda()model.eval()return model opt &#61; parser.parse_args() seed_everything(opt.seed) config &#61; OmegaConf.load(f&#34;{opt.config}&#34;) model &#61; load_model_from_config(config, f&#34;{opt.ckpt}&#34;) device &#61; torch.device(&#34;cuda&#34;) if torch.cuda.is_available() else torch.device(&#34;cpu&#34;) model &#61; model.to(device) if opt.plms: raise NotImplementedError(&#34;PLMS sampler not (yet) supported&#34;) sampler &#61; PLMSSampler(model) else: sampler &#61; DDIMSampler(model) os.makedirs(opt.outdir, exist_ok&#61;True) outpath &#61; opt.outdir batch_size &#61; opt.n_samples n_rows &#61; opt.n_rows if opt.n_rows > 0 else batch_size if not opt.from_file: prompt &#61; opt.prompt assert prompt is not None data &#61; [batch_size * [prompt]]명령어python scripts/img2img.py --prompt &#34;A fantasy landscape, trending on artstation&#34; --init-img inputs/1.png --strength 0.8 --outdir outputs --n_samples 1

상영 · Answer

여기서 메모리는 시스템 메모리가 아니고 GPU 메모리 입니다. 24G 중에 12.17 G 는 이미 점유중이고, 새로 16G 할당하려다 오류난 것으로 보이네요.

메모리가 넘쳐나는데 Cuda out of memory 가 뜹니다.

1개의 답변

#GPU 목록