Python Memory Leak 현상

Question

안녕하세요 선배님들..!몇일간 고민을하고 리서치를해도 해결되지 않는 문제가 있어 이렇게 도움을 요청합니다!AI &#43; Python 과 관련된 문제라고 할 수 있을 것 같네요.GPT2 언어모델을 테스트하는 중인데 추론을 하는 과정에서 메모리 누수현상이 발생하고CPU 점유율 또한 떨어지지 않니다.원인 확인을 위해 메모리를 덤프하였는데 추론코드중 아래 체크된 부분에서 메모리가 쌓이고 있었습니다.import mxnet as mx from mxnet import gluon, nd input_ids &#61; mx.nd.array([vocab[U_TKN]] &#43; vocab[q_tok] &#43; vocab[EOS, SENT] &#43; vocab[EOS, S_TKN] &#43; vocab[a_tok]).expand_dims(axis&#61;0) <--- 요부분 pred &#61; model(input_ids.as_in_context(ctx)) <--- 요부분 gen &#61; vocab.to_tokens( mx.nd.argmax( pred, axis&#61;-1).squeeze().astype('int').asnumpy().tolist())[-1] <--- 요부분del로 해당 객체를 제거하거나 gc.collect()로 gc를 작동시켜도 메모리가 반환되지 않았습니다 ㅠㅠ혹시나 확실하지 않으시더라도 의심되시는 원인이 조금이라도 생각나시거나 해결에 가까워질수 있는 방법 어떤것이든 댓글 달아주시면 감사하겠습니다.

Python Memory Leak 현상

0개의 답변

#memoryleak 목록