keras 사용 시, gpu 메모리 문제

Question

안녕하세요. 제가 keras로 Sequential 모델을 만들어서 gpu로 model.fit을 하려고 하는데 이미 model.fit() 하기도 전에 gpu 메모리가 모두 할당이 되어서 그런지 다음과 같은 에러가 발생합니다. InternalError: Failed copying input tensor from /job:localhost/replica:0/task:0/device:CPU:0 to /job:localhost/replica:0/task:0/device:GPU:0 in order to run _EagerConst: Dst tensor is not initialized. 아래는 코드 전문 입니다. 혹시 에러 원인을 알 수 있을까요? 감사합니다. from tensorflow.python.client import device_lib import tensorflow as tf gpus = tf.config.experimental.list_physical_devices('GPU') # 4기가 할당 tf.config.experimental.set_virtual_device_configuration( gpus[0], [tf.config.experimental.VirtualDeviceConfiguration(memory_limit=4096)]) # 디버그 로그 설정 tf.debugging.set_log_device_placement(True) #================================= # nlp #================================= import spacy def read_file(filePath): with open(filePath) as f: str_text = f.read() return str_text # read_file('melvile-moby_dick.txt') # 우선 텍스트를 토큰화하고 정리하는 단계 # spaCy를 사용 # 단지 토큰화에만 사용, 파싱, 태깅, entity recognition은 안한다. # 단지 토큰화에만 사용, 파싱, 태깅, entity recognition은 안한다. nlp = spacy.load('en_core_web_sm', disable=['parser', 'tagger', 'ner']) # 텍스트 전체에 적용하기 위해서 최대치를 증가해야 함 nlp.max_length = 1200000 # 이 함수는 어떤 텍스트를 문자열로 취하고, 특정 유형의 구두점이나 새로운 줄이 아니라면 텍스트 토큰을 잡을 것이다. # 구두점 지우기 def separate_punc(doc_text): return [token.text.lower() for token in nlp(doc_text) if token.text not in ' !"-#$%&()--.*+,-/:;<=>?@[\]^_`{|}~ '] d = read_file('melville-moby_dick.txt') tokens = separate_punc(d) # 토큰들로 된 시퀀스를 만들어보자. # 주제는 한 문장의 첫 24개 단어를 넣을 것이다. 그러면 신경망이 25번째 단어를 예측하게 할 것이다. # 할 일: 25개의 단어를 넣기 => 다음 단어 예측하기 # 단어 리스트의 수를 늘릴수도 줄일수도 있다. train_len = 25 + 1 text_sequences = [] for i in range(train_len, len(tokens)): seq = tokens[i - train_len:i] text_sequences.append(seq) from keras.preprocessing.text import Tokenizer tokenizer = Tokenizer() tokenizer.fit_on_texts(text_sequences) sequences = tokenizer.texts_to_sequences(text_sequences) sequences[0] # 결과는 원래 text_sequences를 단어 대신 숫자가 있는 시퀀스로 대체됨 # id는 tokenizer.index_word로 확인 가능하다. # tokenizer.word_counts로 단어 횟수 확인 가능 tokenizer.word_counts vocab_size = len(tokenizer.word_counts) # sequence는 list이다. 이것을 numpy array로 형식화 하자. import numpy as np sequences = np.array(sequences) # PART 2============================================= # 데이터를 피처와 레이블로 분리하자. # 시퀀스의 첫 b번째 단어인 X feature이 있고, 다음으로 y label, 즉 전체 시퀀스 바로 뒤의 단어가 있을 것이다. # 이런 식으로 Model에 fit할 수 있다. from tensorflow.keras.utils import to_categorical # 0~23번째 만 캐치, 24는 label이다. X = sequences[:,:-1] # 마지막 인덱스를 모은 배열 y = sequences[:,-1] # vocab_size+1는 Keras 패딩 방식 때문... y = to_categorical(y, num_classes=vocab_size+1) seq_len = X.shape[1] # (215313, 25) : 215313개의 시퀀스가 있고, 25개가 이동된 문장이 있음 from keras.models import Sequential from keras.layers import Dense, LSTM, Embedding def create_model(vocab_size, seq_len): model = Sequential() # 임베딩을 위해 하는 것은 우리가 임베딩을 위한 입력 차원을 정의하는 것. 그것은 단어 집합 전체 # 출력 차원도 정의하고 그것은 시퀀스의 길이 (25) # 입력 길이 역시 시퀀스 길이 model.add(Embedding(vocab_size, seq_len, input_length=seq_len)) model.add(LSTM(seq_len*6, return_sequences=True)) model.add(LSTM(seq_len*6)) model.add(Dense(seq_len*6, activation='relu')) # 단어 집합의 단어로 번역... 숫자 => 단어 model.add(Dense(vocab_size, activation='softmax')) # 기본적으로 각가의 단어의 집합 단어를 그 자체의 개별 범주로 취급... 따라서 categorical_crossentropy model.compile(loss='categorical_crossentropy', optimizer ='adam', metrics=['accuracy/']) model.summary() return model # 모델 생성 model = create_model(vocab_size+1, seq_len) ''' Model: "sequential" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= embedding (Embedding) (None, 25, 25) 431400 lstm (LSTM) (None, 25, 150) 105600 lstm_1 (LSTM) (None, 150) 180600 dense (Dense) (None, 150) 22650 dense_1 (Dense) (None, 17256) 2605656 ================================================================= Total params: 3,345,906 Trainable params: 3,345,906 Non-trainable params: 0 _________________________________________________________________ # 결과 ''' model.fit(X, y, batch_size=128, epochs=5, verbose=1) # 결과 ''' Executing op _EagerConst in device /job:localhost/replica:0/task:0/device:GPU:0 --------------------------------------------------------------------------- InternalError Traceback (most recent call last) ~\AppData\Local\Temp/ipykernel_144048/3575179969.py in 2 3 # 한번에 넣으려는 시퀀스의 개수... ----> 4 model.fit(X, y, batch_size=128, epochs=5, verbose=1) ~\anaconda3\envs lp_course\lib\site-packages\keras\utils raceback_utils.py in error_handler(*args, **kwargs) 65 except Exception as e: # pylint: disable=broad-except 66 filtered_tb = _process_traceback_frames(e.__traceback__) ---> 67 raise e.with_traceback(filtered_tb) from None 68 finally: 69 del filtered_tb ~\anaconda3\envs lp_course\lib\site-packages ensorflow\python\framework\constant_op.py in convert_to_eager_tensor(value, ctx, dtype) 104 dtype = dtypes.as_dtype(dtype).as_datatype_enum 105 ctx.ensure_initialized() --> 106 return ops.EagerTensor(value, ctx.device_name, dtype) 107 108 InternalError: Failed copying input tensor from /job:localhost/replica:0/task:0/device:CPU:0 to /job:localhost/replica:0/task:0/device:GPU:0 in order to run _EagerConst: Dst tensor is not initialized. '''

keras 사용 시, gpu 메모리 문제

0개의 답변

Q&A 목록