CNN 다중 분류 - train 과정이 너무 오래 걸립니다.

Question

안녕하세요. 저는 지금 뉴스 분류기를 제작하는 과제를 하고 있습니다.그런데 epoch를 돌리는 과정에서 train 과정이 너무나도 많은 시간이 소요되어서 질문을 드리려고 합니다.제가 이전에 건드린 코드들은 이렇게까지 오래 걸리진 않았는데 도대체 왜 이 코드만 이렇게 오래 걸리는지 이유를 알고 싶습니다.아예 작동을 안하면 오류를 찾아볼텐데 이건 작동은 되는데 너무 오래 걸리니 무엇이 문제인지 파악하기가 참 어렵습니다. :(작동창에는 Cell() > train() > backward() > backward() 상태가 계속되고 있습니다.혹시나 하는 마음에 train 함수 사이에 print 함수를 넣어봤는데 분명 출력은 잘 됩니다. 다만 속도가 너무 느린 게 문제인 것 같습니다. 혹시 코드를 보시고 무엇이 문제인지 말씀해주시면 정말 감사드리겠습니다.import torch.nn as nn import torch.nn.functional as F class CNN(nn.Module): def __init__(self, vocab_size, embedding_dim, n_filters, filter_sizes, output_dim, dropout, pad_idx): super().__init__() self.embedding &#61; nn.Embedding(vocab_size, embedding_dim) self.convs &#61; nn.ModuleList([ nn.Conv2d(in_channels &#61; 1, out_channels &#61; n_filters, kernel_size &#61; (fs, embedding_dim)) for fs in filter_sizes ]) self.fc &#61; nn.Linear(len(filter_sizes) * n_filters, output_dim) self.dropout &#61; nn.Dropout(dropout) def forward(self, text): #text &#61; [sent len, batch size] text &#61; text.permute(1, 0) #text &#61; [batch size, sent len] embedded &#61; self.embedding(text) #embedded &#61; [batch size, sent len, emb dim] embedded &#61; embedded.unsqueeze(1) #embedded &#61; [batch size, 1, sent len, emb dim] conved &#61; [F.relu(conv(embedded)).squeeze(3) for conv in self.convs] #conv_n &#61; [batch size, n_filters, sent len - filter_sizes[n]] pooled &#61; [F.max_pool1d(conv, conv.shape[2]).squeeze(2) for conv in conved] #pooled_n &#61; [batch size, n_filters] cat &#61; self.dropout(torch.cat(pooled, dim &#61; 1)) #cat &#61; [batch size, n_filters * len(filter_sizes)] return self.fc(cat) INPUT_DIM &#61; len(TEXT.vocab) EMBEDDING_DIM &#61; 300 N_FILTERS &#61; 100 FILTER_SIZES &#61; [2,3,4] OUTPUT_DIM &#61; len(LABEL.vocab) DROPOUT &#61; 0.5 PAD_IDX &#61; TEXT.vocab.stoi[TEXT.pad_token] model &#61; CNN(INPUT_DIM, EMBEDDING_DIM, N_FILTERS, FILTER_SIZES, OUTPUT_DIM, DROPOUT, PAD_IDX) # import torch.optim as optim optimizer &#61; optim.Adam(model.parameters()) criterion &#61; nn.CrossEntropyLoss() model &#61; model.to(device) criterion &#61; criterion.to(device) # def categorical_accuracy(preds, y): top_pred &#61; preds.argmax(1, keepdim &#61; True) print(top_pred) correct &#61; top_pred.eq(y.view_as(top_pred)).sum() acc &#61; correct.float() / y.shape[0] return acc # def train(model, iterator, optimizer, criterion): epoch_loss &#61; 0 epoch_acc &#61; 0 model.train() print(&#34;model.train() done&#34;) for batch in iterator: optimizer.zero_grad() predictions &#61; model(batch.News) loss &#61; criterion(predictions, batch.Topic) acc &#61; categorical_accuracy(predictions, batch.Topic) loss.backward() optimizer.step() epoch_loss &#43;&#61; loss.item() epoch_acc &#43;&#61; acc.item() return epoch_loss / len(iterator), epoch_acc / len(iterator) N_EPOCHS &#61; 5 best_valid_loss &#61; float('inf') for epoch in range(N_EPOCHS): start_time &#61; time.time() train_loss, train_acc &#61; train(model, train_iterator, optimizer, criterion) valid_loss, valid_acc &#61; evaluate(model, valid_iterator, criterion) end_time &#61; time.time() epoch_mins, epoch_secs &#61; epoch_time(start_time, end_time) if valid_loss < best_valid_loss: best_valid_loss &#61; valid_loss torch.save(model.state_dict(), 'tut5-model.pt') print(f'Epoch: {epoch&#43;1:02} | Epoch Time: {epoch_mins}m {epoch_secs}s') print(f'	Train Loss: {train_loss:.3f} | Train Acc: {train_acc*100:.2f}%') print(f'	 Val. Loss: {valid_loss:.3f} | Val. Acc: {valid_acc*100:.2f}%')Colab에서 작동하고 있고 GPU로 설정해서 실행하고 있습니다.toch.cuda.is_available() 로 확인했을 때 True라고 나옵니다.다른 모델의 경우 1 epoch당 길어야 35~40초 정도인데 도대체 이 모델은 1 epoch당 20분 넘게 작동해도 도저히 값이 출력되질 않습니다.https://github.com/bentrevett/pytorch-sentiment-analysis/blob/master/5%20-%20Multi-class%20Sentiment%20Analysis.ipynb해당 코드를 많이 참고했습니다.

휴지통비우기 · Answer

코드만 봐서는 이상한거 잘 모르겠는데 코랩이면 무료 사용량이 다 되서 느려진거 아닐까요?

CNN 다중 분류 - train 과정이 너무 오래 걸립니다.

1개의 답변

Q&A 목록