파이썬 반복자 StopIteration예외 발생 도와주세요 ㅠ

Question

안녕하세요 이번에 처음으로 딥러닝을 하게되어 공부하고있는 신입 개발자입니다.. 현재 상황은 lmdb를 통해 데이터를 가져와서 배치 크기에 따라 데이터를 가져옵니다. 그리고 샘플수만큼 한바퀴 돌면 반복자가 초기화가 되어서 다시 데이터를 학습하는 느낌을 원하고 있습니다. 아래는 코드의 흐름과 결과입니다. def test_stop_iteration(opt): t&#61; Batch_Balanced_Dataset(opt) for i in range(3): # 총 3번 반복해보겠습니다. print(f&#34;Iteration {i&#43;1}&#34;) images, labels &#61; t.get_batch() print(f&#34;Number of images: {len(images)}&#34;) print(f&#34;Number of labels: {len(labels)}&#34;) print(&#34;-&#34; * 50) t&#61; Batch_Balanced_Dataset(opt)를 통해서 _data _loader 가 생성됩니다.self.data_loader_list &#61; [] self.dataloader_iter_list &#61; [] _data_loader &#61; torch.utils.data.DataLoader( _dataset, batch_size&#61;_batch_size, shuffle&#61;True, num_workers&#61;0, collate_fn&#61;_AlignCollate, pin_memory&#61;True) self.data_loader_list.append(_data_loader) self.dataloader_iter_list.append(iter(_data_loader))여기서 데이터의 크기는 313, 배치의 크기는 16으로 설정 했습니다.def get_batch(self): balanced_batch_images &#61; [] balanced_batch_texts &#61; [] for i, data_loader_iter in enumerate(self.dataloader_iter_list): print(len(self.dataloader_iter_list)) print('set1111111') try: for image, text in data_loader_iter: print('set22222222222') balanced_batch_images.append(image) balanced_batch_texts &#43;&#61; text except StopIteration: print('set3333333333') self.dataloader_iter_list[i] &#61; iter(self.data_loader_list[i]) image, text &#61; next(self.dataloader_iter_list[i]) balanced_batch_images.append(image) balanced_batch_texts &#43;&#61; text except ValueError: pass if balanced_batch_images: balanced_batch_images &#61; torch.cat(balanced_batch_images, 0) else: # balanced_batch_images가 비어 있을 때 처리 balanced_batch_images &#61; torch.empty(0) return balanced_batch_images, balanced_batch_texts코드가 현재 이렇고 아래는 결과물입니다.Iteration 11set1111111set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222set22222222222Number of images: 313Number of labels: 313--------------------------------------------------Iteration 21set1111111Number of images: 0Number of labels: 0--------------------------------------------------Iteration 31set1111111Number of images: 0Number of labels: 0-------------------------------------------------- StopIteration 예외가 발생을 해야 꾸준히 학습이 될것같은데 여기에서 방향을 못찾겠습니다..ㅠㅠ 혹시라도 접근하는 방법이 틀렸거나 이상한점이 보이신다면 말씀해주세요..!

kenu,전독시 · Answer

문제의 핵심은 DataLoader의 shuffle=True 옵션 때문에 발생합니다. shuffle=True 옵션은 데이터셋을 무작위로 섞어서 각 배치에 제공되지만, 이는 반복자를 재설정할 때에도 동일하게 적용됩니다. 즉, 첫 번째 반복 후에는 데이터셋이 이미 섞였으므로, 다음 반복에서는 처음부터 시작하여 모든 데이터를 다시 사용하게 됩니다. 이는 StopIteration 예외를 발생시키는 것이 아니라, 데이터가 완전히 소진되고 다시 처음부터 시작하기 때문입니다.따라서, shuffle=False로 설정하면 원하는 동작을 얻을 수 있습니다. 이렇게 하면 각 반복마다 데이터셋이 동일하게 유지되어, 첫 번째 반복에서 시작된 위치에서 계속 진행됩니다. 이를 통해 StopIteration 예외 없이도 원하는 학습 효과를 얻을 수 있습니다.또한, get_batch 메소드 내에서 StopIteration 예외를 처리하는 부분은 필요 없게 됩니다. 왜냐하면 DataLoader가 자동으로 다음 배치를 제공하므로, iter() 함수를 호출하여 새로운 반복자를 얻는 것만으로 충분합니다. 따라서, try-except 블록을 제거하고, next(data_loader_iter)를 직접 호출하여 다음 배치를 가져오는 방식으로 코드를 수정할 수 있습니다.아래는 수정된 get_batch 메소드의 예시입니다:def get_batch(self): balanced_batch_images = [] balanced_batch_texts = [] for data_loader_iter in self.dataloader_iter_list: try: for image, text in data_loader_iter: balanced_batch_images.append(image) balanced_batch_texts += text except StopIteration: # StopIteration 예외 처리가 필요하지 않습니다. # DataLoader가 자동으로 다음 배치를 제공합니다. continue if balanced_batch_images: balanced_batch_images = torch.cat(balanced_batch_images, 0) else: # balanced_batch_images가 비어 있을 때 처리 balanced_batch_images = torch.empty(0) return balanced_batch_images, balanced_batch_texts 이렇게 수정하면, DataLoader의 shuffle=False 옵션을 사용하면서도, 각 반복마다 데이터셋을 순차적으로 처리할 수 있으며, StopIteration 예외 없이도 원하는 학습 효과를 얻을 수 있습니다.from: https://www.phind.com/search?cache=rry8nz8a6k2l5vmdk3o9pq65

다크브라운 · Answer

코드를 보니 DataLoader에 올라가는 데이터셋을 low단부터 작성하시는거 같은데 특별한 이유가 있을까요? _dataset에 대해서 가능하시면 한번 올려주시면 좋을것 같고 아래 사이트를 참고해서 DataLoader에 올라가는 데이터셋을 작성해보시는것도 좋을 것 같습니다https://pytorch.org/tutorials/beginner/basics/data_tutorial.html

파이썬 반복자 StopIteration예외 발생 도와주세요 ㅠ

2개의 답변

#pytorch 목록