[C++][STL] 수행시간 증가 문제

Question

안녕하세요. 최근에 이미지 관련해서 딥러닝 프로그램을 짜보고 있는데, C++을 사용해서 많은 수의 이미지를 stl 컨테이너에 넣어서 연산하는 작업을 짜는중에 프로그램 수행 시간이 for문으로 반복해서 돌릴 수록 증가하는 현상을 발견하게 되었습니다. 관련한 코드를 최대한 간결하게 재현 해보았습니다. 혹시 이런 경우가 왜 발생하는지 해결방법이 무엇인지 아시는 고수분들 있을까요? 참고로 제가 사용하는 PC는 인텔 i7-9700, 메모리 32GB이며, 프로그램 수행 시 메모리는 늘었다 줄었다 하면서 평균 12-13GB정도 먹으며 전반적으로 보았을 때 증가 추세를 보이지는 않습니다.100회 수행 하고 수행 시간 그래프를 그려봤습니다(단위 s).vector getDataFromMat(Mat org, float weight, float bias, bool noise) { auto imageHeight = org.rows; auto imageWidth = org.cols; auto offset = imageHeight * imageWidth; Mat mat = Mat(); Mat matSplit[3]; auto features = vector(offset * org.channels()); mat = org; split(mat, matSplit); parallel_for(0, mat.channels(), [&](auto i) { matSplit[i].convertTo(matSplit[i], CV_32F); copy((float*)matSplit[i].datastart, (float*)matSplit[i].dataend, features.begin() + offset * i); }); } return features; } int main () { vector images; cv::Mat image; string imagepath; for (int i(1); i < 4000; i++) { imagepath = "D:\dog\dog" + to_string(i) + ".jpg"; image = cv::imread(imagepath); images.push_back(image); } vector>> vec = vector>>(4000); vector imgs = images; for (int k(0); k < 100; k++) { clock_t start = clock(); parallel_for(0, 4000, [&](auto i) { resize(imgs[i], imgs[i], Size(224, 224)); vector image_array = getDataFromMat(images[i], 1, 0, false); vec[i] = tuple< string, int, int, vector>( "", 0, 0, image_array); }); double t = (clock() - start) / (double)CLOCKS_PER_SEC; cout << t << endl; imgs.clear(); vec.clear(); imgs = images; } }

defult · Answer

이미지를 전부 미리 메모리에 올려두고 파일읽기없이 같은 처리를 반복처리를 해보시기 바랍니다.만약에 처음부터 전 이미지를 메모리에 올렸을시 각각의 이미지 처리가 거의 균일한 처리속도라는 결과가 발생한다면 저장장치 캐쉬한계로 점점 지연발생한다는 겁니다.만약에 캐쉬문제라면 하드웨어적인것이므로 그냥 타협하셔야합니디

whatAbeautiful · Answer

defult 그 말씀은 클리어 없이 모든 이미지를 다 메모리에 올리고 수행해보라는 말씀이신거죠? 메모리에 다 올려서 수행할 시 점점 느려지는 같은 현상이 발생하면 캐쉬의 한계라는 것인가요? ㅠㅠ 감사합니다 뭔가 실마리라도 찾고싶엇어요

defult · Answer

내용 수정했습니다.이미지 처리를 할시에 하드디스크(혹은 SSD)에서 불러오는 처리가 발생하지 않는 상태에서 순수한 이미지 처리속도만을 측정시 저런 그래프식으로 나중에 처리하는 이미지일수록 점점 처리시간이 늘어나는게 아닌 각각의 이미지 개별 처리시간이 거의 비슷비슷하게 나온다면 하드디스크를 메모리에 올리기위한 캐쉬의 한계에 도달해서 점점 지연되는거라서 하드웨어의 한계로 보고 타협점을 만드셔야합니다. 이미지처리를하실때 대용량 혹은 다수의 의미지 처리를 할때 나중에 불러오는 파일일수록 점점 지연되는 경우는 가장 많이 발생하는 이유가 디스크에서 읽어서 메모리에 올리는데 지연이 발생해서인 경우가 많습니다.그러니 저런 문제가 발생할시에 가장 큰 지연요소인 파일입출력이 영향을 주고있는지 확인하는게 최우선입니다.

whatAbeautiful · Answer

defult 답변 감사드립니다. 현재 제 예제에서나 프로그램에서나 파일 입출력은 최초 1회만 실행하고, 벡터에 넣었다가 클리어했다가 다시 복사하는작업들을 하고있기는합니다 ㅠ 저도 본문의 글을 약간 수정하였는데, 지금 사용하는 메모리는 32GB이고 예제 수행시 사용하는 메모리는 12~13기가입니다. 실제 프로그램은 21GB정도를 사용하고 있습니다. 이런 상황에서도 해당 문제가 발생하는것이 가능할까요 ㅠㅠ? 하드웨어쪽은 잘 모르다보니 이런 질문을 드리게 되네요.

defult · Answer

처음에 전부 읽어들인다면 읽어들일 이미지를 전부 같은걸로도 사용해보셔서 처리시간이 점점 늘어나는지도 봐보세요.처리가 그게 그거인 상태에서 반복작업에서 시간이 안늘어나고 실제 테스트에서의 여러 특징의 이미지에서 점점 지연된다면 cpu처리 캐쉬한계일수도 있습니다. 처리에 사용한 내용을 전부 클리어하지않고 그대로 소지한 채로 확인해보는것도 좋습니다.혹시나 32기가의 메모리가 16&#43;16이나 8&#43;8&#43;8&#43;8의 대칭 구성이 아닌 16&#43;8&#43;8등의 비대칭 모듈 구성이면 사용량이 늘어날수록 속도 저하가 발생할수도 있습니다. 이런 종류의 문제는 각각의 처리에서 의심사항을 하나하나 제외하면서 확인하실수밖에 없습니다.

whatAbeautiful · Answer

defult 넵! 그렇게 해서 확인해보았지만 지연현상은 같게 발생하네요.메모리는 16 &#43; 16 으로 사용하고있습니다. :(

쥬라기 · Answer

vector 생성과 복사가 과도하게 발생중입니다. 해당 부분 최적화가 제일 중요할거라 보입니다

엡실론 · Answer

가상메모리를 사용하고 계시다면 가상메모리를 비활성화 해보세요.한가지 신경쓰이는게, images 벡터에 넣을 때는 i &#61; 1 ~ 4000인데, 아래쪽 루프는 0 ~ 4000이네요.

mirheeoj · Answer

whatAbeautiful // - 위 동일 이미지 테스트시 똑같은 이미지를 4000번 때려박는게 아니고 하나의 이미지 오브젝트만 생성하셨는지 궁금합니다. - 반복테스트는 얼마나 오랫동안 진행해보셨나요? 그래프 모양상 수렴을 하지 않는다고 확신할 수는 없어 보입니다.- parallel_for 안에서 번갈아가며 한줄씩 주석처리해보면 몇 번 라인이 문제를 일으키는지 알 수 있지 않을까요? - 이미지 사이즈를 아주 작은 것으로 테스트했을 때 패턴이 바뀌는지도 궁금하고요. 기타 최적화할 부분이 더 있어 보이기는 하는데, 주제와 직접적인 관계는 없어보이니 생략합니다.

whatAbeautiful · Answer

쥬라기 위에 코드는 최대한 제 프로젝트랑 비슷하게 구현 해보려다보니 최적화가 안되어보이는것 같습니다 ㅠ 엡실론가상메모리를 따로 설정하지는 않았지만, 메모리가 32GB인만큼 가상메모리를 사용하지 않을거같습니다 아닐까요? mirheeoj- 음.. 어떤말씀인지 잘 이해를 못했습니다. 하지만 같은 이미지는 아니고 다른 이미지 4000장을 불러와서 vector에 넣었습니다.- 반복은 예제는 최대 200 회 해보았고, 실제 프로그램은 2000번정도 테스트했습니다. 실제 프로그램은 10초에서 출발해서 31초쯤에서 수렴하는것처럼 보였습니다.- 말씀하신대로 시도해보았는데, resize부분에서 문제가 되는것같아 resize아래와 같이 수정하였더니 문제가 해결 된 것처럼 보여 실제 프로젝트를 고쳐보았는데 효과는 없네요 ㅠㅠ parallel_for(0, 4000, [&](auto i) { Mat tmpimg; resize(imgs[i], tmpimg, Size(224, 224)); vector image_array = getDataFromMat2(tmpimg, 1.0f, 0.0f, false); //resize(imgs[i], imgs[i], Size(224, 224)); //vector image_array = getDataFromMat2(imgs[i], 1.0f, 0.0f, false); vec[i] = tuple< string, int, int, vector>( "", 0, 0, image_array); }); 아무래도, 예제 프로그램으로 찾아서 문제를 해결하는 방법으로는 제 프로젝트에 문제를 찾는건 어려운거같습니다 ㅠㅠ 어느부분이 문제인지 opence resize부분, getDataFromMat, 학습 시키는 부분, 이미지 copy하는 부분 등등 가능한 부분들을 각각 std::clock()으로 시간 채크해보았습니다. 2000 번 반복 한 후 확인해보니 거의 모든부분에서 시간의 크기차이일뿐 모든 부분에서 늘어났다고 보이는 것을 보니 std::clock()까지 의심할 지경이네요 ㅠㅠ (심지어 vector clear()부분도 시간이 증가합니다.) 프로젝트 코드 공유가 어려우니 여기 계신분들에게 도움을 청하기도 어렵게 되었습니다.그래도 관심 가져주시고 댓글 달아주셔서 정말 감사합니다!

[C++][STL] 수행시간 증가 문제

10개의 답변

Q&A 목록