디스크 읽기/쓰기에 관한 스레드풀 동작 개선 관련 질문 드립니다

Question

안녕하세요. 쓰레드풀, HDD 읽기/쓰기 동시 진행에 대해 질문이 있습니다. 질문은 처음남겨봐서 글이 장황하여 미리 양해드립니다...하나의 PC에서영상 이미지 처리 및 이미지 저장 프로그램과이미지 불러오기 프로그램이 실행중입니다.하나의 HDD에서 이미지 저장과 이미지 불러오기 동작이 동시에 실행중이면, 영상처리 동작이 느려지는 것 같습니다.HDD는 디스크 헤드가 하나이므로, 한번에 한 동작만 하는게 가장 빠른 것으로 알고 있어... 이 부분은 어쩔 수 없으니 느려지는 것을 최소화 하고싶습니다.다음부터는 개발 환경 및 구현 상황입니다.MFC &#43; OpenCV로 작업했습니다. (Windows 10.0.19044)영상처리 프로그램은 명령이 들어올 때 마다 반복해서 진행하고 24시간 실행중입니다.영상은 16384 40000 pixel 1bytes 2장 입니다.고용량의 영상이기 때문에, 영상 영역 분할후 이미지 처리와 이미지 저장 모두 스레드 풀에서 진행합니다.이미지 불러오기 프로그램은 사용자가 필요할 때 조작합니다.조회시, DB에서 영상 정보 조회 및 HDD에서 이미지 불러오기를 진행합니다.PC에는 SSD / HDD 2개 (13TB)가 장착되어 있고프로세서는 i9-12900KF, 16 core, 24 thread 입니다.스레드 풀은 범용적으로 사용하고 있습니다. 어떤 job이든 queue에 담아서 꺼내고, 영상처리와 이미지 저장 job 모두 받습니다.추측하기엔 같은 스레드풀을 공유해서 사용하고 있어, 이미지 저장 동작동안, 영상처리에 사용할 스레드가 줄어드는 것으로 이해하고있습니다.스레드 개수는 두 프로그램 모두 40으로 잡았습니다만.. 별 이유는 없습니다. 코어 갯수에 따라 효율적으로 잡아야 한다고 들었지만, 고려중입니다.이미지는 png포맷, jpg포맷으로 각각 저장합니다.이미지 불러오기시 기본 동작은 파일 크기가 작은 jpg로 불러오고 필요시 유저가 직접 png로 불러오도록 기능을 나누었습니다.분할된 이미지를 저장할 때에는,이미지 encode 작업은 스레드 풀에서 동시에 진행하고,memory -> hdd 전송은 하나의 스레드에서 하나씩 순차적으로 전송.이미지 불러오기도 hdd -> memory는 하나씩 순차적으로 불러오고,이미지 decode 작업은 스레드 풀에서 동시에 진행.영상처리 결과는 DB에 저장해서, 결과를 빨리 전송해줘야 하지만,이미지 저장은 느려져도 상관없습니다.이미지 불러오기 동작은 유저의 불만이 있지만 어느정도 타협할 수 있습니다. (그래도 최대한 빠른 결과를 주도록 구현하고 싶습니다만...)그래서 생각한 내용이1. 이미지 저장/불러오기 스레드는 스레드 우선순위를 낮추면, 영상 처리 스레드가 더 많은 일을 하여 효과가 있을지?2. 하나의 스레드 풀 말고, 이미지 저장용 / 영상 처리용 스레드 풀을 나누는게 의미가 있을까?3. 이미지 저장을 SDD에서 하고, 따로 서비스 프로그램을 만들어, HDD에 천천히 보내는건 어떨지?4. 사실 디스크는 문제 없는거 아닐까?1,2 두가지 방법은 개발해서 적용해보고 전달할 예정입니다. (현장에서의 문제점을 사무실에서 재현하기가 어렵습니다...)3번의 방법은 SDD에서 HDD로 쓰기를 하던, HDD에 한번에 쓰기를 하던, HDD가 읽는 동작과 겹치는건 마찬가지라서개발만 복잡해지는게 아닐까 생각중입니다. 다만 이미지 저장시HDD에 비해 의미있을 정도로 빠르긴 합니다.4번의 경우, jpg는 파일 용량이 적어서 이미지 불러오는데 느리지는 않습니다... decode 과정이 느리거든요. decode 단계부터는 HDD와는 상관없지 않을까 생각했습니다.그래서, 두 프로그램 모두 스레드 풀의 스레드가 40개니까,이미지 불러오기 프로그램은 스레드 개수를 2개로 줄여서 업데이트를 보내봤지만, 이미지 불러오기 동작만 느려지고 이슈는 여전하다고 보고 받았습니다.상황이 복잡하고, 의심가는건 많은데 제가 모르고 있는 부분이나 오류가 있는 부분이 있을 것 같아 질문드립니다...

톰소여 · Answer

메모리가 중요할것 같은데요.. 고려되었나요?

오짱이에요 · Answer

제가 이해한게 맞을까요?어떠한 소스에서 영상을 입력받습니다.프로그램 A가 해당 영상 중 일부 프레임을 추출합니다. 추출된 영상은 버립니다.프로그램 A가 추출한 프레임을 n조각으로 나눕니다.프로그램 A가 나눈 n조각의 이미지를 병렬로 프로세싱 합니다.프로그램 A가 처리가 끝난 n개의 이미지를 png와 jpg로 저장합니다. 이때 DB에 삽입합니다.프로그램 B가 사용자의 요청이 있을때 n조각의 이미지를 불러옵니다. 불러온 이미지는 합쳐져 사용자에게 보입니다. 이때도 병렬처리를 합니다.추가적으로 궁금한게 있는데jpg와 png로 별도 저장하는 이유가 있을까요?전체 프레임 중 추출하는 프레임의 비율은 얼마나 되나요?저장하는 사진의 해상도를 타협 할 수는 없을까요?이미지 인코딩/디코딩에 사용하는 라이브러리는 무엇인가요?저장되는 jpg/png 파일의 크기는 얼마인가요?시스템의 리소스 사용량은 어떤가요? CPU 점유율, IO 대역폭

디스크 읽기/쓰기에 관한 스레드풀 동작 개선 관련 질문 드립니다

2개의 답변

Q&A 목록