데이터를 가져오는 시간이 2초 넘어가면 오래걸리는거겠죠..?

Question

DB가 아닌 파일 시스템에서 읽어온 데이터로 시계열 데이터를 차트에 표출하고 있습니다.서비스단에서 데이터 얻는 시간만 평균 3초정도 걸리는거같은데... 솔직히 오래걸리는거 맞죠? 파일 탐색 자체가 최적화가 안되어있는 느낌이 들긴합니다. 아래는 파일 탐색 로직입니다.데이터 파일 시스템 구조 기본 파일과 요약 파일은 같은 데이터를 가지고있지만, 내부 형식과 파일 이름 형식이 다름. 파일 이름 형식은 다르나 공통적으로 같은 시간을 20240101000000 형태로 이름에 포함하고있음.기본 파일 : Root 경로 / 데이터타입1 / 데이터타입 1-2 / 년 / 월 / 일 / 파일.ext 요약 파일 : Root 경로 / 요약타입 / 년 / 월 / 일 / 파일.ext 약 33시간치 데이터로 약 196건의 파일 데이터를 파싱한 객체가 나옵니다. 이때 3초정도 걸리는것같구요. DB를 안쓰니까 어느정도 더 걸리겠거니 하긴 하겠는데... 파일 시스템으로 데이터 표출하는 경우가 잘 없다보니 감이 잘안잡혀서요. 오래걸리는 편일까요?

뽀야맘 · Answer

한... 5일치 데이터 가져오면 7초 정도 걸리네요

Clickin · Answer

파일 전체를 다 파싱해야지 차트에 뿌려줄 수 있어서 그런 거 아닌가요offset 설정이 가능한 구조로 만들거나 아니면 파일을 더 잘게 쪼개는 방법도 있을 듯 합니다.

allinux · Answer

프로파일링을 해서 병목을 찾으세요.아마도 다수개의 파일을 읽어드리는 io가 병목일 가능성이 큽니다. 파일을 읽어드릴때 순차적으로 1개씩 읽어드린다면 패러럴하게 처리하도록 개선할 수 있습니다.

xml개발자 · Answer

3초 정도면 괜찮은 속도 같은데요?

데이터를 가져오는 시간이 2초 넘어가면 오래걸리는거겠죠..?

4개의 답변

기술 목록