대용량 데이터 저장하는 DB는 어떻게 해야 될까요....

Question

센서 데이터를 읽어와서 웹으로 뿌려주는 걸 만들어야 되는데..그 데이터가 좀 많습니다.센서가 15개인데, 초당 15~25개의 데이터가 들어옵니다.일단 단순하게 센서 하나당 하나의 테이블을 만들고 날짜에만 PK 걸어서 임시로 저장해봤더니, 하루정도의 데이터가 약 170만개로, 112.MiB, 132MB가 찍히네요.이게 3~5년 정도 한다고 하는데, 이렇게 되면 시간이 갈수록 select하는 것도 힘들 것 같은데요...지금 당장 하루치 저장한 것도 select만 했을뿐인데 읽어들이는데 십 몇초가 소요됩니다...

Dive_Drink_Develope · Accepted Answer

하루치 저장한거에서 십몇초는 원가 인덱스를 잘못태우신것같은데 explain해보시고(아니면 fetch 과정에서 오래걸리는것같은데) 연월로 파티셔닝하고어차피 그 데이터를 그대로 사용하지는 않을테니까 분/시간 단위로 상위에 통계테이블같은걸 만들어서 평균 표준편차같은걸 미리 구해놓고 활용하는 방향으로가야 하지 않을까요?

monotonicity · Answer

그정도로 용량이 많은데 한 화면에 다 뿌릴수 있나요?

Dive_Drink_Develope · Answer

how to store and use massive sensor data in db로 1페이지 검색결과들을 꼼꼼히 읽어보시면 유의미한 성과가 있으실것같습니다.

kkirook · Answer

&#64; monotonicity 해당 데이터를 긁어와서 분단위, 초단위, 시간단위로 평균내서 출력하긴 할겁니다만... 애초에 DB에 그렇게 저장하려고 했더니 일단 그러한 처리되지 않은 데이터도 저장해야 된다고 하네요...

kkirook · Answer

&#64;Dive_Drink_Develope 십몇초는 잘못 계산했네요... 한 3~4초 걸리는듯 합니다. 파티셔닝과 통계테이블 방법이 좋은 방법인듯합니다. 좋은 답변 감사합니다.ㅎㅎ

더미 · Answer

rdb가 꼭 필요한가요?

천사와악마 · Answer

파일로 떨구고 일/주배치로 필요한 데이터만 추출 // 등록 처리하는게 맞을것 같은데요제가 대리급일때 글쓴이님 처럼 장비 데이터 DB 때려박았었는데 파티션 처리든 데이터 후처리든 꼭 대비하세요 개발 초기에는 티 안납니다.

대용량 데이터 저장하는 DB는 어떻게 해야 될까요....

7개의 답변

#pk 목록