빅데이터 저장용 DB

Question

현재 특정 장비들의 실시간 위치데이터를 카프카를 통해 받아오고있습니다. 다만 이게 양이 많다보니 저장용 DB를 고민하다 influxDB가 압축률이 좋다고해서 기존에 해당 DB를 사용하여 저장하고있었습니다. 다만 해당 DB로도 하루 4GB의 양이 들어오다보니 이걸 쓰는게 맞나 싶기도하고, 해당 DB에대한 쿼리문도 익숙하지 않으니 사용도 불편하고 influxDB에서 제공하는 클라이언트도 사용해보니 데이터 용량이 많으면 select할때 잘 뻗어버리더라구요. 그런 이유로 다른 DB를 고려해야하지 않을까 싶어 찾아보고있지만 제가 원래 빅데이터를 다루던 사람이 아니다보니 다른 빅데이터를 다루는 곳에서는 어떤DB로 빅데이터를 다루시는지 궁금합니다.하둡도 고려는 해보고있지만 회사가 그렇게 큰 규모의 회사는 아니어서 몬가 배보다 배꼽이 커지는 느낌이 들어 다른걸 고민해봐야하나 싶기도하고, 다른 현업분들은 어떻게 데이터 관리하시는지 조언부탁드립니다.감사합니다.

머리가아파요 · Answer

정말 드믄 케이스긴 한데 이벤트 로그 같은 느낌이라면 trailDB 시도해보는것도 괜찮습니다. 50GB 상당의 위키피디아 수정 이력(4400만명의 기여자와, 6억6300만건의 수정 이력)을 4GB 수준으로 압축시켜서 저장하는 데모가 있습니다. 지금은 개발 중단상탠데 그래도 프로덕션사용에 문제는 없습니다.

빅데이터 저장용 DB

1개의 답변

#influxdb 목록