Hive + Hbase 기반 단건 성능 극대화 방안

Question

안녕하세요현재 오라클 DB 기반의 시스템에서 Hadoop ecosystem으로 플랫폼을 변경하려는 플젝을 앞두고 있는 운영/개발자입니다.기존 대규모 배치 기반 프로세싱 체계에서 마이크로 배치 프로세싱으로 변경하는 프로세스 개선 작업과 더불어확장성 등을 고려해서 RDB 기반에서 hive &#43; hbase 로 개선(개선이 맞나?)을 계획 중에 있는데요.문제는 운영상 중간중간 데이터의 단건 조회 등도 매우 많다는 거죠.이를 테면 구매 order number로 데이터를 조회한다던가, 다른 테이블들과 특정 칼럼으로 조인해서 본다던가최종 데이터가 아닌 중간 테이블들에서도 이런 작업들이 빈번하게 일어납니다.저희가 자체 환경 구축해서 Hive로 데이터 조회를 해보니 예상한것만큼 속도가 매우 안 나오던데..HBase를 잘 설계한다면 단건 성능이 원하는 만큼 나올지 모르겠네요.HBase에 잘 만들면 되지라고 생각하다가, 또 중복 데이터를 하나둘 만들기 시작하면데이터 관리 측면에서도 그리 좋아보이진 않아서요.추가로 트리노 도입도 같이 검토는 하고 있는데 아직 엔터프라이즈급 레퍼런스가 없는거 같아고민이 많이 됩니다. 기존에 혹시 hive 기반으로 업무하는 분들은 비슷한 문제를 어떻게 해결하셨을까요?조언을 구합니다.

Hive + Hbase 기반 단건 성능 극대화 방안

0개의 답변

#hive 목록