elasticsearch 대용량 색인 방법 질문

Question

안녕하세요 elasticsearch 대용량 색인간에 속도 이슈로인해 질문드립니다. Logstash가 실행되면서 http로 Java를 실행시키고 DB에서 데이터를 추출해서 가공하여 리턴해주는 식으로 구현중입니다. 문제는 약 데이터가 1000만건 정도되는 데이터를 색인하는건데 DB 읽는 속도가 느리네요 index 며, 쿼리튜닝을 해보았지만 전체 데이터를 es로 보내다보니 쿼리 속도가 너무 느립니다. Logstash의 jdbc 플러그인으로 직접호출한다 해도 row수가 너무 많아서 읽는데 시간이 굉장이 많이 걸릴 거 같습니다. 또한 java 단에서 json으로 비정형데이터를 만드는데도 시간이 많이 걸리기도 하구요 비정형데이터로 저장하기위해 어느정도 자바에서 가공을 하고 넘길려고 하고 있는데 지금 row수가 많다보니 방법을 변경해야할거 같은데요...각 조인되고 있는 테이블을 각각 먼저 색인하고 es내에서 스케줄러통해서 하나의 document로 비정형데이터를 만들어 저장해볼까 고민중인데 이런 경우 어떻게 하고 계신지 궁금합니다 별도의 nifi나 dw 툴까지 고려를 해보고 있는중입니다. 도와주세요 ㅠㅠ

데브폐인 · Answer

메모리는 충분하고 최적으로 설정되어 있나요?

영군 · Answer

1000만건보다 무서운건 데이터의 길이(바이트수)입니다.모든칼럼을 색인하지 말고 필요한 칼럼만 색인두 방법이구요~html, json데이터이면 text만 저장해놓구 색인하는것도 방법입니다.그리고 날짜또는 시간별로 쪼개서 색인하세요~한꺼번에 작업하면 DB 부하가 상당합니다

xml개발자 · Answer

1000만건이면.. 테이블 구조는 모르겠지만, 용량으로만 따지만 대략 5~10기가 정도 하지 않나요??10기가 읽고 전송하는 네트워크 트래픽만 해도 꽤 오래 걸리는 것은 맞습니다.

elasticsearch 대용량 색인 방법 질문

3개의 답변

#logsatsh 목록