big data db

Question

1초 동안 1000개 정도 전송되는 데이터를 저장할 db를 구축하려고 하는데요.어떤 db를 쓰는 것이 효율적일까요?mysql로는 도저히 못버티는 것 같아서요.답변 부탁드립니다.

사과 · Answer

개수도 중요하지만 데이터의 크기, 인덱스 구성 등등 중요한게 많습니다. 그리고 rdbms 끼리는 어떤 db가 insert 성능이 좋다고 딱 잘라서 말씀드리긴 힘듭니다.참고로 mysql, oracle, mssql, postgresql 뭐든지 초당 수천개의 insert을 충분히 견뎌낼 수 있습니다.문제는 DB 설계와 캐싱이 될 메모리 크기, 그리고 가장 중요한 저장장치 입출력 성능입니다.

사과 · Answer

물론 mysql이 순수 insert만을 못버티는건지, 커넥션 과다생성을 못버티는건지, 쓰잘데없는 트랜잭션이 너무 많이 걸리는게 아닌지(1천개의 입력을 1천개의 insert문으로 수행하는 경우), 커넥션을 한 개만 쓰고 있는건지, 체크해볼 사항은 많이 있곘죠.

김평범 · Answer

적재시점에 mysql에 꼭 입력이 되어야 하나요? 커넥션 등 여러 문제가 있을 것으로 보이는데...우선 텍스트 및 원시 데이터로 적재 후, 유휴시간대에 적재된 자료를 토대로 db 적재하시는 편이 맞지 않을까 싶습니다.Realtime으로 database에 적재되어야 한다고 하면고가용성으로 장비도 구성하고, 네트워크, 파일시스템, 디비 등 고려할게 상당히 많습니다. 기술설명 가능한 빅데이터전문가 통해 HDFS, Hadoop 등으로 빅데이터 적재 및 관리에 맞게 컨설팅을 받아서 구성하시는 것이 어떨까 싶습니다. 그게 어려운 상황이시면, Realtime으로 안정성 있게 제공하기가 과연 쉬울까 싶네요.

지아빠 · Answer

건건이 입력하는게 아니라 배치로 입력하시면 성능이 휠씬 좋아지실듯 합니다.구체적인 내용이 없어 답변에 한계가 있내요

ansdbduf · Answer

CPU와 메모리를 적절히 활용해야합니다. 빈번한 IO는 CPU를 많이쓰고 메모리를 적게씁니다. 성능이 느리겠죠. 반대로 드문 IO는 CPU는 적게 쓰지만 메모리를 많이 쓰게 되어 성능은 빠를 수 있으나 OOME를 의식해야 합니다. 중간에 버퍼나 캐쉬같은 시스템을 둔다면 효율적이겠죠..

xron · Answer

다들 답변해주셔서 감사합니다. 근데 현재 문제는 보니까 데이터를 저장할 때 한 테이블에 전송되는 데이터를 저장하는 문제도 있고, 그 데이터를 select해서 가져올 때도 문제가 있네요. 이런 것들을 어떻게 해결해야할지 고민입니다.

사과 · Answer

테이블을 파티셔닝 하는 방법이 있습니다.DB에서 지원을 안해주면 임시로 구현하면 되구요. 그리고 드라이브 IO 느리면 뭘 해도 답이 없어요.작업관리자, 리소스모니터 보면서 뭐가 부족한지 확인을 해보셔요.

지아빠 · Answer

문준연님 말씀처러 디스크 IO가 가장 병목이죠~SSD를 구매하는 것도 방법이내요 ㅎㅎ

big data db

8개의 답변

Q&A 목록