데이터 관리 전략을 구상해 봤는데 어떤가요 ?

Question

안녕하세요 초보 개발자입니다.개인프로젝트로 서버를 만드는 중인데효율적인 데이터 저장과 관리를 위해 구상한 시스템이먼저 데이터를 쓰거나 업데이트를 했을 때 Redis에 새 내용을 저장하고 읽을 때에는 Redis에 저장된 데이터를 확인하고없을 경우에 PostgreSQL DB에서 데이터를 읽고 전달 후에 Redis에 저장합니다.그리고 주기적으로 Redis에 저장된 데이터를 PostgreSQL DB에 한번에 저장하고Redis에 있던 데이터는 삭제 하는 방식입니다.이러한 기능을 구현했을때 장점이 많은데Redis는 I/O가 빨라서 응답 처리를 빠르게 할 수 있고 서버의 부하를 줄일 수 있습니다.그리고 자주 읽을 것으로 예상되는 데이터(예:인기순 상위,최근순 상위)를Redis에 있던 데이터를 삭제 할때 기본값으로 추가해놔서 빠른 Read가 가능하도록 할수있습니다.이러한 기능들을 직접 구현해볼까 생각중인데이런 기능을 칭하는 이름이 있나요?그리고 이런 기능을 해주는 라이브러리는 없을까요?아니면 제가 말한 기능에 뭔가 큰 문제점이 있나요?

kotliner · Answer

흔히 말하는 cache의 일종인데, 말씀주신대로의 구현은 문제점이 하나 있습니다.만약 redis에 정보를 insert했지만 db에 넣는 주기에 도달하지 못하고 redis가 모종의 사유로 장애가 발생하면 insert한 정보가 유실되어 버립니다. 그래서 초당 몇천건이 넘도록 write해야하는 정보가 정말 많지 않은 이상 db에 우선적으로 insert하고 이후 혹은 동시에 redis에 데이터를 저장하는게 좋습니다.추가로 이런 로직의 경우, hit 되는 데이터가 한정되므로 (ex: 게시판의 목록은 맨 첫번째 페이지의 hit가 매우 많고 뒤로 갈수록 적어짐) redis의 메모리를 절약하기 위해 TTL을 설정해두고 조회 순서를 redis -> db 순서로 해서 redis에 없다면 db에서 조회하고 redis에 넣는 식으로 많이 구현합니다.spring cache에 redis를 붙이면 원하는 구현이 쉽게 가능해지지만 크게 구현이 어려운 것이 아니라서 직접 구현하셔도 됩니다..

데이터 관리 전략을 구상해 봤는데 어떤가요 ?

1개의 답변

기술 목록