자동 업데이트 서버

Question

이번에 주식 서비스를 만들려고 하는데 주식 종목(해외 주식 포함)이 몇 만개가 되니까 자동 업데이트를 할려면 몇시간 정도가 소요 되는데 이러면 자동으로 업데이트만 해주는 서버를 따로 만들어야 하나요? 예를 들어 노드 서버 2개를 구동하는거죠, 근데 이렇게 하면 업데이트 그 작은 기능 떄문에 서버를 하나 만드는건 너무 오버인거같기도 하고요 그렇다고 서버를 하나만 하기엔 나중에 배포해서 서비스가 돌아가면 자동 업데이트하는 시간때는 서버가 터질수도있고요 이럴떄 어떻게 접근하는지 알려주실수있나요?

초무쿤 · Answer

그냥 트레이딩 하는 데몬 어플리케이션에서@Schedule 된 Task로 천천히 실행 하고 있습니다. (트래이딩 간섭없을 정도 + 크롤링 블럭을 피하기 위해)이게 빨리 할수가 없는게 지표들 크롤링이라 너무 과하게 처리하면 블럭 당합니다.예를 들어 KRX(한국거래소) 바로 블럭 당함.Seibro, Nasdaq 등 과하게 크롤링 하면 ip블럭 당할수 있음.(sleep을 많이 줘서 아직 블럭 당한 경험은 없음)한국 전종목, 미국 전종목 다 크롤링 하면 한 24시간 정도 걸리는거 같아요. (종목당 3초 정도 sleep함)그리고 어차피 중소 듣보잡 회사들은 거래소도 데이터가 없어서 크롤링도 잘 않되서 자동 skip됨.

감독님테스트가하고싶어요 · Answer

주식쪽은 크롤링한적없어서 잘은 모르겠지만조회가 빈번한 종목들만 자주 업데이트 쳐놓고,사람들이 잘 안찾는건 개잡주같은건 요청 들어오는 그때그때 업데이트하면 안되나요? 캐싱개념으로 업데이트된지 일정시간 지났을때 긁어오는 조건으로개잡주 조회 느리다고 컴플레인도 잘 안걸거같기두해서

압구정개발자 · Answer

서버리스 함수, 오토스케일링

자동 업데이트 서버

3개의 답변

Q&A 목록