가격 히스토리 사이트의 원리가 뭘까요?

Question

수익 && 연습 삼아 쿠팡 가격히스토리 보여주는사이트를 만들려고 생각하고 있는데쿠팡 같은 사이트에는 API로 가격히스토리 보여주는게 없어요그래서 히스토리를 보여줄려면 크롤링이나 API이용해서 DB화 할수밖에 없을건데 쿠팡에서 아마도 초당 요청건수 제한을 걸텐데...문제는 물건수가 엄청나서 엄청나게 API호출을 해야할텐데 ㅎㄷㄷ가격 추적사이트들은 이런 사이트들 데이터를 어떻게 저장하는지 궁금하네요..

동생 · Answer

크롤링 24시간 내내 돌리는거죠 뭐

둘둘넷넷 · Answer

데이터 계속 쌓아놓는거지 않을까요

카르단테 · Answer

PC 1대에서 초당 몇천건의 상품을 요청하면 보안에서 걸리겠죠.그러니 여러 대의 컴퓨터에서 초당 몇백건 정도로 분산해서 DB에 쌓으면 정상 요청으로 인지할 수도 있으니 적정선에서 분산해서 요청해 보세요.

RETURN NULL · Answer

아마 VPN연동해서 ip바꿔가면서 요청할것 같네요

비정규분포 · Answer

AWS Lambda 같은거 쓰면 placement를 무작위로 돌려서 IP 다르게 할 수 있을지도? 안해봤지만 그냥 아이디어 하나 던저 봄.

더미 · Answer

https://help.danawa.com/bizCenter/index.php?depth1=12

가격 히스토리 사이트의 원리가 뭘까요?

6개의 답변

Q&A 목록