인스타그램 크롤링 aws 서버에 올리신 분 있나요???

Question

인스타그램을 aws 서버에서 자동으로 크롤링하는 프로젝트를 하려 합니다. 로컬에선 잘 되는데 서버에서는 크롬 드라이버로 열었을 때 html에 바로 page not found가 뜨더라구요 ip를 바꿔주고 다른 서버로 돌려보고 header값도 바꿔주고 크롬과 크롬드라이버도 버전 맞춰보고 했는데 결국 그대로 page not found 입니다. api는 제한이 많아 못쓸 것 같습니다. ip대역이 차단 된 걸까요? 아니면 인스타그램에서 애초에 서버에서 크롤링을 못하게 강력하게 막아놓은 걸까요? 혹시나 지금 서버에서 인스타그램 크롤링을 하시는 분 계신가요? (api사용 x )

allinux · Answer

서버에서 크롬 드라이버 말고 http client 등으로 접근하면 되던가요?서버에서 접속에 문제가 없는지 부터 확인해야 된다는 의미에요.aws 이기 때문에 기본적으로 라우팅 테이블도 봐야 하고 시큐리티 그룹도 확인해야합니다.

안녕리라하세요 · Answer

네 인스타그램말고 다른 url를 타면 ex)네이버, 디시인사이드 접근이 됩니다 서버 접속에는 문제가 없는것으로 생각 됩니다 ! 서버에서 다른 크롤링도 잘 돌아갑니다. 답변 감사합니다

인스타그램 크롤링 aws 서버에 올리신 분 있나요???

2개의 답변

#instagram 목록