크롤링은 자바론 거의 안쓰나요

Question

안녕하세요자바 반년 정도 배우고 사이드플젝에서 크롤링 관련 기능을 맡게 되었습니다구현하려는 기능은 다음과 같습니다GitHub API를 사용하면 (api.github.com/~~~)"aaa" 키워드와 관련된 레포지토리 목록이 가져와집니다넉넉하게 30000개 정도..그다음 각 레포지토리마다 리드미에npx 설치 스크립트(?) 명령어가 담긴 json 데이터들을 가져오려고 합니다github api 로 첫번째 두번째 기능을 다 구현하려고 했는데두번째에선 크롤링을 사용해야 할 것 같습니다(아님 혹시 크롤링 없이도 구현 가능할지도 궁금합니다)크롤링에선 셀레니움이랑 같이 파이썬을 주로 사용한다더라구요. (대용량 데이터 처리에선 가볍고 빠른 파이썬)근데 자바만 배워왔고 api 서버까지 이번엔 제대로 해볼려고 해서 되도록이면 자바를 사용하고 싶은데자바에서 크롤링을 할수있는 방법이 궁금합니다. 또 자바에선 안쓰는 이유가 무거워서 뿐인건지.. 아님 다른 이유라도 있을까요?성능상으론 큰 차이가 없다면 굳이 러닝커브가 낮은(?) 파이썬+셀레니움 으로 선택할 이유가 없다고 생각하는데 자바+셀레니움은 많이 별론가요아님 크롤링 방법 말고 리드미 파일만 긁어서 npx 키워드 조회할 수 있는 방법이 자바로는 어떤게 있을지 궁금합니다=======================https://docs.github.com/ko/rest/repos/contents?apiVersion=2022-11-28#get-a-repository-readmeGitHub API 에서도 README 긁어오는게 있었네요......!!그렇다면 고민이 크롤링하는거까진 필요없을꺼같은데이 정도는 파이썬에서 처리하나 자바에서 처리하나 상관없을까요....???

cpnine · Accepted Answer

예전에 크롤링 대량 데이터 긁어서 마케팅 자동화 웹페이지 만들었던 적이 있는데주언어가 파이썬이 아니기도 했고, 제한된 서버환경(온프레미스)이라 부하분산겸 그냥 크롤링용 서버 하나 따로 구축해서 클러스터링하여 사용했었습니다.비동기 처리해서 더 효율적으로 처리하게 했었던 것 같네요.

개이득인개발 · Answer

자바도 씁니다. 지금은 모르겠는데 제가 몇 년 전에 할 때는 jsoup이랑 셀레니움 쓴거같습니다.

초보개발자111 · Answer

파이썬이 훠어어어어얼 간단해요

크롤링은 자바론 거의 안쓰나요

3개의 답변

기술 목록