크롤링 관련 셀레니움, jsoup 중 어떤 것을?

Question

안녕하세요스프링 부트와 자바 환경에서오픈 api 는 없지만 공적으로 자유롭게 사용할 수 있는 데이터들을크롤링 하여 데이터를 뿌려주려고 합니다이때 크롤링한 전체 데이터중 셀렉트 박스로 하여금 검색하면 또 그 조건에 따른 데이터가 나오게 하려면셀레니움, jsoup 중 어떤 것을 쓰면 좋을까요?또, 이 방식으로 개발하려고 하는데 어려운 부분이 있을지요?..크롤링은 처음이라 여쭤보고 싶습니다ㅜ

언리얼 · Answer

셀레니움은 크롤링이 불가능 할 때 쓰는 최후의 수단이예요

캐티 · Answer

시꺼먼 개발을 하는 것이지 않나요. 또는 준꺼먼 개발 .. 데이터의 출처가 어디어디 .. 원래는 타겟의 restapi를 훔쳐서 쓴다. 동적 페이지에 정규식을 걸어서 훔쳐서 쓴다. 타겟에 실시간 통신이 걸려 있다면 웹앱, 웹봇을 개발하여 폼을 읽어서 훔쳐서 쓴다. 데이터를 훔쳐서 쓰는 것이어요.사실 뭐 슬쩍 하기 쉬운 것이라 관련 블로그도 많고 심지어 네이버 .. 어쨋든 분류를 추가하려면 캐싱을 하는 편이 좋겠고 데이터베이스를 써야 하지 않겠나요.사람인 잡코리아 여기어때 야놀자 크롤링 .. 어뷰징아 .. 참 좋은 것을 가르쳐준다 .. ㅠ

김을동 · Answer

제이숲은 서버사이드 랜더링 된건 읽지 못합니다. 이럴땐 셀레니움 써야해요.보통 두개 다 쓰고 페이지랜더링 상태에 맞게 골라서 씁니다

개이득인개발 · Answer

element wait가 필요한경우는 셀레니움 쓰시면되고, 그냥 셀레니움 쓰면됩니다 편해서요

YYDG · Answer

저도 js 동적 컨텐츠 조회할때만 셀레니움씁니다 속도도 차이나고 셀레니움은 브라우저가 필요해요

크롤링 관련 셀레니움, jsoup 중 어떤 것을?

5개의 답변

기술 목록