OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
crawler
전체
최신순
질문하기
답변
1
무속성
·
거의 3년
212
0
답변 1
pdf 다운로드 크롤러 관련 질문드립니다.
안녕하세요. 인터넷등기소에서 법인등기를 pdf로 다운받아 저장하는 크롤러를 만드려고 합니다. pdf 다운시 윈도우 시스템창이 뜨는데 node로 이걸 제어할 수 있는 방법이 있을까요? 다운로드만 가능하다면 다른 프레임워크/언어도 상관은 없습니다. 고견 부탁드립니다. 감사합니다.
답변
1
롤마렵다
·
5년 이상
446
0
답변 1
크롤러를 만들어 보려고 하는데 어디가 잘못된걸까요,,
from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byfrom selenium.common.exceptions
해결
4
MECH2CS
·
5년 이상
2.1k
0
해결 4
크롤링이 막히는 이유(robots txt)
크롤링을 공부 중입니다.robots txt를 준수하면서 크롤링을 하기 위해 30초~1분이 넘는 대기 시간을 테스트 해봤는데도 reCAPTCHA가 나오고 크롤링이 더 이상 진행되지가 않는 경우가 많습니다.미국의 대형 쇼핑몰 walmart나 amazon을 크롤링 할 때도 같은 증상이 발생하는데, 원인이 너무 궁금합니다.추측은, robots txt
해결
4
hamgo
·
5년 이상
724
0
해결 4
웹크롤러 도움 주실분..
안녕하세요.웹크롤링이 잘 안되어서 고민하다 문의드립니다.크롤링하려고하는건 law.go.kr의 개인정보보호법입니다.html을 파싱해야하는데, 원하는부분의 HTML코드를 계속 못읽더라구요.. 원인을 모르겠습니다 ㅠㅠ먼저 크롬 개발자도구로 본 문제의 부분은 아래와 같습니다.co
답변
1
김동환
·
7년 이상
2.3k
0
답변 1
400 Bad requests 오류 해결..ㅠㅠ
안녕하세요 고수님들 저는 17살의 갓 고등학생이 된 학생입니다. 다름이 아닌 제가 진행하는 프로젝트 중 크롤러를 만들어야 되는데 계속 400 Bad requests 오류가 발생하여 멘탈에 무리가 가고 있습니다. 그 두번째 함수인 request_until_suceed에서 오류가 발생하는 것 같습니다.어떻게하면 해결할 수 있을
답변
0
jjunest
·
거의 11년
1.1k
0
답변 0
httpurlconnection에서 자동로그인 프로그램..
웹크롤러를 사용하고자 하는데, 로그인이 필요한 공간이 있더라고요 http를 지금 시작해서, 그렇다면, 서버의 헤더에 필요한 정보를 보내야 하는데, 제가 생각하기에는, "웹브라우저로 로그인을 해보고" "웹브라우져에서 로그인할때 서버한테 보내는 http 명령어들을 java코드로 구성을 해서, 자동로그인 프로그램"을 만들어야 할것 같은데! 문제는 웹
답변
0
jjunest
·
거의 11년
1.3k
0
답변 0
자바 오픈 크롤러 어떻게 사용하나요?
자바로된 오픈소스 크롤러들 어떻게 사용하나요? ㅠㅠ 너무 어려워요 쉽게 설치하고 사용하는 웹 크롤러 없나요...특정 사이트를 들어가서 해당 정보를 받아오고 싶은데
Search Bar
