OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
crawling
전체
최신순
질문하기
답변
1
minig0lem
·
약 2년
791
0
답변 1
레츠코레일 열차 예매 정보 크롤링 불법인가요?
안녕하세요.openAPI를 호출해서 정보를 다루는 개인 공부 중에 열차 시간표를 불러와서 잔여 좌석 수를 가지고 저만의 기준으로 분류해서 보여주는 개인 프로젝트 중 활용하고 싶은데공공데이터로는 예매 정보를 가져올 수 없어서 스크래핑을 통해 가져오려고 하는데 레츠코레일 홈페이지에 저작권 정책에 뭔가 애매하게 명시돼 있고코레일에 문의해 본 결과 학업과제물 등 특별히 정한 행위를 요구하는 사항은 아예 문의를 취하한다고 하더라구요..제가 아직 잘 몰라서 혹시
답변
1
허울러
·
2년 이상
335
0
답변 1
selenium 드라이버 에러
드라이버 에러인데 버전에 맞는 드라이버를 설치해서 넣어줬는데 오류가 자꾸뜨네요 경로 오류인가요??? 어디서 잘못된건지 못찾겠습니다 ㅠㅠ 해결방법좀 알려주세요... public static void main(String[] args) { System.setProperty("webdriver.chrome.driver", "./chromedriver"); // 리눅스, 맥 ChromeOptions options = new
답변
1
허울러
·
2년 이상
400
0
답변 1
selenium Driver 설치 자동화 오류 원인을 모르겠습니다 ㅠ
이유아시는분 댓글 부탁드려요... 뒤져봐도 원인을 잘 못찾겠네요 ㅠㅠ import io.github.bonigarcia.wdm.WebDriverManager; import org.openqa.selenium.WebDriver; import org.openqa.selenium.chrome.ChromeDriver; public class test { public static void main(String[] args) { WebD
답변
2
공룡알네개
·
2년 이상
322
0
답변 2
크롤링으로 가져오는 데이터가 다름
크롤링 시도중에 있는데 jsoup 사용 해당 페이지 데이터가 ABCD 이런 데이터가 나오는데 제가 크롤링을 통해 데이터를 뽑으면 AEFG 이렇게 같은데이터도있고 다른데이터도 있던데 왜 이런건가요? 그 페이지에 대한 데이터를 가져오는게 아닌가요?
답변
1
정택원
·
2년 이상
392
0
답변 1
웹 크롤러 robots.txt 질문
안녕하세요 웹 크롤링을 통해 어플리케이션을 제작하려고 합니다. 해당 url의 robots.txt가 아래와 같습니다. User-agent: * Disallow: Disallow에 /(루트)가 없는데, 이건 모든 크롤링이 가능하다는 뜻인가요?GPT여러개에 물어봤는데, 모두 크롤링이 가능하다고 하는데, 정확한지 여쭈어보고 싶습니다. 감사합니다.
답변
2
Sungwon Min
·
거의 3년
422
0
답변 2
Selenium으로 Kcar 크롤링 질문 드립니다.
안녕하세요? Web crawling을 개인적으로 공부하고 있는데, 최근 관심사인 중고차 매물을 자동으로 탐색하는 Kcar web crawling을 시도하고 있습니다. 현재 Page를 넘어가는 기능 구현에 막혀있는데, 조언 부탁드립니다. Kcar의 페이지 전환 코드는, 아래와 같이 단순 list로 되어 있습니다. 네이버 쇼핑같은 경우 페이지 목록에 href 링크가 걸려있고, xpath로 요소를 선택한 다음, send_keys('\n')
해결
2
전준영
·
거의 3년
695
0
해결 2
쿠팡 크롤링 header 추가 오류
안녕하세요. 쿠팡 크롤링을 하고 있는데 프로그램을 실행시키면 실행이 안되고 무한 로딩이 되어 질문 글을 쓰고 있습니다. 아래의 코드를 보면 일반적인 headers 값을 추가했는데도 불구하고 실행이 안되어 뒤에 다른 옵션을 더 넣었습니다. 그러니 맨 처음은 실행이 되었는데 다음부터는 다시 막히네요. 더 추가할게 있을까요? 감사합니다. import requests from bs4 import BeautifulSoup import re url =
답변
0
sooooo
·
거의 3년
633
0
답변 0
Airflow selenium (크롤링 질문)
안녕하세요. 혼자 airflow로 크롤링 코드를 관리해보려고 하다가 생긴 문제입니다. Airflow의 하나의 task로 PythonOperator를 사용하고 있습니다. 해당 파이썬 코드안에는 selenium을 사용한 코드가 작성되어 있습니다. driver = webdriver.Chrome() while True: .... 크롤링 코드 if 페이지가 더이상 존재하지 않는다면: driver.quit() break 크롤링된
답변
1
코코넛나무
·
약 3년
4.1k
0
답변 1
간단한 셀레니움 질문입니다
selenium을 이용해 구글 크롬에서 이미지를 크롤링하는 프로그램입니다. 어떤 이미지를 찾을 건지 키워드를 물어보고 총 몇장을 크롤링 할건지 물어본 다음 자동으로 크롤링해주는 코드인데 어떤 부분에서 문제가 발생한건지 잘 모르겠네요 의심가는 부분은 현재 크롬 버전은 114.0.5735.134 (64비트) 이고 chromedriver 버전은 제일 최신 버전인 114.0.5735.90 이라서 그런건지 잘 모르겠네요 두 번째 의심가는 부분은 셀레니움이 4.
답변
1
도로로
·
약 3년
886
0
답변 1
java spring 인스타그램 크롤링? api? 질문 드립니다.
java spring 웹 프로그램 개발 중 특정 계정의 게시물이 아닌 해시 태그나 검색조건 등의 인스타그램 데이터를 가져오고 싶은데요.. 열심히 찾아봤지만 갈피를 못잡는 중입니다. 조언 부탁드릴게요..
답변
0
helpme2
·
3년 이상
383
0
답변 0
airflow, bs4, selenium
airflow에서 웹크롤링으로 시간대별 뉴스기사 정보를 가져오려고 합니다.근데 파이썬에서는 bs4, selenium 다 인식하고 동작도 하는데 에어플로우 UI에서 ModuleNotFoundError: No module named 'selenium'이런 에러가 발생합니다. bs4도 똑같구요.따로 설치해야 할 것이 있나요? 아니면 원래 airflow에서는 사용 불가한가요??
답변
0
uauo
·
3년 이상
356
0
답변 0
elastic beanstalk 통한 웹사이트 배포시 크롤링 부분 관련(internal server error)
python flask를 통해 웹사이트를 배포하려고 합니다.일반적인 html 기반 소개 웹사이트에 간략한 정보를 입력하면 크롤링을 통해 관련정보를 제공해주는 방식입니다.일단 압축하여 업로
답변
0
농부개발자
·
3년 이상
344
0
답변 0
셀레니움 크롤링 과정 중 강제 종료시 서버 다운 문제
ubuntu 서버에서 사용 중인 프로젝트가 하나 있었습니다.그런데 친구에게 시험 좀 해보는 과정에서 바로 다운 되었는데, 크롤링 하는데 거의 5~10초 정도 소요되는 과정에서 재실행이나, 강제 종료를 한 것으로 보입니다.오류 상황은 이렇고, 제가 질문 드리는 것을 말씀 드리겠습니다.질문Celenium 강제종료 관련한 구글링이 설정 미스로 인한 초기
답변
0
열시십사분
·
3년 이상
264
0
답변 0
beautiful soup으로 가져온 html에서 특정 단어를 포함하는 태그를 가져올 수 있을까요? (+네이버 메일 본문 크롤링)
인턴중인 코린이입니다.회사의 네이버 웍스 메일을 크롤링하라는 업무가 주어졌는데요, 제목, 발신자 등 정보는 class나 id가 명확히 지정되어있어 쉽게 크롤링 했는데 본문 크롤링 하는 데에서 막혔습니다.저 부분에 해당하는 내용을 가져오고싶은데 TRANSLATE_BODY_
답변
4
올림픽대로
·
3년 이상
1.8k
1
답변 4
크롤링 자동화, 프론트에서 db 업데이트 감지하려면 어떤 방법이 있을까요?
안녕하세요 친구랑 사이드 프로젝트를 진행 하고있는 프론트 개발자입니다.다름이 아니라 이제 마지막 단계에서 정말 검색 키워드 조차 생각이 나질 않아서 질문 드리려고 오랜만에 왔네요우선 지금 서비스는 간단하게 말씀드리면db는 mysql이고 py로 네이버 주식정보를 크롤링해와서 db에 넣어주고 있습니다.프론트는 next.js로 만들었고 prisma를 통해 db
해결
3
hawaii
·
3년 이상
740
0
해결 3
[질문] 크롤링 & 스크래핑 / DOM구조 / 대안
안녕하세요. 파이썬 주니어 백엔드 개발자입니다. 거두 절미하고 본론 들어갈게요. 1. 결론 : 1) 크롤링 및 스크래핑 앱을 만들고자 함. 2) "'웹 크롤러' 좀 그만 만들어라" 라는 글을 보고 먼가 지속 가능한 스크래핑 앱을 만들고 싶다는 생각이 듬. 3) 지속가능한 크롤러 앱을 만들고 싶음 3.1) DOM 구조
해결
2
솔트솔트
·
3년 이상
620
0
해결 2
프로젝트에 크롤링 기술 썼다고 해도될까요?
제가 팀프로젝트에 크롤링 기술을 썼습니다.그냥 원하는 단어만 크롤링하는거라 다른 사람이 쓴 단어를 크롤링했는데이게 잘못하면 불법이 될 수도 있다길래요ㅜㅜ겁나서 제 블로그에 글 올려놓고 제 블로그 주소를 크롤링하는 방식으로 바꿨는데내 블로그 글 주소를 크롤링 했다 -> 너무 없어보이지 않나요..? 자기 블로그 주소 크롤링은 말그대로 데이터 가져오기만 하면
답변
0
Psyduckk
·
3년 이상
236
0
답변 0
selenium import 문제..
안녕하세요.이클립스로 크롤링 돌리려고 셀레니움 server도 설치하고 크롬드라이버도 경로 설정해줬는데요집에서는 되는데 학원 컴퓨터에서 import가 되지 않아서요..자바는 zulu jdk 11이구요. pom에 자바 버전 11이랑 플로그인에도 11로 설정해줬어요. 집에 컴퓨터도 jdk11인데.. 학원컴만 왜 안되는지 모르겠네요 ㅠ img alt="" src="https:/
답변
1
gsw_crawle
·
3년 이상
223
0
답변 1
selenium xpath
지금 chrome 에서 xpath 실험 해보고 있는데 var document = document.evaluate('/html/body/div/div/div[2]/div[2]/div[2]/div[3]/div[2]/div/div[2]/ul/li[3]/a',document,null,XPathResult)undefined이런 undefined 가 결과
답변
3
gsw_crawle
·
3년 이상
763
0
답변 3
selenium xpath unable to locate such element
지금 파이썬 selenium 으로 쇼핑몰 댓글 크롤링 중인데 no such element: Unable to locate element: {"method":"xpath","selector":"/html/body/div/div/div[2]/div[2]/div[2]/div[3]/div[6]/ul/li[2]"} 이런 에러가 뜨는데 근원적으로 이 xpath chrome developer cons
이전
1
2
3
4
5
6
다음
Search Bar
