OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
scraping
전체
최신순
질문하기
답변
1
JungPlusJung
·
약 2년
617
1
답변 1
개발자님들 질문이 있습니다.
제가 visual studio 2019로 C# 스크래핑 툴을 개발중인데 외부 라이브러리 없이 자체적인 엔진을 사용하는걸 목표로 개발중입니다. 홈택스 같은 곳 들어가서 로그인 후 전자세금계산서 데이터 긁어오기를 기능으로 정했습니다. 지금까지 스크래핑 라이브러리들을 사용, 분석한 결과 스크래핑 엔진에는 3가지의 방법이 있더군요. 1. 직접적인 서버 통신 기반: 아는 회사가 개발한 스크래핑 툴이 이렇게 개발했다고 합니다. javascript를 사용하여
답변
1
minig0lem
·
약 2년
791
0
답변 1
레츠코레일 열차 예매 정보 크롤링 불법인가요?
안녕하세요.openAPI를 호출해서 정보를 다루는 개인 공부 중에 열차 시간표를 불러와서 잔여 좌석 수를 가지고 저만의 기준으로 분류해서 보여주는 개인 프로젝트 중 활용하고 싶은데공공데이터로는 예매 정보를 가져올 수 없어서 스크래핑을 통해 가져오려고 하는데 레츠코레일 홈페이지에 저작권 정책에 뭔가 애매하게 명시돼 있고코레일에 문의해 본 결과 학업과제물 등 특별히 정한 행위를 요구하는 사항은 아예 문의를 취하한다고 하더라구요..제가 아직 잘 몰라서 혹시
답변
1
안두진
·
거의 3년
290
0
답변 1
<intellij> import오류
기존 이클립스 프로젝트를 인텔리제이로 열었는데 import오류가 나는데 문제가 뭘까요.. 그리고 처음보는 거라 더 어려워요..
답변
0
gsw_crawle
·
약 3년
221
0
답변 0
python 네이버 쇼핑 scraping
지금 python selenium 으로 네이버 쇼핑 댓글 scraping 하고 있는데, 각 페이지 20개의 댓글 을 성공적으로 scraping 하다가 11번째 페이지 까지 scraping 성공 했는데 이제 12번째 부터 없는 댓글을 출력 하고 있는데 너무 안 풀려서 여기 몰려 봅니다. 혹시 이유가 뭐일까요?
답변
1
gsw_crawle
·
약 3년
307
0
답변 1
python invalid literal for int() with base 10: '1,032'
지금 네이보 쇼핑에서 댓글 scraping 하려고 네이버 쇼핑 링트 들어가서 쇼핑몰리뷰 '1032' 에서 '1032' 를 추루 하려고 하는데 문제는 이거를 추룰 해서 디버기 위해 print 하려고 하는 순간 ValueError: invalid literal for int() with base 10: '1,032' 에러가 뜨는데 이런 에러가 일어나는 이유가 뭐죠?
답변
1
토재웅
·
약 3년
476
0
답변 1
[Selenium] 네이버 지도 스크래핑 문제...
안녕하세요?? 선배님들 !! 저는 파이썬 셀레니움을 이용해서 네이버 지도의 내용??(음식점의 메뉴들...) 을 스크래핑하려고 합니다. !! 그런데, 네이버에서 스크래핑 못하게 막아놓은거 같아서요 ㅠㅠ.... 이렇게 저는 음식점마다 메뉴들을 스크래핑 하고 싶은데 ㅠㅠ;;; 네이버가 저렇게 하나로 뭉뜽그려놔서... 요소를 선택할 수 가 없더라구요? 이런경우 어떻게 해야할까요?? 아니면, 네이버 지도 정보를 스크래핑하는것은 불가능 할까요??
답변
1
토재웅
·
약 3년
394
0
답변 1
[스크래핑] 셀레니움으로 ChatGPT 접근??
안녕하세요?? 선배님들. 궁금한점 여쭤보려고 합니다. 회사 업무상 ChatGPT 답변을 selenium(동적 스크래핑 라이브러리)으로 스크래핑 하려고 하는데요?? 그런데, 다음 사진의 화면이 뜨면서 ChatGPT에 접근이 안되더라구요?? ㅠㅠ 버튼을 눌러도 다시 뜨고;;;; 구글링 해도, ChatGPT를 스크래핑하는 정보, 지식도 없더라구요;; ChatGPT는 스크래핑을 할 수 없는건가요??
답변
0
gsw_crawle
·
3년 이상
343
0
답변 0
네이버_쇼핑_리뷰_스크래핑_python
지금 네이버 쇼핑에서 쇼핑몰 리뷰 전부 scraping 하는 코드를 짜고 있는데,문제는 각 페이지에 20개의 리뷰가 있는데 첫 20개의 리뷰는 scraping 하고 나서 다음 페이지에 있는 리뷰를 스크래핑 하려고 하는데 여기서 어떻게 조건문을 써야 다음페이지를 클릭하면서 넘아 갈수 있는지 감이 안잡힙니다.
답변
0
gsw_crawle
·
3년 이상
424
0
답변 0
python can't instantiate abstract class Service with abstract method command_line_args
지금 python 으로 네이버 쇼핑 댓글 scraping 해보고 있는데 driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))부분에서 자꾸Can't instantiate abstract class Service with abstract method command_line_args에러 뜨는데 이유 아
답변
2
gsw_crawle
·
3년 이상
392
0
답변 2
python string 에서 숫자만 추출 하는 방법
지금 파이썬으로 평점을 scraping 하는 함수를 구현 하고 있는데, scraping 이 되고 있기는 한데 문제는 현재 나오는 문자열이 평점 + 숫사 인데 이 뒤에 있는 숫자 만 따로 저정하는 방법이 있을까요? 알고 있으면 도와주세요
답변
1
gsw_crawle
·
3년 이상
1.0k
0
답변 1
파이썬 str object not callable
지금 파이썬으로 str object not callable 이 언제 나오는 에러 인가요? 지금 파이썬으로 네이버 쇼핑 리뷰 코멘트 scraping 하고 있는데 test 로 별점을 출력 하려는데 어떤 이유로 이런 에러가 나오는지 모르겠어요 아시는분 있으면 밑에 답장 부탁 할게요
답변
2
gsw_crawle
·
3년 이상
266
0
답변 2
selenium scraping
지금 네이버 쇼핑 댓글 scraping 하고 있는데 정확히 있는 리뷰의 숫자를 scraping 해야 하는데 그 정확한 숫자를 어떻게 가져 오는 방법은 없나요?
답변
0
gsw_crawle
·
3년 이상
212
0
답변 0
파이썬 requests.get vs webdriver.get
혹시 파이썬에서 requests.get 하고 selenium.wendrover.get 차이가 있나요 있으면 어떤 차이가 있나요?
답변
0
gsw_crawle
·
3년 이상
194
0
답변 0
파이썬 selenium 으로 클릭한 버튼 의 표시된 무자 출력 방법
지금 네이버 쇼핑 사이트 들어가서 그 상품 쇼핑몰 리뷰를 긁어와서 scraping 하려고 하는데 일단 클릭 까지는 가능한데 문제는 클릭하고 나서 각 리뷰 긁어 오는게 안되서 일단 쇼핑몰 리뷰 숫자 부터 출력 하려 하고 있는데 그 버튼 안의 숫자를 출력 하는 방법 아시는분 있나요? 있으면 알려주세요.현재까지 작성한 코드는 아래와 같습니다.'''from selenium import webdri
답변
0
gsw_crawle
·
3년 이상
188
0
답변 0
파이썬 selenium 으로 클릭한 버튼 의 표시된 무자 출력 방법
지금 네이버 쇼핑 사이트 들어가서 그 상품 쇼핑몰 리뷰를 긁어와서 scraping 하려고 하는데 일단 클릭 까지는 가능한데 문제는 클릭하고 나서 각 리뷰 긁어 오는게 안되서 일단 쇼핑몰 리뷰 숫자 부터 출력 하려 하고 있는데 그 버튼 안의 숫자를 출력 하는 방법 아시는분 있나요? 있으면 알려주세요.현재까지 작성한 코드는 아래와 같습니다.'''from selenium import webdri
답변
1
gsw_crawle
·
3년 이상
209
0
답변 1
파이썬 selenium 으로 클릭한 버튼 의 표시된 무자 출력 방법
지금 네이버 쇼핑 사이트 들어가서 그 상품 쇼핑몰 리뷰를 긁어와서 scraping 하려고 하는데 일단 클릭 까지는 가능한데 문제는 클릭하고 나서 각 리뷰 긁어 오는게 안되서 일단 쇼핑몰 리뷰 숫자 부터 출력 하려 하고 있는데 그 버튼 안의 숫자를 출력 하는 방법 아시는분 있나요? 있으면 알려주세요.현재까지 작성한 코드는 아래와 같습니다. {from selenium import webdriverb
답변
1
gsw_crawle
·
3년 이상
190
0
답변 1
파이썬 selenium 으로 클릭한 버튼 의 표시된 무자 출력 방법
지금 네이버 쇼핑 사이트 들어가서 그 상품 쇼핑몰 리뷰를 긁어와서 scraping 하려고 하는데 일단 클릭 까지는 가능한데 문제는 클릭하고 나서 각 리뷰 긁어 오는게 안되서 일단 쇼핑몰 리뷰 숫자 부터 출력 하려 하고 있는데 그 버튼 안의 숫자를 출력 하는 방법 아시는분 있나요? 있으면 알려주세요
해결
3
hawaii
·
3년 이상
740
0
해결 3
[질문] 크롤링 & 스크래핑 / DOM구조 / 대안
안녕하세요. 파이썬 주니어 백엔드 개발자입니다. 거두 절미하고 본론 들어갈게요. 1. 결론 : 1) 크롤링 및 스크래핑 앱을 만들고자 함. 2) "'웹 크롤러' 좀 그만 만들어라" 라는 글을 보고 먼가 지속 가능한 스크래핑 앱을 만들고 싶다는 생각이 듬. 3) 지속가능한 크롤러 앱을 만들고 싶음 3.1) DOM 구조
답변
0
gsw_crawle
·
3년 이상
299
0
답변 0
element_not_interactable
지금 python selenium 으로 naver 쇼핑몰 정부 scraping 시도 하고 있는제 문제는 지금 review_tab = driver.find_element(By.XPATH,ns_shopping_review_tab_xpath)review_tab.click()이부분에서 element not interactable 문제가 나오는데 이게 이 element 가 안보여서 나오는 문제 인가요?
답변
0
gsw_crawle
·
3년 이상
132
0
답변 0
selenium visisble click
지금 selenium 에서 네이버 쇼핑몰 리뷰 scraping 하려고 하는데 문제는 지금 element 에서 EC.presence_of_element_located((By.XPATH, ns_shopping_review_tab_xpath)) 에서 엘레먼트 의 존재 자체는 확인이 가능한데 문제는 가지 자신을 클릭 하게 하는 방업 없는것같은데 이럴때 클릭 하게 하는 방법이 뭐가 있는지 좀 알려 줄수있나요?
이전
1
2
다음
Search Bar
