OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
requests
전체
최신순
질문하기
답변
5
unitoew
·
1년 이상
601
0
답변 5
크롤링 관련 질문입니다
크롤링을 연습하면서 개발자도구를 활용한 네트워크 분석을 통해 글을 작성하는 과정을 curl_cffi를 통해 자동화하려고 했습니다. 하지만 마지막 post요청을 보낼 때 curl_cffi을 통해 tls지문을 설정하고 헤더, 데이터를 네트워크 탭에서 보낸 것과 똑같이 보냈는데도 차단이 되고 있습니다. 사이트로 보내는 post 요청이 총 2개이고 그중 나머지 1개는 요청에 대한 응답이 잘 왔던 것으로 보아 사용자 행동 데이터를 사이트로 보내는 것 같지는 않
답변
4
구글플레이
·
2년 이상
249
0
답변 4
크롤링 공부하는데 도움 부탁드려요
body 부분을 전혀 못 가져오는데 왜 그럴까요? 이런 저런 사이트 다 시도해봐도 결과가 같습니다. 조언 좀 부탁드려요. 코드 결과물
답변
1
사이버폴리스
·
약 3년
243
0
답변 1
Python 크롤링 질문
크롤링을 공부하다 막히는 부분이 있어 질문합니다. 파이썬 requests 라이브러리를 사용하여 특정 페이지에 접속하고 그 페이지에 테이블 안에 있는 데이터를 크롤링 하려고 합니다. 이때, 메뉴에서 혹은 주소를 입력해 접속하면 get 메소드로 접속이 되고 특정 검색 조건을 설정 후 검색하면 url 주소는 같지만 post 메소드로 접속이 됩니다. 저는 이 페이지에 requests.get(url) requests.post(url, data=payl
답변
3
gsw_crawle
·
약 3년
357
0
답변 3
list index out of range error
지금 python 으로 네이버 쇼핑 댓글 전주 다 scraping 하려고 하는데 list index: out of range error 가 뜨는데 보통 어떨때 이런 에러가 뜨나요?
답변
2
sealion
·
약 3년
290
0
답변 2
파이썬 프로그램으로 웹 페이지 요소와 상호작용
가령 웹페이지에 접속하고 로그인 과정처럼 input에 값을 채우고 버튼을 클릭하는 작업을 자동화하고자 하는 경우, 파이썬을 사용한다면 selenium을 사용할 수 있을 것 같습니다. 그런데 selenium을 사용하면 브라우저 드라이버를 통해 직접 브라우저를 제어해야 하는데, 브라우저를 사용하지 않고 파이썬 프로그램 자체에서 만들어진 세션 안에서 웹페이지의 html요소와 상호작용할 수 있는 방법이 있을까요?
답변
1
chlccc
·
약 3년
377
0
답변 1
크롤링 전문가님 도와주세요 로봇감지ㅜㅜ 기프티콘드림
뭔가 지금 지식이 부족합니다.. 제 바로 전글 보면 상황설명이 대충 있는데 덫붙여서 다시 설명드리자면 로그인하는 과정이 1 2 3 4 가 있다고 하면 포스트맨, 파이썬 requests, 혹은 그냥 브라우저 시크릿모드에 피들러켠상태로 시도 이런 경우에는 123까지되고 4에서 막힙니다. 사이트 보안 개편전에는 그낭 1234 까지됐었는데요. 제가 분석해 본 결과 몇가지 방법으로 체크를 하는거 같아요 데이터독?라이브러리 cf뭐시기쓰는 라이브러리 구글에널리스틱
답변
1
gsw_crawle
·
3년 이상
1.1k
0
답변 1
파이썬 str object not callable
지금 파이썬으로 str object not callable 이 언제 나오는 에러 인가요? 지금 파이썬으로 네이버 쇼핑 리뷰 코멘트 scraping 하고 있는데 test 로 별점을 출력 하려는데 어떤 이유로 이런 에러가 나오는지 모르겠어요 아시는분 있으면 밑에 답장 부탁 할게요
답변
2
오태석
·
3년 이상
289
0
답변 2
requests.Session().request() 응답하기까지 15분이 소요됩니다
제가 짜놓은 코드를 요약해서 보여드리면 이런 형태입니다httpClient=requests.Session()retry = Retry(connect=2, backoff_factor=0.2)adapter = HTTPAdapter(max_retries=
답변
4
gsw_crawle
·
거의 4년
466
0
답변 4
이마트_ssg_코멘트_크롤링
혹시 여기서 이마트, ssg 상품에대해서 리뷰 같은거 크롤링 하신분 있나요? 있으면 댓글로 github 이나 링크 같은거좀 남겨주새요 브탁합니다
답변
3
Gnyii
·
약 4년
1.4k
0
답변 3
파이썬 requests 403뜨는 이유가 뭔가요 ..ㅠㅠㅠ
다른 웹사이트인 네이버나 등등 여러가지 웹사이트는 잘 됩니다... 근데 저는 이 사이트의 데이터를 json파일로 가져오고싶어서 이렇게 했는데 계속 403 에러가 뜹니다...import requestsurl = 'https://api.nftgo.io/api/v1/whales/data/list/topSales?timeRank=1h&acti
답변
3
코딩범범
·
5년 이상
5.4k
0
답변 3
파이썬 크롤링시 SSL에러 질문드립니다.
안녕하세요 초보개발자입니다.현재 네이버 쇼핑에서 requests 라이브러리로 크롤링하여 상품을 긁어오는크롤링 연습을 하고있는데요.계속 아래와 같은 오류가 발생합니다.requests.exceptions.SSLError: HTTPSConnectionPool(host='shopping.naver.com', port=443): Max retries exc
답변
1
peppermintaddict
·
5년 이상
561
0
답변 1
웹 크롤링 질문이염
안녕하세요, 파이썬으로 웹 크롤링을 하려는데 잘 안 되네여 ㅠㅠhttp://luris.molit.go.kr/web/index.jsp 이 사이트 크롤링을 하려고 하고 있는데여, html은 까막눈이라 처음에 requests로 해볼려고 했다가 포기하고 selenium으로는 되긴 되는데 너무 오래 걸려요... 테스트로 10개 해봤는데 1분 넘게 걸렸거든요 ㅠ 총 몇십만개는 해야 돼서요 ㅠㅠ 어떻게 더 빨리 하는 방법이
답변
0
ddangeo
·
5년 이상
405
0
답변 0
[파이썬] session과 requests.get()
작업 중에 여러 key값들을 읽어들여 rest api 요청을 통해 데이터를 추출해내는 일을 하고 있습니다.좀 더 구체적으로, 요청하는 url은 동일한데 끝에 key값만 다른 것입니다.처음엔 파이썬의 requests.get()으로 했었는데 좀 느린 것 같아서with requests.Session() as session 구문을 사용하는 것으로 코드를 바꾸었는데 좀 더 빠른 것 같더라구요?이유가 뭘까요?
답변
0
젼ㄴ
·
6년 이상
734
0
답변 0
크롤링 도중 세션 만료
웹사이트 크롤링 코드 짜는 중인데 이 사이트가 2시간이 넘으면 실행중이어도 자동으로 로그아웃이 되더라구요해결방안같은거 있을까요?또 아래 코드가 이 사이트 쿠키 설정부분같은데, 혹시 표시된 부분 해석 가능하신지ㅎㅎㅎvar config = $.cookie = function (key, value, options) {span style="white-s
해결
3
젼ㄴ
·
6년 이상
3.0k
0
해결 3
requests encoding 한글깨짐
request 보내가지고 결과값 인코딩 하면 자꾸 한글이 깨집니다. 도와주세요!res = requests.post(span styl
답변
0
젼ㄴ
·
6년 이상
825
0
답변 0
크롤링 openssl.ssl.error
request post방식으로 정보를 보내서 페이지에서 응답받은거 읽어오는 코드 짜고있는데OpenSSL.SSL.Error: [('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')]ope
답변
0
젼ㄴ
·
6년 이상
565
0
답변 0
python requests 크롤링
안녕하세요!requests post 방식을 써가지고 response를 가져오는 코드를 작성중인데이 페이지가 아래 사진같아서 그런지 계속 허가받지 않은 접근이라고 나오네요ㅠㅠㅠ pre style="background-color:#141414;color:
해결
1
초보1인개발자
·
6년 이상
624
0
해결 1
왜 함수가 동시에 실행되지를 않는걸까요?
def startdown(): import os from multiprocessing import Process try: os.mkdir("./tmp", ) except: pass down1=Process(target=download1()) dow
답변
3
낮은마음으로
·
거의 7년
3.5k
0
답변 3
(Python) requests.get() 속도 관련 질문입니다.
이미지를 순회하며 저장하는 프로그램입니다.프로그램이 다 좋은데 저 주석표시된 부분(requests.get())에서 한번씩 멈칫 하고 가네요.뭔가 저 시간을 단축시킬 수 있는 방법 없을까요?인터넷문제나 컴퓨터 사양 때문이라면 어쩔 수 없죠ㅠㅠfor i in range(lastpg): for j in r
Search Bar
