OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
scrapy
전체
최신순
질문하기
답변
0
사라질지도몰라
·
3년 이상
230
0
답변 0
scrapy 리스트 크롤링 질문
<body><h1>title</h1><div class="part"><ul></ul></div><div class="part"><ul></ul><
해결
3
hawaii
·
3년 이상
742
0
해결 3
[질문] 크롤링 & 스크래핑 / DOM구조 / 대안
안녕하세요. 파이썬 주니어 백엔드 개발자입니다. 거두 절미하고 본론 들어갈게요. 1. 결론 : 1) 크롤링 및 스크래핑 앱을 만들고자 함. 2) "'웹 크롤러' 좀 그만 만들어라" 라는 글을 보고 먼가 지속 가능한 스크래핑 앱을 만들고 싶다는 생각이 듬. 3) 지속가능한 크롤러 앱을 만들고 싶음 3.1) DOM 구조
답변
0
눈물보라
·
4년 이상
340
0
답변 0
파이썬 웹 스크래핑 원하는 칼럼 정보만 가지고 오려면 어떻게 해야 하나요?
안녕하세요제가 지금 웹 스크래핑 하는중인데 필요없는 정보도 같이 나와서 데이터베이스에 정보 입력하는데 오류가 발생해서 질문드립니다.아래 사진에 나와있는 주문상품목록 칼럼을 스크래핑하면 필요없는 택배정보까지 같이 나오는데 이거 빼고 제가 스크래핑 하고 싶은 부분만 할 수 있는 방법 없을까요?코드랑 사진 같이 올려드립니다.img src="//file.okky.kr/images/1641518736047
답변
0
uxmin
·
약 5년
500
0
답변 0
파이썬 프레임워크 스크래피 관련 질문드립니다.
현재 뷰티풀솝으로 크롤링 로직 작성하여,윈도우 작업 스케줄러, nnSoft (http://www.nncron.ru/) 프로그램 이용해서 자동화 업무 실행 중에 있습니다.근데 아무래도 단순 로직에 분산으로 스케줄링 되어 처리되다 보니 어떤 곳에 문제가 터지면 관리하기 어렵고, 무한 크롤링을 위해 사설 VPN 이용해 ip 우회하고 진행해서 굉장히 효율이 떨어진다고 생각이 들어서 스크래피 프레임워크 도입해
답변
3
b_zin
·
5년 이상
875
0
답변 3
파이썬 scrapy 크롤링 DB에 저장할때 중복처리는 어떻게하나요?
뉴스 기사같은것을 주기적으로 DB에 저장하려할때 중복처리는 어떻게하나요?테이블 구조는 id(auto increment), title, content, crawled_time 인데, 하나하나 insert 하기전에 select로 title을 검색해서 있으면 insert를 안하는 방법이 최선인가요?
답변
0
안녕하새우
·
거의 6년
639
0
답변 0
python scrapy 관련 질문
안녕하세요! scrapy 실습중인데 도움이 필요합니다 ㅠㅠ우선 코드는 아래와 같고, 여기서 scrapy crawl naver 로 돌렸을 때, 매우 느리게 scrapy가 되면서, item이 담기지 않습니다.코드 개선이나 해결 방법을 아시는 고수분 님들 계실까요....?div style="color:rgb( 187 , 187 , 187 );background-color:rgb( 0 , 43 ,
해결
2
내적갈등
·
6년 이상
724
0
해결 2
python scrapy rules 에 대해 해결이 안납니다
scrapy에서 shell로 정보를 뽑아내려고 하는데 rule파트가 이해가 안됩니다.예를들어rules = [ Rule(LInkExtractor(allow=r' /\d{4}/\d{2}/\d{2}/.+$), callback='parse_topics')]에서(LInkExtractor(allow=r' /\
답변
0
크린이
·
7년 이상
847
0
답변 0
Scrapy 게시판 글 크롤링 질문 드립니다.
안녕하세요,파이썬 웹크롤링을 인프런 강좌에서 보면서 실습해보는 중인데 강의가 4년전에 만들어 진 거라 예제로 나온 사이트 구조가 지금과 달라 따라하기가 어렵네요.제가 참고한 강의 영상은 아래와 같습니다.https
답변
1
울보점보잠보는귀여운고양이
·
거의 8년
1.3k
0
답변 1
파이참 쓰시는분들 이런에러 보신적 있으세요?
scrapy 라이브러리를 설치하려하는데 계속 이런 오류가 발생하네요..처음에는 visual studio build tools가 없다고 그래서 설치했습니다.그랬더니 사진처럼 에러가 발생하여 찾아보다가 파이썬 컴파일러, visual studi
Search Bar
