파이썬 scrapy 크롤링 DB에 저장할때 중복처리는 어떻게하나요?

Question

뉴스 기사같은것을 주기적으로 DB에 저장하려할때 중복처리는 어떻게하나요?테이블 구조는 id(auto increment), title, content, crawled_time 인데, 하나하나 insert 하기전에 select로 title을 검색해서 있으면 insert를 안하는 방법이 최선인가요?

kenu,전독시 · Answer

title 컬럼을 unique 속성 주시면 추가로 안 들어갈 겁니다. 대신 try catch로 감싸기는 해야 할 겁니다.

b_zin · Answer

kenu감사합니다. 일단 그렇게하고 더 좋은방법있나 찾아봐야겠내요

cube8540 · Answer

그 기사의 URL을 유니크로 잡는건 어떨까요?

파이썬 scrapy 크롤링 DB에 저장할때 중복처리는 어떻게하나요?

3개의 답변

#scrapy 목록