[질문] 크롤링 & 스크래핑 / DOM구조 / 대안

Question

안녕하세요. 파이썬 주니어 백엔드 개발자입니다. 거두 절미하고 본론 들어갈게요. 1. 결론 : 1) 크롤링 및 스크래핑 앱을 만들고자 함. 2) &#34;'웹 크롤러' 좀 그만 만들어라&#34; 라는 글을 보고 먼가 지속 가능한 스크래핑 앱을 만들고 싶다는 생각이 듬. 3) 지속가능한 크롤러 앱을 만들고 싶음 3.1) DOM 구조 바뀌어도 웹 크롤러가 돌아 가야함. 혹은 리커버리가 빠르고 효율적? 3.2) css 선택자에만 한정되어 DOM 트리 타고 들어 가야만 하는 것인가? 4) 큰 기업의 크롤러까지는 아니더라도 구조가 잡혀있는 크롤러를 만들고 경험하고 공부하고 싶습니다. 5) 혹시 관련 자료(강의, 책, 논문)있을까요?

Clickin · Accepted Answer

개발실력 있는 회사도 방도가 없습니다 dom이라는 개념 자체가 뜯어고쳐지지 않는 이상에서야 화면별 대응으로 갈 수밖에 없어요스마트택배라고 택배 추적해주는 앱이 내부구현은 주문상세페이지 크롤링해서 돌아가는거로 알고있는데 오픈마켓 사이트 레이아웃 바뀔 때마다 크롤러 새로짜야해서 당분간 동작 못하죠. 10년 넘게 한 사람도 이것밖에 방도가 없으니 그렇지 않을까요?

닦붕 · Answer

대안은 현재 떠오르는 A.I로 학습 시켜서 변경된 DOM을 찾고 크롤링 하면 되지 않을까요?A.I는 저도 잘 모르니 설명은 패스 합니다.

yeori · Answer

근데 크롤링 할 일이 그렇게 많나요?학습 차원에서 만드시는건지, 진짜로 수요가 꽤 있어서 만드시는건지 궁금합니다.주 사용자를 특정해야 큰 틀에서 방향을 정하고 세부 기능을 정리할텐데 누가 어떤 상황에서 크롤러를 필요로 하는지 모르니 접근 방법이란게 존재하기가 힘들어 보입니다.진짜 중요한건 크롤러 자체가 아니라, 뭔가를 크롤링해서 뭘 하려는건지를 알아야 할겁니다.걍 한 번 만들어보는거라면 뭐 어떻게든 되긴 됩니다만... &#34;내가 만들어봤다!&#34; 하고 이게 진짜 다른 사람들한테 쓸모가 있는지는 다른 문제라서...

[질문] 크롤링 & 스크래핑 / DOM구조 / 대안

3개의 답변

#scraping 목록