웹크롤링은 많이 사용되나요?

Question

지금 파이썬 크롤링을 배우고 있는데요.공공기관 말고 다른 개인/법인 웹사이트는 크롤링해서 상업적으로 사용되면문제가 될 것 같은데, 어떨때 많이 쓰나요?처음 배우는데 궁금해서 여쭤봅니다.

테스트맨 · Answer

전문용어로 스크래핑이라고 해서 많이 사용함.암암리에 사용함.

풍월상신(가니메디안) · Answer

당당한 일을 하는 사람은 쓸 일이 거의 없다고 생각합니다.LLM 에 쓴다고는 하는데, 글쎄요.. robots 규약이나 지키면서 크롤링 하고 있을까요?10년 전 쯤 까지도, 네이버 오토봇 + 크롤러 패키지가 유료 판매되던 참담한 모습이었는데요..어뷰징은 아무리 잘 해봐야, 그 기술이 오래 못가고 deprecated 되고 맙니다. 그때 되면 남는 기술은 없고 그냥 양아치 본성만 남아요.구린 일 하면서 국내시장에서 100만원 버는 것 보다, 비전 있는 글로벌 시장에서 1000만원 버는 게 훨씬 쉽다는 걸 생각해보세요.

defult · Answer

가장 대표적인 기술이용 예시는 검색엔진 서비스를위한 데이터 수집이고 그 외에는 학습용도가 아닌이상 단순히 크롤링 자체가 목적이 되는 개발은 대부분 모를수도 있기도하고 알면서 하기도 하지만 구린일을 하기위해서 남 데이터 복제용도라고 생각하세요 ※데이터베이스권 혹은 저작권 침해어디까지나 크롤링은 재가공을 위한 원재료 수집선에서 끝내야 하는 물건일 뿐이므로 크롤링을 자체를 목적으로 두지않는게 좋습니다.이걸 문제없이 사용하려면 긁어오려는 대상이 고지한 허용범위 부터 확인하고 그렇게 수집한 데이터는 완전히 원본이랑 무관하게 자신의 것으로 재가공까지 거쳐야하는 복잡한 이해관계의 물건입니다.

웹크롤링은 많이 사용되나요?

3개의 답변

Q&A 목록