웹 개발 초보자 질문...!

Question

안녕하세요. 저는 웹의 개념만 얕게 이해하고 있는 사람입니다..! 구상하고 있는 비즈니스 모델에 추가될 기능인데, 작업을 맡아주실 개발자분께 효율적으로 기능 설명을 하기 위해 기능에 대한 원리나 명칭을 알고 싶어서 글을 남기게 되었습니다. 항목들은 아래와 같습니다. 1. 네이버 쇼핑 최저가 비교에서 해당 데이터를 긁어오는 작업은 크롤링(스크래핑?)인 것인지 궁금합니다. 아니라면 어떤 방식으로 작업이 가능한지 궁금합니다. 2. 위와 같은 원리로 작동할 것으로 예상되지만, 나무위키나 특정 사이트에 있는 상품 리뷰를 긁어오는 기능도 어떻게 작동하는 지, 혹 기능을 부르는 명칭이 있는지 궁금합니다. 3. OP.GG는 리그오브레전드라는 게임의 챔피언 픽률, 승률 등을 가져와서 사이트에 정보를 남기는데 마찬가지로 넷플릭스나 왓챠 같은 OTT 서비스에서 진행하고 있는 콘텐츠를 긁어온다면 두 가지 동일하게 API로 진행하게 되는 걸까요? API는 업체와 협업을 통해야지만 가능한 건지도 궁금합니다. 너무 초보 같은 질문들 같겠지만, 혼자서 찾아봤는데 구체적으로 알기는 어렵더라고요. 기능의 작동 방식 같은 것까지 설명해주시기는 어려우시겠지만, 크롤링,스크래핑, API 등과 같이 기능 원리의 명칭 같은 것만 답변 주신다면 감사드리겠습니다. 미리 감사합니다!

chytonpide · Answer

구현을 다른 개발자에게 맡기시는 거면 구체적인 명세를 작성하시는 것 보다. 요구사항 위주로 정리하시는게 어떨까요?요구사항은 "어떤 것이 성취되어야 한다는 진술" 로 일단 높은 추상화 레벨로 정리해서 전달하면 이후에 개발자 분과 대화하면 요구사항의 경계가 명확해 지고, 어떻게 개발할지 같은 구체적인 것들도 자연스럽게 정해질 것 같습니다.- 시스템은 복수의 쇼핑몰에서 최저가에 대한 정보를 수집해야 한다.- 시스템은 복수의 쇼핑몰과 커뮤니티에서 상품에 대한 리뷰 정보를 수집해야 한다.- 시스템은 상품의 리뷰정보를 분석해서 상품에 대한 스코어를 산출해야 한다.

세브라이드 · Answer

협력사와 데이터 제공 협약을 맺습니다.다나와 상품리뷰는 데이터 제공 협약이고, 나무위키는 원래 CC 라이센스에 따라 정기적으로 DB 덤프를 제공했었습니다. 이젠 폐쇠했네요. CC 라이센스는 내다버렸나...제3자가 만들어서 관리하는 API도 있을 수 있겠죠. 예를 들어 예전에 뭐더라, 미국 미디어 뭐시기에서 미국내에서 방영된 TVA, 극장영화의 모든 데이터를 제공해주는 경우가 있었습니다.크롤링은 기본적으로 불법이거나 비법입니다. 학생들이 크롤링하면서 공부하는걸 가지고 뭐라고 안하지만 법적인 안전책이나 협의없이 그걸로 서비스를 만들고 자꾸 자사 트래픽을 잡아먹으면 민사 소송 당할겁니다.

웹 개발 초보자 질문...!

2개의 답변

기술 목록