개인프로젝트로 크롤링 웹서비스를 만들어보려는데 막막합니다 ㅠ

Question

안녕하세요 컴퓨터공학과 재학중인 학생입니다. 학교 과목으로 프로젝트를 하나 해야하는데 경험이 없어 어떻게 시작해야할지 감이 안잡혀 개발자 선배님들의 조언을 듣고싶습니다.현재 제상태는 학교 커리큘럼대로 언어 몇개, cs과목들 수강한 정도이고 프로젝트경험은 처음입니다.학기중에만 공부하고 거의 다 까먹어서 배웠던것들도 보면 아 이런게 있었지 할정도여서언어나 프레임워크를 정하면 처음부터 한번은 훑어야 할 것 같습니다.또 2개월안에 결과물을 내어놓아야한다는 점도 감안하고 답변해주시면 감사하겠습니다.(개인 시간은 많아서 하루종일 매달릴 수 있습니다!)먼저 제가 만들고 싶은 건 의류플랫폼 크롤링 웹서비스입니다.평소에 옷을 많이 사는 편인데, 중고든 새상품이든 제가 구하려는 의류 상품을 검색할때마다 판매 플랫폼이 굉장히 많아서 같은검색어로 상품을 여러군데서 하나하나 반복적으로 검색하는게 불편했습니다.그래서 의류판매 사이트들을 크롤링해서 한번에 보여주는 웹서비스를 만들려합니다.(다나와 같은)처음이다보니 대중적으로 많이 쓰이는 언어,프레임워크들로 만들어보려하고 규모는 번개장터 정도의 사이트 7개 정도를 크롤링 해오려합니다.여기까지가 간략한 소개였고 제가 여쭤보고싶은 것은크롤링을 하면 파이썬에서 bs, 셀레니움을 사용하는게 매우매우 일반적이던데 여기서 크롤링을 해서 데이터를 따오는게 백엔드라 보면 되는건가요? 그럼 크롤링한 데이터들을 html이나 css등으로 웹사이트에 보여주도록 하는게 프론트엔드가 맞는건가요?그럼 웹이나 앱으로 사용자가 이용할 수 있게한게 아닌/ 코드로 기능들을 구현만 한건 전부 백엔드인가요?(과장해서 예를들면 언어 처음배울때 하는 구구단 계산기나 별찍기등도 백엔드인지)(첫번째 질문에서 제가 프론트엔드,백엔드를 이해한게 맞다면) 백엔드는 파이썬을 사용하는게 확정이고프론트엔드 프레임워크는 어떤걸로 사용해야 할까요?지금 생각한건 제일 대중적인 리액트와 / 풀스택, 언어도 프론트와 동일하게 파이썬으로 바로 사용할 수 있는 django입니다.시간이 많지않아 django를 써야하나 싶은데 리액트가 대중적인건 이유가 있지않을까 해서...물론 제가 어떤 서비스를 만드냐에 따라 사용하는게 달라져야하는건 알지만 의견을 듣고싶습니다.개인프로젝트다보니 일단 성능은 너무 답답하지만 않으면 될 것 같고 깔끔한 UI로 만들고싶습니다.시간상 서버까지 만들기가 어려울거같은데 서버도 따로 만들어야할까요? 아니면 서버 없이도 제가 만드려는 웹서비스가 동작이 가능할까요? (서버 지식은 전무해서 어떻게 질문드려야 할지 모르겠습니다....)로그인기능은 만드려하고, 마이페이지에서 내가 찜한 상품들을 모아서 보여주려는데 이게 서버가 없이도 가능한지 궁금합니다.개발경험이 없어 실무자분들이 보시기엔 질문이 많이 엉성할 것 같은데,,, 양해부탁드리겠습니다ㅠ간단한 답변이나 조언이라도 큰 도움이 될 것 같습니다 읽어주셔서 감사합니다 !!!

와플치킨 · Answer

백엔드는 일반적으로 서버단에서 데이터 처리해주는 API등을 애기하지만 포괄적인 의미로 크롤링과 같은 배치도 백엔드 업무에 포함되기도 합니다.프론트엔드에도 JS가 포함되며 코드성 로직을 넣을 수 있습니다.복잡하게 리액트 같은거 쓰지말고 장고에서 지원하는 뷰엔진 쓰세요.서버리스라는 기술도 있긴 하지만 결과적으로 데이터를 처리할 로직이 들어갈 서버는 필요합니다. 서버를 띄우기 싫으면 AWS 람다 이런거 쓰시면 될 것 같아요

MungGaeDev · Answer

질문상태로 봤을 때 짧은 조언으론 답이 없을 것 같은데요.2개월안에 불가능하니 목표를 재조정 해보시는건 어떤가요

kaydash · Answer

시간이 많지않으면 파이썬 플라스크로 백엔드 프론트엔드 다 처리하시구요크롤링은 무단 수집 방어정책으로 블로킹 되는 문제도 풀어내셔야해요

셜록키언 · Answer

여러 사용자의 접속을 지원하는 웹서비스라는 제한이 있다면 어쩔 수 없겠지만, 서버를 꼭 만드셔야 하는 건 아니고 크롤링 및 정보 디스플레이라는 기능 시현이 보다 우선순위에 있다고 하면, 그리고 파이썬 사용은 자신이 있으시다고 하면 pyside(pyqt) 같은 걸로 데스크톱 앱을 만드는 것도 생각해 보세요. Nodejs를 다루실 수 있다면 Electron 같은 것도 괜찮겠지요.그리고...대중적인 것과 별도로, 한정된 시간 내에 빠르게 기본만 익히시고 당장 돌아가는 것을 만드시는 게 1차 목표이고 안정화와 살붙이기는 그 다음의 문제일 텐데, 그러면 풀스택 프레임워크를 쓰는 것이 그다지 능사가 아닙니다. 파이썬 기반으로 가고자 하실 경우 flask가 나을 수도 있습니다. 실사용 서비스를 개발하고 배포하고자 하실 때는 제대로 된 프레임워크를 바탕으로 개발을 하시는 것이 나을 수 있겠지만, 지금 환경 세팅과 프레임워크 자체 사용법을 언어학습과 같이 진행해야 할 정도로 급한 상황인데 그렇게 하시기가 어렵습니다. 당장 최소한으로 짜서 돌아만 가는 WAS 붙이고 거기에 라우터 하나하나 붙여가면서 최소기능의 집합체를 만들어야 하는 상황인데 장황한 프레임워크를 잡게 되시면 첫 1~2주를 갈팡질팡하다 날리실 수 있습니다.학생으로서 과제물을 빨리 쳐내셔야 하는 일이고 무슨 계약을 하고 공급하는 시스템의 명세에 구애받는 것은 아니니, 가급적 목표와 기술스택을 모두 최소로 잡으시고 진행하시는 것이 좋아 보입니다.

개인프로젝트로 크롤링 웹서비스를 만들어보려는데 막막합니다 ㅠ

4개의 답변

Q&A 목록