크롤링 자동화, 프론트에서 db 업데이트 감지하려면 어떤 방법이 있을까요?

Question

안녕하세요 친구랑 사이드 프로젝트를 진행 하고있는 프론트 개발자입니다.다름이 아니라 이제 마지막 단계에서 정말 검색 키워드 조차 생각이 나질 않아서 질문 드리려고 오랜만에 왔네요우선 지금 서비스는 간단하게 말씀드리면db는 mysql이고 py로 네이버 주식정보를 크롤링해와서 db에 넣어주고 있습니다.프론트는 next.js로 만들었고 prisma를 통해 db crud를 하고 있습니다.배포는 vercel에 되어있습니다.백엔드 아직 서버는 따로 없습니다.여기서 이제 자동으로 매일 오후에 주식 장 마감하면 파이썬으로 데이터 크롤링 후 db에 추가 (장 마감을 감지할 순 없으니 오후 4시 이런식으로 아마 특정 시간마다 실행 해야할 거 같은데 맞을까요?)db가 업데이트되면 프론트에서 이를 감지 후 특정 함수 실행 (이 함수는 연산한 결과값을 db에 있는 다른 테이블에 추가해주는 로직입니다.)이럴경우 어떤 기술을 활용해야 할까요?제가 그나마 찾아본 바로는 mysql에 trigger?였나 db 업데이트를 감지해서 업데이트시에 특정 이벤트를 발생 시킬 수 있는게 있다고 그러더라구요.또 아니면 파이썬에서 크롤링 하고 db에 쏴줄때 같이 프론트에 뭘 쏴줘서 프론트에서 그걸 감지하거나...두 가지 경우 모두 프론트를 호출해주면 될 거 같은데 그렇게되면 next.js pages/api에 짜는 서버코드를 어떻게 실행시켜야할까요..?정말 친구랑 둘이 감이 안잡혀서 며칠째 막혀있네요..키워드나 기술이나 정보 알려주시면 정말정말 감사하겠습니다ㅠㅠ

dangerousman · Answer

next.js의 task scheduling &#43; SSE로 만들어보는건 어떨까요?https://docs.nestjs.com/techniques/task-schedulinghttps://developer.mozilla.org/ko/docs/Web/API/Server-sent_events

NULL만나면 · Answer

자동으로 매일 오후에 주식 장 마감하면 파이썬으로 데이터 크롤링 후 db에 추가 (장 마감을 감지할 순 없으니 오후 4시 이런식으로 아마 특정 시간마다 실행 해야할 거 같은데 맞을까요?)-> 네. 16시마다 마감이니까요. 그리고 네이버 주식 보니까 '장마감'을 알려주기도 하네요. 그걸 참고해도 될 것 같네요. https://finance.naver.com/sise/sise_index.naver?code&#61;KOSPI 여기서 F12로 Web browser 개발자 도구 켜고 Console 탭에서 js 코드인 아래를 입력하면 확인이 되네요.document.querySelector('#time'); // '2022.12.29 장마감'document.querySelector('#time').innerText.includes('장마감'); // truedb가 업데이트되면 프론트에서 이를 감지 후 특정 함수 실행 (이 함수는 연산한 결과값을 db에 있는 다른 테이블에 추가해주는 로직입니다.)-> 손 쉬운 방법은. 크롤링 돌리고 db 업데이트 되는건 냅두고. 프론트 js 소스에서 오늘 db 값이 등록이 되어있는지 체크하는걸 주기적으로 호출해도 될 것 같네요. setInterval 함수를 사용해서요. 아래 익명함수는 일반함수를 넣어도 되고 함수는 서버를 호출 -> db 값을 확인해서 if else 같은 분기 처리를 하면 되지 않을까 합니다.setInterval(function() {console.log( new Date().toString() );}, 1000); // 1000ms &#61;&#61; 1초. 즉 1초에 한번씩 익명 함수가 실행됨. 60000이면 1분

코가더 · Answer

배치

츄님 · Answer

DB 의 트리거 보다는 DB Insert 나 해당 변경을 Notify 받을수 있게 sub/pub 방식으로 개발하시면 좋을꺼 같네요. 크롤링한 값을 redis||kafka 에 pubredis||kafka 에서 sub 처리하여 저장하고 이후 작업 처리 multithread 처리 가능하게 subscribe 로직 구현

크롤링 자동화, 프론트에서 db 업데이트 감지하려면 어떤 방법이 있을까요?

4개의 답변

Q&A 목록