Node (playwright) 보안 관련 문의

Question

안녕하세요,api를 제공하지 않는 사이트가 있어서 (제가 운영하는)서버에서 node - playwright를 설치하고 필요할시 playwight 를 통하여 다른 서버의 값을 변경하려고 합니다.(html 을 읽고 변경함)제가 node를 처음 써봐서요.node를 외부에 노출시키지 않고 제 서비스에서 사용자가 버튼을 클릭하면 (playwight를 통해서 다른 웹서버에 중간 관리자로 로그인을 하고) 해당 사용자의 값을 가져와 읽고 변경을 합니다.API만 제공하면 간단하게 끝날 문제인데.. 다른 웹서버(서비스)에서 API를 제공하지 않아 playwright를 이용하여 변경을 합니다.혹시 이럴때 node 와 관련하여 보안적으로 주의해야할게 있을까요?외부에 노출이 되지 않고 (다른 웹서버)에 조회 하는 값도 일정한 패턴의 파라미터라 파라미터 검증을 통하고 (30자 이내의 ) 글자 제한도 두려고 합니다.관련하여 조언 부탁드립니다.감사합니다.

논현크루 · Answer

크률링은 호출 횟수 제한만 잘 지키면 됩니다.분당 n회 이상(탈휴먼 호출횟수) 같은거나 주기적으로 호츌(10분마다, 30분마다 등)하면 봇으로 인지하고 차단하는 경우가 있습니다.이땐 랜덤 딜레이를 넣는것도 방법임

연남동거북이 · Answer

꼭 playwright를 써야할까 싶네요. 해당 사이트 로그인 api 분석해서 로그인 후에 토큰이랑 쿠키값으로 원하시는 api 호출해서 해당 리스폰스만 가져오면 굳이 playwright 없이 http 통신만으로도 원하는 결과를 더 빠르고 안정적으로 가져올 수 있을 것 같습니다. 대부분의 스크래핑이 이렇게 이루어지죠. headless false의 자동화도구는 감지가 너무 쉬워서 밴당하는 경우가 많습니다.

Node (playwright) 보안 관련 문의

2개의 답변

#node 목록