트위터 데이터를 크롤링하고 싶습니다

Question

제목이 곧 내용과 같습니다.일론머스크가 트위터에 대한 데이터 크롤링을 회사차원에서 금지시켰다고 하고API는 유료화되었다고 들었습니다.그런데 아직도 많은 경우에 트위터로 공지나 정보를 올려두는 계정들이 많아요저는 이 정보들을 크롤링해서 모아보는 페이지가 만들고 싶습니다.ex) 시간표 이미지나 공지사항을 긁어서 페이지에 모아 보여주고 싶음.이것이 예전에는 이런 크롤링 전면금지가 없었어서 가능했던 걸로 기억하는데요즘도 될지 문제는 없을지 궁금합니다.

팩트폭행범 · Answer

당연히 요즘도 가능하죠근데 주기마다 div 구조랑 name tag를 바꿔서수시로 다시 짜야되여인스타그램같은경우도 2~3주마다 div구조랑 name tag들이 바뀝니다 그럼 그때마다 다시짜야함 ㅋ

kenu,전독시 · Answer

Node.js에서 Twitter API를 통합하는 것은 흥미로운 프로젝트로, 트윗과 사용자 프로필을 관리하고 더 많은 기능에 접근할 수 있게 해줍니다. 시작하기 위해 다음 단계를 따르세요:단계 1: Twitter 개발자 계정 생성Twitter API를 사용하기 전에 Twitter 개발자 계정을 만들고 애플리케이션을 등록해야 합니다.Twitter Developers 웹사이트로 가서 로그인하거나 가입하세요.로그인 후 "프로젝트 및 앱"을 클릭하고 "프로젝트 생성"을 선택합니다.앱 설정에 대한 기본 정보를 제공하여 프로젝트를 설정합니다.프로젝트가 생성된 후, 앱 설정의 "키 및 토큰" 탭으로 이동하여 실제 인증 키(API 키, API 시크릿 키)와 액세스 토큰(액세스 토큰, 액세스 토큰 시크릿)을 찾습니다.단계 2: 필요한 패키지 설치Node.js에서 Twitter API와 상호 작용하기 위해 twitter 패키지를 사용할 수 있습니다. npm을 통해 설치하세요:npm install twitter 단계 3: 애플리케이션 설정twitter 패키지를 설치한 후 애플리케이션을 설정할 수 있습니다. 여기에는 Twitter API에 인증하고 요청을 보내는 방법에 대한 간단한 예제가 포함됩니다:const Twitter = require('twitter'); // 'your_api_key', 'your_api_secret_key' 등과 같은 실제 인증 정보로 대체하세요 const client = new Twitter({ consumer_key: 'your_api_key', consumer_secret: 'your_api_secret_key', access_token_key: 'your_access_token_key', access_token_secret: 'your_access_token_secret' }); // 특정 사용자의 최신 트윗을 가져오는 예제 client.get('statuses/user_timeline', { screen_name: 'twitterdev' }, function(error, tweets, response) { if (!error) { console.log(tweets); } }); from: https://www.phind.com/search?cache=m8lv4zxhcby76s9kf0wrgs3z

트위터 데이터를 크롤링하고 싶습니다

2개의 답변

Q&A 목록