java 웹 스크랩핑 질문입니다. ㅠㅠ

Question

안녕하세요. 자바 공부 시작한지 얼마 안된 코린이입니다..하고 싶은 것은 한국금융협회 채권정보 사이트에서 채권수익률 데이터를 읽어오려고 하는데, 한계점에 봉착했습니다. ㅠㅠ아래 사이트에서 조회 버튼을 눌렀을 때 post 되는 html 데이터를 받아오고 싶습니다.https://www.kofiabond.or.kr/websquare/websquare.html?w2xPath=/xml/subMain.xml&parentDivisionId=MBIS01010000000000&divisionId=MBIS01010010000000&parentMenuIndex=0&menuIndex=0&depth3=&depth4=&userUrl=아래 소스코드로 실행하면 빈 html만 받아오는 것처럼 나오는데, 이유를 못 찾고 있습니다.어떤 부분이 문제일까요.... 답변 미리 감사합니다.아래 java소스코드 출력 결과 import java.io.IOException; import java.util.*; import org.jsoup.*; import org.jsoup.Connection.Response; public class JsoupExample { public static void main(String[] args) { String url = "https://www.kofiabond.or.kr/proframeWeb/XMLSERVICES/"; Map header = new HashMap(); header.put("Connection", "keep-alive"); header.put("Content-Length", "317"); header.put("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8"); header.put("Host", "www.kofiabond.or.kr"); header.put("Origin", "https://www.kofiabond.or.kr"); header.put("Referer", "https://www.kofiabond.or.kr/websquare/websquare.html?w2xPath=/xml/bondint/lastrop/BISLastAskPrcDay.xml"); header.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"); Map cookie = new HashMap(); cookie.put("__smVisitorID", "sN8lQD0U_Uo"); cookie.put("JSESSIONID", "qzGqNBKpKXhwaXJt8PIqCRgz00Ct1ZPrVkJJLof96CcNtqx3bVcEjdAHGTYDjUpR.ap8_servlet_kofiabondEngine"); Map data = new HashMap(); String payLoad = "BIS-KOFIABONDBISLastAskPrcROPSrchSOlistDay20230203"; data.put("pfmAppName", "BIS-KOFIABOND"); data.put("pfmSvcName", "BIS-BISLastAskPrcROPSrchSO"); data.put("pfmFnName", "BIS-listDay"); // data.put("BISComDspDatDTO", "20230202"); data.put("BISComDspDatDTO", "20230202"); try { Response res = Jsoup.connect(url).method(Connection.Method.POST).headers(header).cookies(cookie).data(data).execute(); System.out.println(res.body()); } catch (IOException e) { System.out.println(e.getStackTrace()); } } }

rodi on July 12th · Answer

안녕하세요.본 질문과 관련 없지만... 2가지가 궁금한데요..왜 kofiabond 사이트를 크롤링하시려고 하는거죠 finance background 이신가요?의무적으로 java를 써야 하는 상황인가요?

swimmingPolar · Answer

빈 페이지 로딩 후 자바스크립트를 통해 데이터를 받아오는 방식이기 때문에 브라우저 자동화 인터페이스 사용하셔야 됩니다파이썬이면 selenium, 자바스크립트면 puppeteer 쓰시면 되는데 자바는 몰?루겠네요어려운 건 없고 구냥 라이브러리 하나 받으셔서 그걸로 쓰시면 더 깔끔하고 편하게 할 수 있어요Jsoup 말고 다른 거 쓰셔야 해요 자바스크립트가 실행되는..

java 웹 스크랩핑 질문입니다. ㅠㅠ

2개의 답변

Q&A 목록