jsoup을 사용한 링크의 메타 데이터 추출이 잘 안되네요 ㅠ

Question

사이드 프로젝트에서 채팅을 구현하면서 링크의 경우 메타 데이터를 추출해서 카톡처럼 보여주려고 하고 있어요유튜브 링크로 테스트를 하고 있는데.. 로컬에서 테스트 할 때는 아래와 같이 잘 추출이 되는데, 이상하게 EC2에 배포된 서버로 테스트 하니 작동이 잘 안되네요 ㅠ<로컬에서 얻은 결과>"linkMetadata": { "title": "돌아온 재즈 고막 여친 데뷔콘서트가 열립니다[공연실황영상 고음질 무손실 버전] by Minna Seo", "description": "장소:연남장재즈란 무엇인가?: Autumn LIVE Jazz Festival with 또모 민아x슬기 롯데콘서트홀 데뷔 콘서트안녕하세요, 또모입니다!많은 분들이 기다려주신 민아x슬기의 콘서트 소식 전해드립니다🎤또모 첫 재즈 콘텐츠에서 독보적인 음색과 실력으로 구독자분들의 큰 사랑...", "image": "https://i.ytimg.com/vi/ZoeQT2tfMf0/maxresdefault.jpg", "ogUrl": "https://www.youtube.com/watch?v=ZoeQT2tfMf0", "icon": null }"linkMetadata": { "title": "- YouTube", "description": "", "image": null, "ogUrl": "https://www.youtube.com/watch?v=IDD5_z3kKCU&list=RDGMEMCMFH2exzjBeE_zAHHJOdxgVMLWnLabxTjdQ&index=5", "icon": "https://www.youtube.com/s/desktop/daa4e47c/img/favicon_32x32.png" }, 분명 같은 코드인데.. 동작이 다르네요! 혹시 EC2 IP 주소에 대해 크롤링을 막아둔 것일까요?user-agent도 변경해보고 헤더에 여러가지 값을 넣어 봤는데도 잘 안 되네요 ㅠㅠ아래는 관련 코드입니다!public class MetaDataUtils { public static LinkMetadata fetchMetadata(String url) { // Jsoup을 사용하여 파싱 Document doc = null; try { doc = Jsoup.connect(url) .userAgent("PostmanRuntime/7.41.2") .header("Content-Type", "application/json") .header("Accept", "*/*") .header("Accept-Encoding", "gzip, deflate, br") .header("Connection", "keep-alive") .get(); } catch (IOException e) { throw new RuntimeException(e); } // 메타데이터 추출 String title = getMetaTagContent(doc, "og:title", "title"); String description = getMetaTagContent(doc, "og:description", "meta[name=description]"); String image = getMetaTagContent(doc, "og:image", null); String ogUrl = getMetaTagContent(doc, "og:url", null); // 아이콘 추출 String icon = getIconLink(doc); return new LinkMetadata(title, description, image, ogUrl != null ? ogUrl : url, icon); } private static String getMetaTagContent(Document doc, String ogTag, String fallbackTag) { Element metaTag = doc.selectFirst("meta[property=" + ogTag + "]"); if (metaTag != null) { return metaTag.attr("content"); // 메타 태그의 'content' 속성 값을 반환 } // 만약 Open Graph 태그가 없고, fallbackTag가 지정되어 있다면 해당 태그를 검색 if (fallbackTag != null) { Element fallbackMetaTag = doc.selectFirst(fallbackTag); if (fallbackMetaTag != null) { return fallbackMetaTag.text(); } } return null; } private static String getIconLink(Document doc) { Element iconTag = doc.selectFirst("link[rel=icon]"); // 만약 기본 아이콘이 없다면 apple-touch-icon 검색 if (iconTag == null) { iconTag = doc.selectFirst("link[rel=apple-touch-icon]"); } // 아이콘 링크 반환 if (iconTag != null) { return iconTag.attr("href"); } return null; } }

BGProgramming · Answer

URL을 보니 로컬에서 결과는 일반 유튜브 영상 주소같고EC2 결과는 .. 그 오른쪽에 리스트나오는 형식 있잖아요? 그거 같은데요?즉, 같은 URL을 요청한게 아닌것 같습니다만?

jsoup을 사용한 링크의 메타 데이터 추출이 잘 안되네요 ㅠ

1개의 답변

#jsoup 목록