안녕하세요..대학교 3학년...개발자를 꿈꾸는 어린이(?)입니다 Selenium(셀레니움) 스크롤에 대해 질문드립니다!

Question

안녕하세요 처음 글을 올려봅니다!!다름이아니라 요즘 selenium 과 jsoup,beautifulsoup으로 크롤링을 연습하고있는데 막히는 부분이있어 질문드립니다! 위 그림과 같은 브라우저에서 왼쪽 아래와 같이(아름1단지건영 104동, 아름1단지건영 109 동...) 스크롤이 가능한 동적 페이지에서 마우스 스크롤을 하고싶습니다! 스크롤을 내릴때마다 매물들의 정보가 계속 추가가 되고 더이상 매물이 추가가 되지않을때 총 매물을 스크래핑하려고 하고있습니다! 제가 시도한 것은 첫번째로 파이썬으로는 , # 현재 문서 높이를 가져와서 저장prev_height &#61; browser.execute_script(&#34;return document.body.scrollHeight&#34;) # 반복 수행while True: # 스크롤을 가장 아래로 내림 browser.execute_script(&#34;window.scrollTo(0,document.body.scrollHeight)&#34;) # 페이지 로딩 대기 time.sleep(interval) #현재 높이를 가져와서 저장 current_height &#61; browser.execute_script(&#34;return document.body.scrollHeight&#34;) if current_height&#61;&#61;prev_height: break # 높이를 업데이트 함 prev_height &#61; current_heightprint(&#34;스크롤 완료&#34;) 다음과 같이 해보았으나 위 코드는 브라우저 전체화면의 스크롤을 담당하는 것이지, 제가원하는 조그마한 작은 부분의 스크롤을 하진 못했습니다. 그래서 두번째로, java로 해보았습니다.WebElement element &#61; driver.findElement(By.xpath(&#34;//*[&#64;id&#61;\&#34;complexOverviewList\&#34;]/div/div[2]/div&#34;)); Actions actions &#61; new Actions(driver); actions.moveToElement(element); actions.perform(); xpath를 이용하여 특정 부분의 스크롤을 해보려 시도하였으나 안되었습니다.. 또다시 구글링을 통해 다른 방법을 모색했고,element.sendKeys(Keys.PAGE_DOWN); 위 코드에서 element를 가져와 페이지다운을 하도록하는 방법도 작동되지 않았습니다... 그외 방법으로 목록을 클릭한뒤 페이지 다운을 하였고, 그땐 스크롤이됐으나 목록을 클릭할 경우에 다른 사이트로 연결되는 탭이 켜지는 경우가 있기도 하였으므로 올바른 방법이 아니라고 생각하였습니다... 아무리 구글링을 해도 저 작은 창의 스크롤을 하는 방법을 못찾았습니다.. 도움주시면 감사하겠습니다... 부탁드립니다

ByeongHyeon Park · Answer

기본틀은 다음과 같습니다..!! import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import org.openqa.selenium.By; import org.openqa.selenium.JavascriptExecutor; import org.openqa.selenium.Keys; import org.openqa.selenium.WebElement; import org.openqa.selenium.chrome.ChromeDriver; import java.util.ArrayList; import org.json.simple.JSONObject; import org.json.simple.JSONArray; import org.openqa.selenium.interactions.Actions; import static org.openqa.selenium.Keys.PAGE_DOWN; public class ex01 { public static void main(String[] args) throws InterruptedException { ChromeDriver driver &#61; new ChromeDriver(); // 정체 정보가 들어갈 Json JSONObject info &#61; new JSONObject(); JavascriptExecutor js &#61; (JavascriptExecutor) driver; String url &#61; &#34;https://new.land.naver.com/complexes/1525&#34;; // Chrome 열기 driver.get(url); // Chrome 창 최대화 // driver.manage().window().maximize(); // 현재 페이지의 소스코드 가져오기 Document doc &#61; Jsoup.parse(driver.getPageSource()); // 잠깐 쉬는 초 2 초 int interval &#61; 2000; Thread.sleep(interval); driver.close(); } }

안녕하세요..대학교 3학년...개발자를 꿈꾸는 어린이(?)입니다 Selenium(셀레니움) 스크롤에 대해 질문드립니다!

1개의 답변

#jsoup 목록