headless driver에서 xpath 이용하기

Question

검색을 해보고 많은 분들께 여쭤보니까 headless환경에서도 창만 안보이는거지 다 똑같이 실행 된다고 해서 xpath클릭클릭해서 원하는 사이트 들어가서 정보 print하는거 코딩을 해보았는데요 Traceback (most recent call last): File &#34;C:/Users/USER/PycharmProjects/crawllingTEst/headless,xpath,chron2424.py&#34;, line 42, in <module> driver.find_elements_by_xpath('//*[&#64;id&#61;&#34;anti-flicker&#34;]/div[4]/div[4]/div/div[1]/div[1]/ul/li[1]/a').click()AttributeError: 'list' object has no attribute 'click'이런 오류가 뜨네요,,, 저 xpath 주소는 맞는 주소거든요,,, 어떻게 해야될까요..?from selenium import webdriver import urllib.request from bs4 import BeautifulSoup Test_URL &#61; 'https://www.chrono24.com/rolex/lady-datejust-steel-and-18ct-yellow-gold-automatic-purple-di--id8165139.htm' options &#61; webdriver.ChromeOptions() options.add_argument('headless') options.add_argument('lang&#61;ko_KR') options.add_argument(&#34;disable-gpu&#34;) options.add_argument(&#34;user-agent&#61;Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36&#34;) driver &#61; webdriver.Chrome('./chromedriver.exe', options&#61;options) driver.find_elements_by_xpath('//*[&#64;id&#61;&#34;anti-flicker&#34;]/div[4]/div[4]/div/div[1]/div[1]/ul/li[1]/a').click() driver.find_elements_by_xpath('//*[&#64;id&#61;&#34;jq-header-buy-flyout&#34;]/div[2]/div[1]/div[2]/div[1]/div[1]/a').click() driver.find_elements_by_xpath('//*[&#64;id&#61;&#34;wt-watches&#34;]/div[1]/a/div[1]/div').click() driver.get('about:blank') driver.execute_script(&#34;Object.defineProperty(navigator, 'plugins', {get: function() {return[1, 2, 3, 4, 5];},});&#34;) driver.get(Test_URL) req &#61; urllib.request.Request(Test_URL, headers&#61;{'User-Agent': 'Mozilla/5.0'}) html &#61; urllib.request.urlopen(req) source &#61; html.read() soup &#61; BeautifulSoup(source, 'html.parser') detail &#61; soup.select('td > a') print('Reference number: ', detail[0].text) print('Brand: ', detail[1].text) print('Model: ', detail[2].text)

sungwon-dev · Answer

find_elements_by_xpath -> find_element_by_xpath오류의 원인은 항상 로그에 나와있습니다AttributeError: 'list' object has no attribute 'click' https://selenium-python.readthedocs.io/locating-elements.html

미니언올라퓨맹 · Answer

sungwon-dev님 감사합니다! 수정해보았는데도 이런 오류가 뜨네요ㅜㅜㅜselenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {&#34;method&#34;:&#34;xpath&#34;,&#34;selector&#34;:&#34;//*[&#64;id&#61;&#34;anti-flicker&#34;]/div[4]/div[4]/div/div[1]/div[1]/ul/li[1]/a&#34;} (Session info: headless chrome&#61;79.0.3945.130)

sungwon-dev · Answer

Test_URL &#61; https://www.chrono24.com/rolex/lady-datejust-steel-and-18ct-yellow-gold-automatic-purple-di--id8165139.htm위 페이지에는 //*[&#64;id&#61;&#34;anti-flicker&#34;]/div[4]/div[4]/div/div[1]/div[1]/ul/li[1]/a의 xpath를 가진 element가 없는 거 같네요. &#34;BUY A WATCH&#34; 네이비게이션은 //*[&#64;id&#61;&#34;anti-flicker&#34;]/div[5]/div[4]/div/div[1]/div[1]/ul/li[1]/a 입니다.xpath를 다시 확인해보세요

미니언올라퓨맹 · Answer

저도 에러 메세지 보고 다시 한번 xpath주소 찾아봤는데 자꾸이러네요ㅠㅠsungwon-dev님이 주신 xpath로도 했는데 이런 오류가 나옵니다ㅜㅜselenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {&#34;method&#34;:&#34;xpath&#34;,&#34;selector&#34;:&#34;//*[&#64;id&#61;&#34;anti-flicker&#34;]/div[5]/div[4]/div/div[1]/div[1]/ul/li[1]/a &#34;} (Session info: headless chrome&#61;79.0.3945.130)

sungwon-dev · Answer

driver.get(Test_URL)이 find_element_by_xpath 함수를 호출하기 전에 호출돼야겠네요.

sungwon-dev · Answer

코드 작성 단계에선 options.add_argument('headless')옵션은 주석 처리하시고 기능이 정상적으로 동작한다 판단이 들면해당 옵션 추가해서 테스트 해보시면 더 좋을 거 같네요

미니언올라퓨맹 · Answer

sungwon-dev 님!주석처리하니까 창이뜨면서 크롤링을 못하게 막혔습니다.,,, 주석처리 안했을때는 여전히 xpath에서 에러가 뜹니다...휴,ㅜㅜ### 수정!!아 혹시 사이트에서 크롤링을 막아놔서 에러가 뜨는거 아닐까요??

sungwon-dev · Answer

아 혹시 사이트에서 크롤링을 막아놔서 에러가 뜨는거 아닐까요??-> 이 케이스는 아닌 것 같네요. 지금 python &#43; selenium 실행 여건이 되지 않아서 작성하신 코드만 수정했습니다from selenium import webdriver Test_URL &#61; 'https://www.chrono24.com/rolex/lady-datejust-steel-and-18ct-yellow-gold-automatic-purple-di--id8165139.htm' options &#61; webdriver.ChromeOptions() options.add_argument(&#34;disable-gpu&#34;) driver &#61; webdriver.Chrome('./chromedriver.exe', options&#61;options) driver.get(Test_URL) driver.find_element_by_xpath('//*[&#64;id&#61;&#34;anti-flicker&#34;]/div[5]/div[4]/div/div[1]/div[1]/ul/li[1]/a').click()위 코드 실행해보세요 java에서 동일한 조건으로 실행하는 경우엔 정상 작동하는 것까지 확인했어요.

미니언올라퓨맹 · Answer

sungwon-dev님 저도 크롤링 저 페이지 까지 넘어가네요!! 분명 저번에 headless말고 selenium으로 크롤링할때는 자꾸 사이트에서 프로그램인거 알아채고 자꾸 막아놔서 headless로 검색했던건데요!! 감사합니다 한번 시도해보겠습니다!! headless크롤링은 저기다가 options.add_argument('headless')추가 하면 되는건가요?아파서 답이 늦었습니다 죄송합니다ㅜㅜ

sungwon-dev · Answer

headless크롤링은 저기다가 options.add_argument('headless')추가 하면 되는건가요?-> 네 옵션 추가하시면 됩니다 분명 저번에 headless말고 selenium으로 크롤링할때는 자꾸 사이트에서 프로그램인거 알아채고 자꾸 막아놔서 headless로 검색했던건데요 -> &#34;selenium으로 크롤링할때&#34;를 non headless 모드로 웹 사이트에 접근했을 때라고 생각하고 답변을 드리자면 위 경우는 사실 headless모드와는 크게 관계는 없습니다. sleep이 없거나 일정한 간격으로 페이지를 요청해서 그런 것으로 의심되네요. 봇으로 의심하기 딱 좋죠페이지 호출시에 랜덤하게 SLEEP을 주면 이슈 발생 빈도가 줄겁니다

미니언올라퓨맹 · Answer

sungwon-dev님 친절하신 설명 진짜 감사합니다!!! 완전 이해되었어요!!

headless driver에서 xpath 이용하기

12개의 답변

#xpath 목록