티스토리 뷰


selenium을 통해서


self.browser.get(url)

하고서

self.browser.page_source

를 해줬는데..

원하는 페이지의 내용이 아니다..?

왜그런 것일까


나는 막연히 get(url) 메소드가 블락킹 메소드겠거니.. 했다.

근데 생각해보니 ajax로 로딩되는 놈은 page가 loaded 된 이후에도 계속해서 동적으로 로딩 된다는 사실..

즉 블락킹 메소드고 뭐고를 떠나서 아직 동적으로 그려지지 않았을 수 도 있다!


그럼 어떻게 해야하는가?

selenium wait으로 검색하면 몇가지 방법이 나온다.

http://selenium-python.readthedocs.io/waits.html

를 참고하면 좋다.

크롤링을 원하는 태그가 나올때까지 wait 하는 기능이다.


유후 오늘 열라 삽질했는데 다행히 오늘내로 끝내서 굳굳


 

댓글
댓글쓰기 폼
공지사항
Total
655,954
Today
17
Yesterday
300
«   2020/02   »
            1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
글 보관함