티스토리 뷰


selenium을 통해서


self.browser.get(url)

하고서

self.browser.page_source

를 해줬는데..

원하는 페이지의 내용이 아니다..?

왜그런 것일까


나는 막연히 get(url) 메소드가 블락킹 메소드겠거니.. 했다.

근데 생각해보니 ajax로 로딩되는 놈은 page가 loaded 된 이후에도 계속해서 동적으로 로딩 된다는 사실..

즉 블락킹 메소드고 뭐고를 떠나서 아직 동적으로 그려지지 않았을 수 도 있다!


그럼 어떻게 해야하는가?

selenium wait으로 검색하면 몇가지 방법이 나온다.

http://selenium-python.readthedocs.io/waits.html

를 참고하면 좋다.

크롤링을 원하는 태그가 나올때까지 wait 하는 기능이다.


유후 오늘 열라 삽질했는데 다행히 오늘내로 끝내서 굳굳


 

댓글
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
«   2024/10   »
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31
글 보관함