Selenium 사용시 실제 페이지 소스코드랑 다른 내용이 보여지는 경우

selenium을 통해서

self.browser.get(url)

하고서

self.browser.page_source

를 해줬는데..

원하는 페이지의 내용이 아니다..?

왜그런 것일까

나는 막연히 get(url) 메소드가 블락킹 메소드겠거니.. 했다.

근데 생각해보니 ajax로 로딩되는 놈은 page가 loaded 된 이후에도 계속해서 동적으로 로딩 된다는 사실..

즉 블락킹 메소드고 뭐고를 떠나서 아직 동적으로 그려지지 않았을 수 도 있다!

그럼 어떻게 해야하는가?

selenium wait으로 검색하면 몇가지 방법이 나온다.

http://selenium-python.readthedocs.io/waits.html

를 참고하면 좋다.

크롤링을 원하는 태그가 나올때까지 wait 하는 기능이다.

유후 오늘 열라 삽질했는데 다행히 오늘내로 끝내서 굳굳