티스토리 뷰
selenium을 통해서
self.browser.get(url)
하고서
self.browser.page_source
를 해줬는데..
원하는 페이지의 내용이 아니다..?
왜그런 것일까
나는 막연히 get(url) 메소드가 블락킹 메소드겠거니.. 했다.
근데 생각해보니 ajax로 로딩되는 놈은 page가 loaded 된 이후에도 계속해서 동적으로 로딩 된다는 사실..
즉 블락킹 메소드고 뭐고를 떠나서 아직 동적으로 그려지지 않았을 수 도 있다!
그럼 어떻게 해야하는가?
selenium wait으로 검색하면 몇가지 방법이 나온다.
http://selenium-python.readthedocs.io/waits.html
를 참고하면 좋다.
크롤링을 원하는 태그가 나올때까지 wait 하는 기능이다.
유후 오늘 열라 삽질했는데 다행히 오늘내로 끝내서 굳굳
'Language > Python' 카테고리의 다른 글
Python No module named '...' 해결하기 (1) | 2018.07.25 |
---|---|
Python Flask 이용하여 json reponse server 개발하기 (0) | 2018.07.24 |
Windows에서 Python으로 Redis 사용법 (0) | 2018.07.20 |
python에서 한글 url 열기 (2) | 2018.07.18 |
[Python] Beatiful Soup 를 이용하여 Instagram의 정보를 가져오자 #3 (2) | 2018.06.13 |
[Python] Django로 간단한 웹서버 만들기 (0) | 2018.06.13 |
[Python] Beatiful Soup 를 이용하여 Instagram의 정보를 가져오자 #2 (0) | 2018.06.05 |
[Python] Beatiful Soup 를 이용하여 Instagram의 정보를 가져오자 #1 (2) | 2018.06.03 |
댓글
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- Quiz
- 프로그래밍
- 리눅스
- kering
- db
- MFC
- API
- java
- jni강좌
- Troubleshooting
- 음악
- jni
- algorithm
- C
- it
- source
- gcc
- NDK
- 드라이버
- AWS
- linux
- 안드로이드
- winapi
- C++
- Cloud
- driver
- android
- Visual C++
- Python
- database
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
글 보관함