티스토리 뷰
selenium을 통해서
self.browser.get(url)
하고서
self.browser.page_source
를 해줬는데..
원하는 페이지의 내용이 아니다..?
왜그런 것일까
나는 막연히 get(url) 메소드가 블락킹 메소드겠거니.. 했다.
근데 생각해보니 ajax로 로딩되는 놈은 page가 loaded 된 이후에도 계속해서 동적으로 로딩 된다는 사실..
즉 블락킹 메소드고 뭐고를 떠나서 아직 동적으로 그려지지 않았을 수 도 있다!
그럼 어떻게 해야하는가?
selenium wait으로 검색하면 몇가지 방법이 나온다.
http://selenium-python.readthedocs.io/waits.html
를 참고하면 좋다.
크롤링을 원하는 태그가 나올때까지 wait 하는 기능이다.
유후 오늘 열라 삽질했는데 다행히 오늘내로 끝내서 굳굳
'Language > Python' 카테고리의 다른 글
Python No module named '...' 해결하기 (1) | 2018.07.25 |
---|---|
Python Flask 이용하여 json reponse server 개발하기 (0) | 2018.07.24 |
Windows에서 Python으로 Redis 사용법 (0) | 2018.07.20 |
python에서 한글 url 열기 (2) | 2018.07.18 |
[Python] Beatiful Soup 를 이용하여 Instagram의 정보를 가져오자 #3 (2) | 2018.06.13 |
[Python] Django로 간단한 웹서버 만들기 (0) | 2018.06.13 |
[Python] Beatiful Soup 를 이용하여 Instagram의 정보를 가져오자 #2 (0) | 2018.06.05 |
[Python] Beatiful Soup 를 이용하여 Instagram의 정보를 가져오자 #1 (2) | 2018.06.03 |
댓글
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- jni
- source
- it
- API
- Cloud
- Visual C++
- AWS
- Troubleshooting
- driver
- 안드로이드
- linux
- kering
- Python
- android
- java
- 프로그래밍
- winapi
- NDK
- MFC
- 음악
- C++
- C
- algorithm
- database
- Quiz
- jni강좌
- db
- 리눅스
- 드라이버
- gcc
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
글 보관함