JHB의 삽질 이야기

beautiful soup 등으로 한글 url에 접근하려고 하면 접근이 안된다. 한번 변환을 해줘야 한다 흔히 봤을 것이다. 예를 들어 http://www.instagram.com/explore/tags/존맛탱 의 경우는 http://www.instagram.com/explore/tags/%EC%A1%B4%EB%A7%9B%ED%83%B1 이런식으로 이상한 괴기스러운 문자로 변환된다. 이를 이용하면 된다. urllib의 parse method를 이용해서 아래와 같이 작성해준다. from urllib import parse url_tmp = "www.instagram.com/explore/tags/" + word url = "http://" + parse.quote(url_tmp) 그러면 'word'에 한글..

selenium을 통해서 self.browser.get(url) 하고서 self.browser.page_source 를 해줬는데.. 원하는 페이지의 내용이 아니다..? 왜그런 것일까 나는 막연히 get(url) 메소드가 블락킹 메소드겠거니.. 했다. 근데 생각해보니 ajax로 로딩되는 놈은 page가 loaded 된 이후에도 계속해서 동적으로 로딩 된다는 사실.. 즉 블락킹 메소드고 뭐고를 떠나서 아직 동적으로 그려지지 않았을 수 도 있다! 그럼 어떻게 해야하는가? selenium wait으로 검색하면 몇가지 방법이 나온다. http://selenium-python.readthedocs.io/waits.html 를 참고하면 좋다. 크롤링을 원하는 태그가 나올때까지 wait 하는 기능이다. 유후 오늘 열라..