Python/웹 크롤링

[Python] Selenium 사용하는 법(feat. chromedriver 설치)

0. Selenium 이란? 웹 크롤링을 하는 과정에서 로그인이 필요한 경우, 또는 해당 웹사이트가 프로그램을 통한 접근을 막은 경우, 동적으로 생성된 정보를 가져와야하는 경우 등 requests, beautifulsoup로는 페이지를 수집하는 것에 한계가 있다. 셀레니움(Selenium)은 이럴 때 브라우저를 조작할 수 있게 도와주는 라이브러리이다. 원래 Selenium은 웹 애플리케이션을 테스트하기 위한 목적으로 만들어진 포터블 프레임워크지만 웹 크롤링을 할 때 직접 브라우저를 자동 제어하는 것에 큰 도움이 되었기 때문에 웹 크롤링에 많이 쓰이게 되었다. 1. 셀레니움 라이브러리 설치 먼저 터미널을 이용해 셀레니움 라이브러리를 설치해주자. pip install selenium 주피터 노트북에서 앞에 ..