[3편] 파이썬 크롤러 만들기 (BeautifulSoup & Selenium)

1. 크롤러란?크롤러(Crawler)는 웹 페이지의 데이터를 자동으로 수집하는 프로그램ex) 뉴스 기사 수집주식/환율 정보 읽기공공 데이터 정기 수집 2. 사이트 구조 확인: F12 개발자 도구크롤링할 사이트마다 HTML 구조가 다르기 때문에 크롤링을 시작하기 전에는 브라우저에서 F12(개발자 도구)를 열어,원하는 데이터가 어떻게 렌더링되는지 꼭 확인해야 함특히, 데이터가 자바스크립트로 동적으로 로딩되는지아니면 처음부터 HTML에 포함되어 있는지도 중요이 구조에 따라 BeautifulSoup만으로 충분한지,Selenium까지 필요한지가 갈립니다. 3. 필요한 라이브러리 설치pip install requests beautifulsoup4 selenium webdriver-managerrequests: 웹 ..