[4편] bat 파일로 크롤링 하기

1. 자동화의 필요성매번 venv 활성화 → python main.py → 결과 확인?귀찮고 까먹기 쉬움 2. 목표.bat 파일 한 번 클릭으로:가상환경 자동 생성 (없으면)패키지 자동 설치main.py 실행로그 백업에러 감지 시 에러 로그 분리 저장output 폴더 자동 열기 3. 기본 폴더 구조python-crawling-workspace/├── .venv/ ← 가상환경 (없어도 됨, bat에서 자동 생성)├── main.py├── requirements.txt├── run_crawler.bat ← 오늘 만들 파일└── crawler/ ← 사이트별 크롤링 함수 4. run_crawler.bat 예제 (설명 포함)@echo offchcp..

• format_list_bulleted 백엔드
• · 2025. 10. 26.
• textsms

[3편] 파이썬 크롤러 만들기 (BeautifulSoup & Selenium)

1. 크롤러란?크롤러(Crawler)는 웹 페이지의 데이터를 자동으로 수집하는 프로그램ex) 뉴스 기사 수집주식/환율 정보 읽기공공 데이터 정기 수집 2. 사이트 구조 확인: F12 개발자 도구크롤링할 사이트마다 HTML 구조가 다르기 때문에 크롤링을 시작하기 전에는 브라우저에서 F12(개발자 도구)를 열어,원하는 데이터가 어떻게 렌더링되는지 꼭 확인해야 함특히, 데이터가 자바스크립트로 동적으로 로딩되는지아니면 처음부터 HTML에 포함되어 있는지도 중요이 구조에 따라 BeautifulSoup만으로 충분한지,Selenium까지 필요한지가 갈립니다. 3. 필요한 라이브러리 설치pip install requests beautifulsoup4 selenium webdriver-managerrequests: 웹 ..

• format_list_bulleted 백엔드
• · 2025. 10. 26.
• textsms

[1편] Windows에 Python 3.11 설치하는 방법 (PATH 설정까지)

1. python.org에서 설치 파일 다운로드파이썬 공식 설치 사이트 접속 : https://www.python.org/downloads/windows/ "Download Python 3.11.x" 버튼을 클릭 2. 설치 시 주의할 점 (꼭 체크!)설치 파일 실행 ⭐ 꼭 체크: "Add Python 3.11 to PATH"설치 시 체크하지 않으면 python, pip, venv 같은 명령어가 작동하지 않음설치 경로가 보통 C:\Program Files\Python311\로 설정됨그 외 옵션은 기본값 유지 → Install 클릭 3. 설치 확인설치 완료 후 PowerShell을 열고 아래 명령어 입력:python --version// 출력예시 Python 3.11.9 python.exe 경로 확인:whe..

• format_list_bulleted 백엔드
• · 2025. 10. 26.
• textsms