[5편] 윈도우 환경에서 크롤러 자동 실행하기 (작업 스케줄러 설정법)

1. 왜 자동 실행이 필요할까?매일/매주 뉴스나 데이터를 자동으로 수집하고 싶을 때사람이 수동으로 더블클릭하지 않아도 됨실행 후 결과를 output 폴더에 저장 + 로그까지 남기도록 설정 완료됨 (4편 기준) 2. 준비물run_crawler.bat 배치 파일 (4편에서 만든 것)크롤러 프로젝트 전체 (Python, venv, main.py 등 포함)Windows 환경 (10/11) 3. 작업 스케줄러 설정 방법(1) 작업 스케줄러 실행Win + S 키로 "작업 스케줄러" 검색 → 실행우측 메뉴에서 [작업 만들기] 클릭 (2) [일반] 탭이름: Python 크롤러 자동 실행[✔] 가장 높은 권한으로 실행 체크 사용자가 로그온한 경우에만 실행 → 체크 안 해도 됨 (3) [트리거] 탭[새로 만들기] 클릭시작..

• format_list_bulleted 백엔드
• · 2025. 10. 26.
• textsms

[4편] bat 파일로 크롤링 하기

1. 자동화의 필요성매번 venv 활성화 → python main.py → 결과 확인?귀찮고 까먹기 쉬움 2. 목표.bat 파일 한 번 클릭으로:가상환경 자동 생성 (없으면)패키지 자동 설치main.py 실행로그 백업에러 감지 시 에러 로그 분리 저장output 폴더 자동 열기 3. 기본 폴더 구조python-crawling-workspace/├── .venv/ ← 가상환경 (없어도 됨, bat에서 자동 생성)├── main.py├── requirements.txt├── run_crawler.bat ← 오늘 만들 파일└── crawler/ ← 사이트별 크롤링 함수 4. run_crawler.bat 예제 (설명 포함)@echo offchcp..

• format_list_bulleted 백엔드
• · 2025. 10. 26.
• textsms

[3편] 파이썬 크롤러 만들기 (BeautifulSoup & Selenium)

1. 크롤러란?크롤러(Crawler)는 웹 페이지의 데이터를 자동으로 수집하는 프로그램ex) 뉴스 기사 수집주식/환율 정보 읽기공공 데이터 정기 수집 2. 사이트 구조 확인: F12 개발자 도구크롤링할 사이트마다 HTML 구조가 다르기 때문에 크롤링을 시작하기 전에는 브라우저에서 F12(개발자 도구)를 열어,원하는 데이터가 어떻게 렌더링되는지 꼭 확인해야 함특히, 데이터가 자바스크립트로 동적으로 로딩되는지아니면 처음부터 HTML에 포함되어 있는지도 중요이 구조에 따라 BeautifulSoup만으로 충분한지,Selenium까지 필요한지가 갈립니다. 3. 필요한 라이브러리 설치pip install requests beautifulsoup4 selenium webdriver-managerrequests: 웹 ..

• format_list_bulleted 백엔드
• · 2025. 10. 26.
• textsms

[2편] venv 가상환경 만들기 & Activate.ps1 에러 해결 (Windows PowerShell)

1. venv 가상환경 만들기아래 명령어로 원하는 폴더에 가상환경을 생성cd D:\workspace\python-crawling-workspacepython -m venv .venv 정상적으로 생성되면 .venv라는 폴더가 생기고, 그 안에 Scripts 폴더도 포함됩니다. venv 폴더가 생성되지 않는다면?더보기더보기 >>> 1. VSCode가 가리키는 Python 경로 확인VSCode 상단 명령 팔레트에서 확인합니다: Ctrl + Shift + P → "Python: Select Interpreter" 입력 → 실행➡ 아래 중 하나가 조회됨 Python 3.11.9 64-bit (venv)Python 3.11.9 (C:\Program Files\Python311\python.exe)Python (M..

• format_list_bulleted 백엔드
• · 2025. 10. 26.
• textsms

[1편] Windows에 Python 3.11 설치하는 방법 (PATH 설정까지)

1. python.org에서 설치 파일 다운로드파이썬 공식 설치 사이트 접속 : https://www.python.org/downloads/windows/ "Download Python 3.11.x" 버튼을 클릭 2. 설치 시 주의할 점 (꼭 체크!)설치 파일 실행 ⭐ 꼭 체크: "Add Python 3.11 to PATH"설치 시 체크하지 않으면 python, pip, venv 같은 명령어가 작동하지 않음설치 경로가 보통 C:\Program Files\Python311\로 설정됨그 외 옵션은 기본값 유지 → Install 클릭 3. 설치 확인설치 완료 후 PowerShell을 열고 아래 명령어 입력:python --version// 출력예시 Python 3.11.9 python.exe 경로 확인:whe..

• format_list_bulleted 백엔드
• · 2025. 10. 26.
• textsms