웹 크롤링1 파이썬 웹 크롤링(requests, bs4) 파이썬으로 다양한 활동을 할 수 있는데 오늘은 그 중에서 웹 크롤링하는 방법에 대해 알아보려고 한다. 웹 크롤링이란 어떤 URL에서 하이퍼링크를 분류하고 원하는 데이터를 찾아내 DB에 저장하는 것이다. 목차 1. requests 모듈 설치 2. bs4 모듈 설치 3. 크롤링 영역 찾기 4. 코드 작성 1. requests 모듈 설치 pip install requests 명령 프롬프트를 실행시켜 위의 명령어를 입력하면 설치가 진행된다. requests 모듈은 HTTP 요청을 보내는 모듈이다. 원하는 URL에 접속하여 해당 인터넷 페이지에 있는 HTML 코드를 가져오고 그 코드 중에서 원하는 내용만 스크래핑할 수 있도록 도와준다. 아나콘다를 설치한 경우에는 기본적으로 설치되어 있다. https://pypi... 2023. 3. 25. 이전 1 다음 반응형
