프로젝트 조각 모음1 [ Python ] 웹 크롤링을 이용한 데이터 시각화 Python 을 이용하여 네이버 뉴스 IT/과학을 크롤링 후 데이터를 시각화 해보았습니다. 1. 네이버 뉴스 IT/과학 카테고리 웹 크롤링 네이버 뉴스 중 관심분야인 IT/과학 카테코리의 코드를 크롤링 해왔습니다. 웹 크롤링시 가장 많이 사용하는 BeautifulSoup를 import 하여 사용했습니다. 원래 requests.get에 headers를 넣지 않아도 되지만, 네이버 뉴스의 메인페이지 이외에 카테고리에는 크롤링을 막아 놓아서 추가로 넣어주었습니다. 데이터 수집을 할 때 종종 웹페이지에서 크롤링을 통한 데이터수집을 막아놓는 경우가 있습니다. 이것을 "안티 크롤링" 이라 부릅니다. 이때 아래의 코드처럼requests.get()함수 안에 headers={'User-Agent':'Mozilla/5.0.. 2021. 3. 31. 이전 1 다음
