Python Crawling 차단(데이터 못 받는) 오류

간간히 필요한 데이터를 수집하기 위해 크롤러를 구현 해 놓은게 있다. 네이버 뉴스를 크롤링 하는 것인데.. 3개월 만에 다시 사용하려고 하니, 오류가 발생했다. 더보기 IndexError : list index out of range 코드에 list의 첫번째 데이터 [0]을 요청했는데, 위와 같은 오류가 발생한다면 필히 데이터를 받아오지 못한 오류다. 더 정확한 확인을 위해 BeautifulSoup의 연결상태를 확인했다. 500 에러 메세지를 출력하는 경우는 아래와 같다. 서버 통신의 Timeout 시간 지연 오류 서버 트래픽 과부하 서버 언어의 구문 에러 등 구글링을 통해 적당 해 보이는 해결방안을 찾아서 실행 해 보았다. 1. Time Delay 추가 Selenium으로 Webdriver를 사용하는 ..

원문링크 : Python Crawling 차단(데이터 못 받는) 오류