4.14.[PYTHON] 파이썬 크롤러 개발3 – 원하는 데이터 추출

이쯤 되니까 무슨 해커라도 된 기분입니다. 웹페이지의 모든 자료들이 공개된 자료만 있는 것은 아니라는 것을 다들 아실 겁니다. 이와 관련하여 "http 상태(응답) 코드"에 대해 알아보겠습니다. "100"번대는 조건부로 작업이 계속되고 있다는 응답이고, "200"번대가 작업이 성공적으로 완료되었다는 응답이며, 300, 400번대는 작업이 제대로 처리되지 않았다는 응답입니다. 요청한 사이트가 없다는 뜻인 "404" 응답 코드는 많이 보셨을 겁니다. 세부내용은 위의 링크에서 확인하십시오. 작업을 하다 보니 다시 "error occurred during initialization of vm" 메모리 문제가 생겼습니다. 검색을 통해 자바 시스템 변수를 다음과 같이 지정하니 해결되었습니다. 이번 강좌의 예제는 코드 길이도 길지만 웹사이트를 분석하여 대입해야 하는 어려움이 있어서 오래 걸렸습니다. import requests from bs4 import BeautifulSoup as bs fr...

원문링크 : 4.14.[PYTHON] 파이썬 크롤러 개발3 – 원하는 데이터 추출