[광주직업전문학교] Crawling (1)

광주직업전문학교 스마트인재개발원에서 9월 파이썬 수업을 마치고 이제 크롤링 수업을 들어갔다. 크롤링은 언어가 아니라 기능! 따라서 컴퓨터 언어인 JAVA로도 가능하고, Python도 가능하다. 하지만 내가 스마트인재개발원에서 배운 방법은 바로 파이썬을 이용한 방법! 따라서 이 Crawling 카테고리에서는 Python을 활용한 웹 크롤링을 다뤄 볼까한다. * 해당 글에 정리하는 명령어 및 화면들은 아나콘다3 및 주피터 노트북이 설치되어 있음을 전제로 합니다. #Crawling (크롤링) 개요 크롤링은 방대한 양의 데이터를 다루기 위한 기법이다. 크롤링을 배우는 이유를 알기 위해서는 '빅데이터'의 개념을 바로 세울 필요가 있다. #빅데이터란? 5V Volume 규모 Velocity 속도 Variety 다양성 Veracity 정확성 Value 가치 5V를 갖춘 디지털 환경에서 생성되는 수치, 문자, 이미지, 영상 데이터를 모두 포함하는 대규모 데이터를 말한다. #수집 데이터 형태(Col...