[ Selenium 실습 ] 파이썬 python, 셀레니움 Selenium 활용 네이버 뉴스와 댓글 한번에 웹 클로링해 빅데이터 분석 마스터

파이썬(python), 셀리니움(Selenium)으로 뉴스 기사를 클릭해 뉴스 내용을 스크랩핑한 후 다시 댓글을 클릭해 댓글 정보를 가져오자... [ 셀레니움 Selenium을 이용해 네이버 뉴스와 댓글 크롤링 ] 네이버 뉴스 기사 및 댓글 크롤링 과정 셀레리움(Selenium)을 사용하면 웹 페이지를 통제할 수 있기 때문에 검색어로 뉴스를 검색한 후 뉴스 기사를 하나씩 클릭해 해당 기사 내용을 스크랩핑하고, 다시 댓글을 클릭해 댓글 정보를 가져올 수 있다. 네이버 뉴스 기사 및 댓글을 크롤링하기 위해서는 다음과 같은 과정을 수행한다. 먼저 키워드를 입력해 뉴스를 검색한다. 검색결과에서 '네이버뉴스'라고 태그된 기사만 우선 스크랩핑한다. 신문사 홈페이지로 연결된 기사들은 html 소스가 일관적이지 않아 크롤링이 불가능하다. 그래서 태그에 일관성을 가지고 있는 '네이버뉴스'만 클로링한다. '네이버뉴스'를 통해서 접속한 후 해당 기사 페이지에서 크롤링을 원하는 정보를 선택하고 우측 마우...