파이썬으로 구글 인덱스 크롤링하기

*사실 크롤링(crawling)이라는 말은 이렇게 단순히 페이지를 긁어서 예쁘게 정리하는 것으로 부르기에는 다소 부적절한 표현입니다. 그러나 관례상 이미 너무 많이 이런 작업을 크롤링이라고 하는 바, 여기서는 크롤링이라고 그냥 제목에 썼음을 양해해 주시면 감사하겠습니다. 조금 필요하기도 하고, 프로그래밍 코드 짜기 연습이라도 해볼 겸 파이썬으로 간단하게 Discord 채팅 봇을 만들고있었다가, 구글 검색 결과의 제목과 URL 등과 같은 부분을 정리해서 딱 하나로 보여주는 기능이 있으면 좋겠다 싶었고, 이에 한번 간단히 만들어 봤습니다. "korea" 라고 검색했을 때 가져오게 되는 정보들에 형광펜으로 줄을 그어놨습니다. 그래서 값을 아래와 같은 보기도 편하고 활용하기도 편한 dictionary(또는 거의 비슷하게 생긴 JSON이라고 해도 무방하겠군요.) 형식으로 가져오는 것을 목표로 했습니다. 대략적인 구조로는 검색어(search_keyword), 검색된 결과 개수(search_re...