nodejs 웹크롤링을 통해 데이터 수집하기 #2

2020.10.9 미디엄 퍼블리케이션에서 작가 개수세기 “node-crawler” (open source) crawl_using_OP.js node-crawler 를 사용하여 medium에서 dawn의 publication의 author부분만 crawl했다. 어렵지 않다. 그냥 가이드에서 샘플로 나온것대로 코드를 적고 태그를 특정해주면 된다. 그리고 실행해주면 배열을 출력하게 해놨다. 이제 이걸 카운팅 할 차례 counting name in array crawl_using_OP.js 0331 기준 잘됨 알고리즘 너무 안했더니 간단한 로직에서조차 머리가 굳어버렸다. not using open source and crawling with standard lib www.twilio.com/blog/2017/08/http-requests-in-node-js.html standard lib에 대해 검색하다가 그냥 들어가..........

원문링크 : nodejs 웹크롤링을 통해 데이터 수집하기 #2