데이터 수집하기 with Nodejs #3 | 크롤링

2020.10.9 미디엄 퍼블리케이션에서 작가 개수세기 lib 내의 http_agent / http_client/ http_common/ http_outgoing _http_agent.js _http_client.js _http_common.js _http_outgoing.js 위 네가지는 서로 연결되어 있다. lib/internal/http lib/http http_parser net 큰 틀 low하게 내려가 봐도 예상과 크게 달라지는 건 없었다. crawl은 web통신을 기반으로 이뤄지며, requests는 그 과정에서 일어나는 행동일 뿐이다. 그래서 결과적으로 http라는 통신이 그 핵심이며 어떻게 문서를 읽어내고 정리하는 지는 high한 부분에서 해결될 수 있다. 그렇다면 http통신은 nodejs에서 어떻게 이뤄지는가 : net (server를 열고 socket을 만들고) socket..........

원문링크 : 데이터 수집하기 with Nodejs #3 | 크롤링