[팁] 웹로봇 수집막기

웹로복의 수집규약(?)상 robots.txt라는 파일에 수집대상을 제한하도록 되어있다고 한다. (처음알았음) http://도메인/robots.txt User-agent: * Disallow: /spn/site/data/ Disallow: /priv/ Disallow: /svc/ Dis..

[팁] 웹로봇 수집막기에 대한 요약내용입니다.

자세한 내용은 아래에 원문링크를 확인해주시기 바랍니다.

원문링크 : [팁] 웹로봇 수집막기