robots.txt 구글 네이버 검색엔진에 맞게 설정 만드는 법

웹사이트나 티스토리, 워드프레스 등 블로그를 만들고 설정하다보면 robots.txt 를 만들어야 합니다. 사실 없어도 구글, 네이버, 다음, MSN 등 대부분의 검색엔진은 웹사이트나 블로그를 색인할 수 있지만 때때로 원하지 않는 방식으로 접근하고 불필요한 페이지가 색인되어 검색 결과로 노출될 수도 있어서 robots.txt를 설정하는 것이 좋은데요. 검색엔진에 대응하는 robots.txt를 설정하는 방법과 만들어서 적용하는 방법, 검색엔진에 적용하는 방법을 알아봅니다. robots.txt 만들기 robots.txt 만드는 건 누구나 쉽게 할 수 있습니다. 네이버 웹마스터도구에서는 이미 만들어진 robots.txt를 다운로드할 수도 있으니 받아서 수정하거나 그대로 써도 상관 없거든요. 네이버 웹마스터도구에..

원문링크 : robots.txt 구글 네이버 검색엔진에 맞게 설정 만드는 법