티스토리 robots.txt

티스토리 robots.txt User-agent: * Allow: / 이게 뭘까요? 로봇에게 허락할지 말지를 결정하는 아주 간단한 [robots.txt]의 내용입니다. [*]은 컴퓨터 정규 표현식에서 모든 것을 의미합니다. 즉 모든 검색로봇들의 검색을 허용하겠다는 얘기입니다. 두 번째 [/]는 루트를 의미합니다. 루트 즉 뿌리. 블로그의 모든 것을 검색해도 된다는 얘기입니다. 루트는 바로 끌텅이거든요. 이 파일이 자신의 블로그 루트에 두었을 때 검색로봇이 이 텍스트 파일을 보고 검색 여부를 결정하거든요. 그러면 네이버에서는 어떻게 이 사실을 알리는지요? 네이버 웹마스터 도구에 등록을 해줘야 합니다. 네이버가 블로거의 운영 편의성을 도모하기 위해 운영하는 [searchadvisor.naver.com]이 있..

원문링크 : 티스토리 robots.txt