robots.txt 네이버 웹마스터도구 생성방법

robots.txt 네이버 웹마스터도구 생성방법 안녕하세요. 예비 파이어족 주상승입니다. 오늘은 티스토리 블로그를 운영하는 사람이라면 알아두면 좋은 robots.txt를 네이버 웹마스터도구에 등록하는 방법에 대해 알아보도록 하겠습니다. 강제적으로 꼭 해야하는 것은 아니지만 크롤링으로인해 서버에 문제가 생길 수 있는 것을 방지할 수 있으니 미리 설정해두는 것이 좋겠습니다. robots.txt란? robots.txt는 웹 사이트의 검색 엔진 크롤러에게 해당 웹 사이트에서 어떤 페이지를 크롤링하고 인덱싱할 수 있는지에 대한 지침을 제공하는 텍스트 파일입니다. robots.txt는 크롤러가 내 사이트에 접속해 정보수집을하는 과정에서 생길 수 있는 과부하를 방지해줍니다. 이를 통해 검색엔진로봇에서 어떤 웹사이트를 어떻게 크롤링 할 것인지 지시를 할 수 있습니다. 네이버 웹마스터도구 네이버 서치어드바이저의 웹마스터 도구를 클릭해 사이트 간단 체크를 합니다. 이렇게 체크를 해보니 한가지 항목이 ...

원문링크 : robots.txt 네이버 웹마스터도구 생성방법