워드프레스에서 가장 유용한 플러그인 중 하나인 Virtual Robots.txt에 대해 알아보겠습니다. 이 플러그인은 웹사이트를 크롤링하고 인덱싱하는 방법을 지시하는 로봇 파일을 생성하는 데 도움이 됩니다. 로봇 파일, 즉 robots.txt 파일은 웹 크롤러와 검색 엔진 로봇이 웹사이트를 어떻게 탐색하고 어디를 접근하면 안 되는지를 알려주는 역할을 합니다. 이 파일은 웹사이트의 루트 디렉토리에 저장되며, 웹사이트의 주소 뒤에 "/robots.txt"를 추가하여 접근할 수 있습니다. 로봇 파일을 생성하는 방법은 간단합니다. 메모장에서 내용을 작성한 후 파일명을 robots.txt로 저장하고, 워드프레스의 ftp를 통해 public_html 디렉토리에 파일을 업로드하면 됩니다. 또는 Virtual Robots와 같은 플러그인을 사용하여 가상 로봇 파일을 생성할 수도 있습니다. 그러나 주의할 점은 로봇 파일을 여러 군데에 중복하여 생성하면 안 된다는 것입니다. 이는 크롤러가 혼란을 겪을...
원문링크 : 워드프레스 가상 Robots.txt 파일 플러그인 virtual robots
네이버 블로그
티스토리
커뮤니티