검색엔진 최적화(SEO)에 도움을 주는 robots.txt

robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안이다. 말하자면 웹사이트 정보를 수집하려는 로봇이 웹사이트 계정에 접속하여 마음대로 돌아다니면서 정보를 수집할 수 있도록 허가해 주는 일종의 문서라고 보면 된다. IETF에서는 2022년 9월에 이에 대한 표준화 문서를 발행하였다. robots.txt 파일은 항상 사이트의 루트(최상위) 디렉터리에 위치해야 하며 로봇 배제 표준을 따르는 일반 텍스트 파일로 작성해야 합니다. 좀 더 쉽게 설명하면 index.html과 동일한 디렉터리에 robots.txt 파일이 위치해야 한다는 것이고 작성은 메모장을 이용하여 txt 파일로 작성하면 된다는 것이다. 네이버와 구글, Bing 등의 검색로봇은 robots.tx..

원문링크 : 검색엔진 최적화(SEO)에 도움을 주는 robots.txt