[Http(s)] robots.txt 사용하는 방법

robots.txt 검색로봇 사용하는 방법 robots.txt? 사이트 내용을 수집합니다. 수집된 자료 대해서는 포털사이트에서 검색으로 노출 되는 방식 입니다. 로봇 배제 표준은 웹 사이트에 로봇이 접근하는 것을 방지하기 위한 규약으로, 일반적으로 접근 제한에 대한 설명을 robots.txt에 기술한다. 이 규약은 1994년 6월에 처음 만들어졌고, 아직 이 규약에 대한 RFC는 없다. 이 규약은 권고안이며, 로봇이 robots.txt 파일을 읽고 접근을 중지하는 것을 목적으로 한다. 따라서, 접근 방지 설정을 하였다고 해도, 다른 사람들이 그 파일에 접근할 수 있다. robots.txt 파일은 항상 사이트의 루트 디렉토리에 위치해야 한다. 사용방법 robots.txt 문서로 제작 후 루트 디렉토리에 저..

원문링크 : [Http(s)] robots.txt 사용하는 방법