로봇배제 표준(robots.txt)

■ 로봇 배제표준 이란? 로봇 배제 표준은 웹 사이트에 로봇이 접근하는 것을 방지하기 위한 규약으로, 일반적으로 접근 제한에 대한 설명을 robots.txt에 기술한다. 이 규약은 1994년 6월에 처음 만들어졌고, 아..

로봇배제 표준(robots.txt) 글에 대한 티스토리 블로그 포스트 내용이 없거나, 요약내용이 적습니다.

아래에 원문링크를 통해 로봇배제 표준(robots.txt) 글에 대한 상세내용을 확인해주시기 바랍니다.

원문링크 : 로봇배제 표준(robots.txt)