구글 검색엔진에서 [로봇, robots]은 구글이 웹사이트를 자동으로 검색하는 데 사용하는 프로그램을 지칭합니다. 구글 서치 콘솔을 사용하다 보면 자주 마주치는 용어인데요. 구글에서의 원활한 검색을 위하여 로봇에 대해 알아봅시다. 1. 로봇의 의미 로봇은 '크롤러', 또는 '스파이더'라고도 불리는 검색엔진 관련 용어입니다. 한 웹페이지에서 다른 웹페이지로 연결되는 링크를 따라가며 웹사이트를 자동으로 검색하는 데 사용되는 프로그램을 가리키는 용어로 구글의 기본 로봇은 Googlebot이라고 합니다. 쉽게 말해 웹페이지를 돌아다니며 콘텐츠를 확인하는 소프트웨어입니다. 2. robots.txt 란? robots.txt 는 로봇이 해당 사이트를 액세스하고 콘텐츠를 확인할 수 있도록 URL을 알려주는 파일입니다...
원문링크 : 구글 서치 콘솔 로봇이란? (robots.txt 테스트와 경고)
네이버 블로그
티스토리
커뮤니티