[SEO 관련] robots.txt 세팅으로 내 블로그/홈페이지 크롤링 범위 설정하기

#SEO - 검색엔진최적화의 핵심은 콘텐츠다. 하지만 단가가 높은 키워드일수록 콘텐츠만으로는 승부를 보기 어려워지고, 결국 기술적인 부분의 도움을 받을수밖에 없게 된다. 여기서 기술적인 부분이란 웹사이트 속도의 #최적화(퍼포먼스), #보안(SSL), #모바일 친화성, 웹페이지의 #접근성(a11y)등 다양한 요소가 고려된다. 실제로 구글 Lighthouse 검사를 해보면 위와같은 부분들이 종합 점수에 큰 영향을 미치는것을 볼 수 있다. 이와 더불어 기술적으로 내 웹사이트 검색결과에서 [보여주어야 할 것]과 [보여주지 말아야 할 것]을 구분해서 검색결과에 적절히 노출시켜주는것 또한 SEO에 있어 굉장히 중요한 부분이다. 구글의 robots.txt 검색결과 중 [보여주어야 할 것]의 예시로는 검색엔진에 노출되어야하는 내 웹사이트의 콘텐츠 그 자체가 될것이고, [보여주지 말아야 할 것]의 예시로는 회원탈퇴 페이지 혹은 관리자 화면 등이 있을것이다. 조금 극단적인 예시이지만, 만약 내가 "스...

원문링크 : [SEO 관련] robots.txt 세팅으로 내 블로그/홈페이지 크롤링 범위 설정하기