🚀 Google Search Console 에러 해결: ‘Blocked by robots.txt’ & ‘Indexed, though blocked by robots.txt’ 완벽 정리! 🌟
“Google Search Console 에러 리포트를 보며 혼란스러우신가요? 이 글을 통해 ‘Blocked by robots.txt’와 ‘Indexed, though blocked by robots.txt’ 에러의 차이점과 해결 방법을 명확히 알아보세요!” 👩💻
SEO 전문가라면 한 번쯤은 “Blocked by robots.txt” 및 “Indexed, though blocked by robots.txt”라는 오류 메시지를 받아 본 적이 있을 것입니다. 구글에서는 이 두 오류 메시지를 통해 웹사이트 관리자가 선택한 크롤링 및 인덱싱 옵션에 대한 정보를 제공합니다. 그렇다면 이 두 메시지는 정확히 무엇을 의미하고, 어떻게 해결해야 할까요? 🔍
📌 ‘Blocked by robots.txt’ vs. ‘Indexed, though blocked by robots.txt’? 🤔
차이점:
- Blocked by robots.txt: 검색엔진이 이 URL을 색인하지 않습니다.
- Indexed, though blocked by robots.txt: 이 URL은 색인되어 검색결과에 나타나지만, robots.txt 파일에서 차단하려고 했던 URL입니다.
🚧 ‘Blocked by robots.txt’ 오류 해결 방법 💡
1. 수작업으로 플래그된 페이지 리뷰하기 📋
우선, Google Search Console의 ‘Blocked by robots.txt’ 보고서를 통해 모든 페이지를 검토하세요. 목표는 검색엔진에 노출되어야 하는 페이지가 여기에 포함되어 있는지 확인하는 것입니다.
2. 실수로 차단된 URL 식별하기 🕵️♂️
의도적으로 차단한 페이지가 아니라면 robots.txt 파일에서 해당 URL의 disallow 지시문을 삭제하세요.
3. Google Search Console을 통해 체크롤 요청하기 🔄
disallow 지시문을 삭제한 후에는 Google Search Console에서 URL을 다시 크롤링할 수 있도록 요청하세요. 이렇게 하면 검색엔진이 해당 URL을 다시 색인할 기회를 갖게 됩니다.
🔄 ‘Indexed, though blocked by robots.txt’ 오류 해결 방법 🛠️
1. 플래그된 페이지 수작업 리뷰 🌐
Google Search Console의 ‘Indexed, though blocked by robots.txt’ 보고서를 통해 페이지를 검토하세요. 페이지가 검색엔진에 노출되어야 하는 중요한 컨텐츠인지 평가하는 것이 중요합니다.
2. disallow 지시문 삭제 및 recrawl 요청 📬
의도하지 않게 차단된 URL이라면, robots.txt에서 disallow 지시문을 삭제하고, Google Search Console에서 해당 페이지의 인덱싱을 요청하세요.
3. 완전히 비공개로 만들고 싶다면 noindex 태그 추가 🕶️
필요 없는 페이지라면, disallow 대신 noindex 태그를 적용해 완전히 검색엔진에서 배제하도록 조치하는 것이 좋습니다.
🔑 성공 전략: 크롤링 및 인덱싱을 위한 명확한 전략 수립하기 📈
모든 URL이 검색엔진에 노출되어야 하는 것은 아닙니다. 여러분 웹사이트의 크롤링 전략을 명확히 세우세요. 때로는 특정 페이지가 숨겨져야 더 효과적인 웹사이트 운영이 가능합니다. 예를 들어, 리드 생성이나 감사를 위한 페이지는 공개할 필요가 없습니다. 🧩
결국, 여러분이 선택한 SEO 전략이 효과적으로 작동할 수 있도록 Google Search Console을 활용해 지속적인 모니터링과 개선을 이어가세요. 👍
궁금한 점이 있다면 자유롭게 의견을 남겨주세요! 😊