애드센스 승인을 위한 블로그스팟 robots.txt 최적화 설정법
구글 애드센스 승인을 준비 중이라면 반드시 확인해야 할 요소 중 하나가 바로 robots.txt 설정이다. 이 파일은 검색 엔진 로봇에게 어떤 페이지를 크롤링할 수 있고, 어떤 페이지는 제외해야 하는지를 알려주는 지침서 역할을 한다. 특히 블로그스팟(Blogger)에서는 기본 설정을 그대로 두기보다, 애드센스 승인에 최적화된 방식으로 직접 설정해주는 것이 유리하다.
구글봇은 'Disallow:' 뒤에 아무 값도 입력하지 않는다는 것은 차단할 경로가 전혀 없음을 명시적으로 선언하는 것이다. 다시 말해, 구글봇은 블로그의 모든 페이지에 자유롭게 접근할 수 있으며, 이는 애드센스 광고가 블로그 전반에 걸쳐 정확하게 작동하도록 돕는다.
모든 검색 엔진 '로봇'을 대상으로 한다. /search 경로는 블로그스팟의 내부 검색 결과 URL로, 중복 콘텐츠 및 품질 저하 문제를 유발할 수 있어 검색 결과에서 제외시키는 것이 좋다.
robots.txt 권장 사용 설정은 'Disallow:' 기입
애드센스 승인용 추천 robots.txt 설정
구글봇(Mediapartners-Google)은 구글 애드센스 광고 수익과 관련된 크롤러이다.
블로거스팟을 이용하는 유저라면 robots.txt 설정을 SEO 최적화에 맞게 아래의 코드로 권장하고 있는데 먼저 접근 설정 설명 후 이렇게 해야 되는 이유에 대해서 설명 하겠다.
맞춤 robots.txt 설정
|
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://[블로그주소].blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 Sitemap: https://[블로그주소].blogspot.com/sitemap.xml |
위 설정은 두 가지 크롤러 그룹을 대상으로 각각 다른 접근 권한을 부여하고 있다.
블로그스팟에서 설정하는 곳은 아래의 경로에서 찾자.
경로 : 블로그스팟 -> 설정 -> 맞춤 robots.txt
1. 구글봇 Mediapartners-Google 전용 설정
구글봇 크롤링 제한 없음 설정
User-agent: Mediapartners-Google
Disallow: |
2. 일반 검색 엔진용 설정
모든 봇 크롤링 권한 허용
User-agent: * Disallow: /search
Allow: / |
모든 검색 엔진 '로봇'을 대상으로 한다. /search 경로는 블로그스팟의 내부 검색 결과 URL로, 중복 콘텐츠 및 품질 저하 문제를 유발할 수 있어 검색 결과에서 제외시키는 것이 좋다.
반면 Allow: /는 루트 디렉토리를 포함한 모든 하위 경로에 대해 접근을 허용한다는 의미로, 검색 엔진이 블로그의 주요 콘텐츠를 수집할 수 있도록 돕는다.
둘의 명령어는 '전체 허용'이지만 가장 큰 차이는 "명시성"에 있다.
'Disallow:' 와 'Allow: /'의 차이는 명시성
3. Allow와 Disallow의 의미 차이
| 목록 | Disallow: | Allow: / |
| 의미 | 접근할 수 없는 경로가 '전혀 없음' |
루트 디렉토리와 그 하위의 모든 경로 접근을 '명시적 허용' |
| 효과 | 전체 허용 | 모든 콘텐츠 접근 허용 |
'Disallow:'에 값을 입력하지 않으면 암묵적으로 허용되지만, 'Allow: /'는 특정 경로의 허용을 명확히 선언하는 방식이다. 이러한 명시적 허용은 일부 검색엔진에 대해 더 나은 인덱싱 신호로 작용할 수 있다.
Atom 기반: atom.xml
XML 기반: sitemap.xml
두 개를 함께 등록함으로써 검색 엔진은 최신 포스트뿐만 아니라 전체 구조도 함께 인식할 수 있어, 애드센스 승인에도 긍정적인 영향을 줄 수 있다.
robots.txt는 단순한 설정이지만, 검색 엔진 최적화(SEO)와 애드센스 승인에 모두 영향을 미치는 중요한 요소이다. 위 예제처럼 불필요한 경로는 차단하고, 주요 콘텐츠는 명확하게 허용하며, 사이트맵까지 등록하면 더욱 빠른 애드센스 승인을 기대할 수 있다.
4. Sitemap 등록도 잊지 말자
사이트맵(Sitemap)은 검색 엔진이 블로그 내 콘텐츠 구조를 더 빠르고 정확하게 파악할 수 있도록 돕는다. 위 예제에서는 두 가지 형식을 함께 등록했다.XML 기반: sitemap.xml
그럼 끝
