본문 바로가기
티스토리

광고 크롤러 오류 뜻과 해결방법

by 달팽이는 작가가 되고 싶지 2021. 9. 6.
728x170

 

여느 때와 다름 없이 구글 애드센스를 보고 있는데 갑자기 화면 윗 부분에 “광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다”라는 팝업이 떴습니다. 아직 수익라고 할 것 까지도 없지만 뭔가 불이익이 있을 것 같아서 광고 크롤러 오류가 무슨 뜻인지 찾아보기 시작했습니다.

 

 

1. 광고 크롤러 오류란?

 

1) 사전적 의미

 

크롤러(crawler)란 사전적인 의미로 기어다니는 것을 의미하는데 웹과 관련하면 웹을 돌아다니면서 정보를 수집하는 것인 웹 크롤러(Web crawler)를 의미합니다.

 

 

2) 구글에서 정의하는 크롤러의 의미

 

이 문제에서 가장 잘 알고 있을 구글은 웹 크롤러를 어떻게 정의하는지를 살펴보니, 구글 검색 센터에서 그 의미를 찾을 수 있었는데, “크롤러(crawler)는 로봇 또는 거미와 같이 웹페이지 사이의 링크를 따라다니면서 웹사이트를 자동으로 발견하고 검색하는 프로그램을 가리키는 일반적인 용어”라고 설명합니다.

 

그러면서 구글 봇(Googlebot) 구글 웹 크롤러의 이름이며, 이러한 구글 봇은 데스크톱을 위한 크롤러와 스마트폰 등 기기를 위한 크롤러를 모두 포함하는 것이라고 합니다.

 

 

3) 광고 크롤러 오류의 의미

 

즉, 광고 크롤러 오류란 티스토리 페이지에 광고를 제대로 게재하기 위해서는 해당 페이지의 내용을 크롤러가 수집해야 하는데, 구글 봇(웹 크롤러)이 이를 인식할 수 없는 오류가 발생하여 광고를 제대로 게재할 수 없다는 의미입니다. 광고가 제대로 게재될 수 없으니 당연히 수익 손실이 발생하는 것은 당연하겠지요.

 

 

2. 광고 크롤러 오류 해결 방법

 

일단 애스센스 페이지 팝업을 누르면서 어떤 식으로 안내하는지 따라가 보았습니다.

 

 

1) 팝업에서 작업 버튼 누르기

 

팝업창에 있는 작업 버튼을 누르면 해결방법이 있을 것 같아 눌러보았습니다.

 

 

2) 문제가 있는 사이트 확인하기

 

작업버튼을 누르면 문제가 있는 사이트가 무엇인지 표시가 됩니다. 제 티스토리 블로그에 문제가 있고 문제가 있는 페이지는 1개라고 알려주네요. 다행히도 다른 페이지에는 문제가 없고 해당 포스팅 페이지만 문제가 있다는 의미로 보입니다. 문제 유형은 크롤러 문제로 호스팅 서버에 연결할 수 없다고 되어 있고 해결해야 하는 문제는 아니라고 써있기는 한데, 아직까지는 어떻게 해결하라는 것인지 모르니 아래 사이트를 한번 눌러 보았습니다.

 

 

3) 어떤 페이지에 문제가 있는지 확인하기

 

아하. 2021년 9월 2일에 포스팅한 글에 문제가 발생했다고 알려주네요. 역시 해결해야하는 문제는 아니라고 표시되어 있고, 호스팅 서버에 연결할 수 없는 크롤러 오류가 발생했다고 알려줍니다. 그리고 광고 게재 상태는 수요가 제한된 상태라고 되어 있네요.

 

 

 

그런데. 수요가 제한된 상태라는 것은 도대체 어떤 상태를 의미하는 걸까요??

 

 

구글은 크롤링 수요에 대해서 “크롤링 속도 제한에 도달하지 않더라도 색인 생성의 수요가 없으면 Googlebot의 활동이 줄어듭니다. 크롤링 수요를 판단하는 데 중요한 역할을 하는 두 요소는 인기도와 비활성 요소인데, 비활성이란 구글 시스템이 URL을 색인에서 비활성되는 것을 방지하는 것입니다” 라는 취지로 설명하고 있습니다.

 

뭔가 번역되어 이해하기 어려운 말이지만, 티스토리 블로그의 특정 페이지가 구글에서 색인이 생성되지 않았다는 뜻으로 이해가 되었습니다. 그렇다면 혹시 구글 서치 콘솔에 색인 생성을 요청하라는 의미일까요?

 

 

4) 크롤링 허용하기(색인 생성 요청하기)

 

구글 애드센스 고객센터에 가보니 애드센스 크롤러 문제 해결이라는 항목이 있는데, 사이트 문제 중 새로 게시된 콘텐츠 문제와 해결 방법을 제시하고 있었습니다.

원인 확인사항 해결방법
사이트에 새로 게시된 콘텐츠가 있습니다.
 
새 페이지를 게시하면 Google 크롤러가 콘텐츠를 크롤링하기 전에 광고 요청이 발생할 수 있습니다. 새 콘텐츠를 많이 게시하는 사이트로는 사용자 제작 콘텐츠, 뉴스 기사 또는 대규모 제품 인벤토리로 구성된 사이트와 날씨 사이트 등이 있습니다.
최근에 게시된 새 콘텐츠가 있나요?  광고 크롤러가 더 긴 시간에 걸쳐 새 콘텐츠를 크롤링할 수 있도록 허용하세요.
 
일반적으로 새 URL에 광고 요청이 이루어진 후 몇 분 이내에 콘텐츠가 크롤링됩니다. 이러한 몇 분 동안에는 콘텐츠가 크롤링되지 않아서 게재되는 광고가 적을 수 있습니다.

 

애드센스의 원인과 해결방법에 대한 설명을 보았을 때도, 광고 크롤러 오류는 새로 게시된 페이지의 URL이 구글 색인에 등록되지 않아 발생한 것임을 짐작하게 하였습니다.

 

 

해결 방법을 알았으니 구글서치콘솔(google search console)에 가서 문제가 된 페이지의 색인 요청을 하면 되겠지요?

 

 

물론 구글서치콘솔에서 페이지 색인 요청을 한다고 해서 바로 문제가 해결 되지는 않습니다. 요청 후 실제 색인이 되기 까지 일정한 시간이 소요되기 때문인데요, 색인 요청 후 1~2일 후에는 색인이 생성되니, 1~2일 후에는 해결 될 것입니다.

 

그리드형

댓글