수집오류페이지에 대한 해결방법

블로그를 사용하는 사람이라면 누구나 작성한 포스트(페이지)를 삭제하거나 수정했던 경험이 있을 것이다.

이미 내 블로그내에서 삭제된 페이지(내용을 담고 있는)임에도 불구하고 지속적으로 구글이나 네이버에 검색노출이 되어 있는 경우가 있다. 이것은 검색로봇이 이전에 내 블로그에서 수집되었던 자료를 계속 가지고 있어서 사용자가 검색을 요청할 때마다 검색결과로 노출하기 때문에 발생하는 현상이다.

 

 

필자의 경우는 7월 27일 이미 해당 페이지를 삭제하였음으로 검색로봇이 수집시 당연히 저와 같은 notFound(찾을 수 없음)라는 오류메세지를 내보내는 것은 당연할 것이다. 위의 해당페이지로 접근하면 아래와 같은 결과를 도출한다.

 

 

그냥 내버려둬도 상관없는 일이지만, 혹시나 검색된 제목으로 내 블로그에 접근한 사용자를 생각하면 시급한 조치가 필요한 상태인 것 같다.

그럼 이러한 오류페이지에 대해 어떻게 조치를 취해야 할까? 네이버의 경우, 웹마스터도구에서 수집되는 웹페이지 검색제외를 시키면 된다.

 

 

검색제외를 원하는 페이지의 URL를 입력하고 확인을 누르면 제외요청 URL 목록에 아래와 같이 작성된다.

이로써, 사용자의 검색결과로 잘못된 페이지(이미 삭제된)를 검색노출하는 일은 없을 것 같다. 네이버에서 오류페이지에 대한 검색을 해보았다. 이전과는 다르게 검색결과에서 찾아볼 수 없었다. 이 말은 앞으로 이 페이지가 검색되는 일은 없을 것임을 의미한다.

 

 

이번에는 구글에서 http://lifechallenger.tistory.com/66을 검색해보았다.

 

여전히 존재하는 페이지로 검색이 된다. 하지만 제목을 클릭하면 여전히 "잘못된 주소이거나 비공개 또는 삭제된 글입니다."라고 나온다. 구글은 어떻게 처리를 해야할까? 구글웹마스터도구에 방문해보았다.

 

 

구글에서는 수집이라는 단어가 크롤링이라는 용어로 표기되어있고, 오류사항을 보니 역시 페이지 하나를 찾을 수 없다고 표기되어 있다. 여기서 궁금한게 7월 27일 내가 삭제한 페이지는 9개인데, 왜 네이버처럼 구글에는 하나만 표기가 되는지 궁금하다. 아마 추측컨대, 사용자의 검색결과가 http://lifechallenger.tistory.com/66를 호출해서 이런 현상이 발생한 것으로 보여진다.

 

오류페이지를 수정됨으로 표기를 클릭했으나 검색결과에는 그대로 표기가 되어지고 있다. 그래서 서치콘솔(구글 웹마스터도구)에서 Google 색인>URL 삭제로 들어가면 아래와 같이 표기된다.

 

 

"소유하고 있는 URL을 검색결과에서 일시적으로 삭제합니다. 콘텐츠를 완전히 삭제하려면 소스 페이지를 삭제하거나 업데이트해야 합니다. 자세히 알아보기 "라고 하는데 자세히 알아보기로 들어가보니 robots.txt를 수정해야하는 것인데, 티스토리인 경우 일반사용자가 루트관리자 권한이 없음으로 천상 메타태그를 손봐야하는데, 이건 너무나도 귀찮은 일이고 필자는 이것에 대해 잘 알지도 못한다. 우선 패스.

 

 

일시적으로 숨기기를 클릭하여 URL에 내가 삭제하고픈 주소를 입력하면 위와 같은 요청유형이 나오고 나의 경우는 "페이지를 검색결과에서 일시적으로 숨기고 캐시에서 삭제하기"를 클릭하고 요청제출을 하였다. 나는 이전에 9개의 페이지를 삭제하였음으로 아래와 같이 삭제된 페이지를 모두 등록해 주었다.

 

 

올바르게 되었는지 다시 구글에서 해당 페이지를 검색해보았으나, 네이버처럼 바로 적용이 안되는 것 같다. 아마 위의 상태가 "보류"인 것으로 보아 좀더 시간이 필요한 것으로 보인다. 내일 아침에 결과를 다시한번 검색해본후에야 올바르게 적용되었는지 확인이 가능할 것 같다.

 

---

자정이 지나 확인해보니 이제 위에 열거된 페이지가 더이상 구글검색에서 발견되지 않는다.

 

이로써 내가 원했던 이미 삭제된 웹페이지는 더이상 사용자들을 혼란스럽게 만들지 않을 것이다.