"제목이 없는 웹페이지"

몇일전부터 네이버 웹마스터도구의 콘텐츠관리에 보이는 아래의 경고문구가 자꾸 신경을 거슬리게 하는데 아무리 인터넷에 검색을 해봐도 뚜렷한 해결책이 보이지는 않아서 내버려두었다.

 

 

처음에는 97%였다가 이틀전에는 80%로 떨어지고, 오늘은 76%까지 떨어졌다.

 

정말이지 필자는 이 문제를 해결하기 위해서 아무것도 액션을 한 것이 없다. 단지, 기다렸을 뿐. 그런데 너무 궁금하다 도대체 무슨일이 벌어지고 있는 걸까? 우선 네이버에서 site:lifechallenger.tistory.com를 입력해서 내블로그의 상태를 확인했다.

 

 

모두 제목이 있다. 제목이 없는 웹페이지는 보이지 않는다. 이번에는 다음에 들어가서 확인해보았는데, 여전히 문제는 없다. 그럼 무엇이 문제일까? 마지막으로 구글에 검색을 해보았다.

 

 

작성된 페이지가 80개도 없는데 구글검색에서는 무려 500개가 넘는 글목록에 대한 결과물이 도출된다. 위의 제목을 클릭하면 아무것도 없는 빈페이지만 나온다.

 

 

이것이 네이버웹마스터도구에서 경고하는 "제목이 없는 웹페이지"와 문제가 있나? 아직까지는 추론이 가능해보이지 않는다. 왜냐하면 이것은 글목록을 나타내는 페이지일뿐이니까. 우선, 보이는 문제에 대해 집중해 보았다.

 

1. 글목록앞에 있는 숫자가 가르키는 것이 무엇일까?

2. 왜 갑자기 저런 숫자들이 생성되었을까?

 

1항에 대한 답은 너무 쉽게 찾았다. 일련된 숫자가 의미하는 것은 년도/월이었다. 내블로그의 사이드바에 나와 있는 내용과 일치했다.

 

 

현재 달력에 나와있는 숫자는 2018/08 이것을 201808로 변환해서 http://lifechallenger.tistory.com/archive/201808로 입력하니 2018년 8월에 작성된 글목록이 보여진다. 그래서, 추론할 수 있는 결론은 하나였다. 현재 구글검색에서 보이는 무한생성된 글목록의 정체는 달력이었음을 확인하게 되는 순간이다. 그런데 갑자기 떠오르는 문제는 네이버나 다음검색에도 똑같이 그런 결과가 보여져야하는데 왜 구글검색만 이러한 것들을 표시하고 있는 걸까? 웹마스터가 아닌이상 이 해답을 찾을 수 없었고, 인터넷 검색을 통해도 마찬가지였다. 우선, 구글에서 나타낸 문제점부터 해결하기로 한다.

 

구글에 site:lifechallenger.tistory.com를 입력해서 나온 검색결과를 모두 분석해보니 공통점이 있었는데

1. lifechallenger.tistory.com/archive/ - 빈페이지에 연결된다.

2. lifechallenger.tistory.com/tag/ - 실제 페이지에 연결된다.

3. lifechallenger.tistory.com/category/ - 실제 글목록을 보여준다.

 

따라서, 여기서 가장 큰 문제는 비어있는 페이지를 호출하는 lifechallenger.tistory.com/archive/ 를 어떻게 삭제하느냐에 달려있다.

 

여기서 추론해보자.

 

1. 구글은 어떻게 저 비어있는 페이지를 검색하게 되었을까?

 

   구글봇이 아무런 내용이나 제목도 없는 가치없는 페이지를 수집할 정도로 한가할까? 아니면 내가 무슨 짓을 했었나? 내가 한 일이라곤 서치콘솔에 사이트맵을 제출한 것 뿐인데..  맞다. 사이트맵(sitemap)이 있었지? 내용을 한번보자.

 

 

결국, 원인을 찾아냈다. 내가 인터넷에서 자동으로 생성하여 제출된 사이트맵에 이미 저런 내용이 모두 들어가 있어서 구글이 내블로그에 대한 결과물을 이것대로 출력해주었던 것이다. 그럼 여기있는 lifechallenger.tistory.com/archive/를 모두 삭제하고 제출해야하나? 몇백개가 넘는데 너무 힘들 것 같다.

 

2. 어떻게 하면 archive(기록보관소)에 있는 내용을 자동으로 지울 수 있을까?

 

위의 글목록은 모두 연도/월로 표기되어 있고 달력위젯과 관련이 있는 것 같다. 티스토리 관리자모드에서 위젯을 지우면 되지 않을까? 그래서 블로그관리페이지에 접근해서 사이드바에서 달력위젯과 글보관함, 태그클라우드를 모두 삭제했다.

 

이제 장애요소는 모두 제거했으니, 새로운 사이트맵을 만들어야지

 

놀랍다. 이전의 경우는 다운로드받는데 20분이상이 소요되었는데 위젯을 변경하자, 걸린 시간은 2분, 용량은 이전 것은 795KB, 지금 것은 72KB 거의 1/10으로 줄어들었다. 내용을 확인해보았다.

 

 

태그클라우드와 글보관함을 삭제했음에도 여전히 새로운 사이트맵에서도 /tag/와 /category/가 보인다. 하지만, 가장 중요한 lifechallenger.tistory.com/archive/가 보이지 않는다. 어찌되었던 구글에서의 문제는 해결된 것 같다. 생각해보면 네이버웹마스터도구에도 똑같은 사이트맵을 제출했었다. 즉, 구글에서 문제가 해결되었다는 것은, 네이버에서도 동일의 문제(제목 없는 웹페이지)도 해결될 것 같다. 이제 남은 것은 이 새로운 사이트맵을 두 곳에 제출하는 것뿐..

 

 

사이트맵을 재등록하는 방법을 모르는 사람은 아래글을 참조하세요.

 

2018/08/01 - [지식창고/티스토리블로그관리] - "올바르지 않은 사이트맵이 제출되었습니다"

 

우선 네이버웹마스터도구에서 새로운 사이트맵을 재등록하고

 

 

구글에도 재등록해놓았다.

 

보통의 경우 제출된 사이트맵에 대한 처리기간은 네이버이든 구글이든 이틀을 넘기지 않는다. 내불로그의 문제가 해결되었는지는 빠르면 내일 혹은 내일모레면 확인이 될 것 같다. 네이버의 "제목이 없는 웹페이지"에 대한 문제는 몰라도, 구글내의 무한 생성된 글목록은 해결될 것 같다.

 

새로운 사이트맵을 만들고 나서 필자는 달력위젯과 글보관함, 태그클라우드를 원상복귀시켜놓았다.

 

* 결과

---

8월 5일 제출된 사이트맵에 대한 처리가 이루어졌다. 이전에는 사이트맵제출후 3일이 걸리던 것이 하루도 안되어 처리가 되었다. 아무래도 용량이 적어 가능한 것으로 파악된다.

 

 

 

하지만 여전히 구글에서는 글 목록들이 표시되고 있다. 사이트맵 제출은 처리되었지만 아직 색인생성이 이루어지지 않았음을 의미한다. 인터넷 검색을 통해 색인생성이 얼마나 걸리는지 알아보니 빠르게는 몇일에서 길게는 몇주까지 걸린다는 내용이 있다.

 

 

 

 

8월 6일

 

구글에서 검색되어지는 글 목록은 여전하다. 하지만 오늘 네이버에서 변화가 있었다.

 

웹마스터도구에서 제목이 없는 웹페이지가 76%에서 73%로 줄어들었다. 이것이 새로운 사이트맵을 제출해서인지, 아니면 그냥 시간이 지나서인지는 모르겠다.

 

8월 7일

 

 

오늘은 아무것도 한것이 없는데 제목이 없는 웹페이지가 73%에서 72%로 내려갔다. 구글은 여전히 색인생성이 안되었는지 아무런 변화도 보이지 않고 있다.

 

8월 11일

 

 

조금씩 내려가더니 일주일이 지난 오늘은 67%까지 내려갔다. 인터넷에서 검색했지만 뚜렷한 원인을 찾지 못했다. 답답하다.

 

---

 

8월 13일

 

 

이틀이 지난 오늘 새벽에 확인해보니 67%에서 42%까지 떨어졌다.

 

---

 

8월 16일

 

 

 

 

 

---

8월 21일

---