Niebezpieczne rel=canonical

Od kiedy Google wprowadził tag rel=canonical (początek roku 2009), wszyscy wielokrotnie słyszeliśmy takie mrożące krew w żyłach historie. Potrafią różnić się między sobą szczegółami, ale wszystkie można sprowadzić do osi: „Przypadkowo skanonikalizowałem wszystkie podstrony mojej witryny do jednej podstrony, witryna została całkowicie wymieciona z indeksu”. Chociaż dowodów na takie historie miałem aż za wiele, pomyślałem, że nadszedł czas samodzielnie je sprawdzić, choćby po to, by w oparciu o zebrane doświadczenie móc pomagać innym unikać takich problemów i przeciwdziałać ich skutkom, gdy już się zdarzą.

UWAGA!
Przedstawiony poniżej eksperyment SEO został przeprowadzony przez dobrze wyszkolonego (podobno) profesjonalistę, a mimo to nawet jemu nie wyszedł na dobre. Nie próbujcie tego w domu. Naprawdę.

Ogólnie o eksperymencie

Zacznę od początku – poniższy artykuł dotyczy „tagu kanonicznego”, tzn. metapolecenia <link rel=”canonical”… />, a nie kanonikalizacji w ogóle. 23 sierpnia 2010 umieściłem tag rel=canonical w nagłówkach wszystkich podstron mojego bloga poświęconego usability. Wszystkie tagi były identyczne i wszystkie kanonikalizowały swoje podstrony do strony głównej:

<link rel="canonical" href="http://www.usereffect.com" />

Na ile było to możliwe, nie dokonywałem w czasie trwania eksperymentu żadnych innych zmian w treści bloga. Każdego dnia trwania eksperymentu sprawdzałem pozycje dla kilku najważniejszych fraz kluczowych, a także liczbę podstron w indeksie Google (przy użyciu operatora „site:”).

Etap I – Spadek

Poniższy wykres pokazuje liczbę zaindeksowanych podstron, począwszy od dnia umieszczenia rel=canonical do dnia ich usunięcia (3 tygodnie później):

Pomijając widoczny na wykresie krótkotrwały wzrost liczby zaindeksowanych podstron, ogólny efekt wprowadzenia kanonikalizacji był bardzo mocny, i to już w relatywnie krótkim czasie. Ogólna liczba zaindeksowanych podstron spadła z 237 do 103 (czyli o 57%). Jasnoczerwona linia poniżej pokazuje z kolei liczbę podstron unikalnych (niebędących duplikatami) – sądziłem, że warto będzie to śledzić, ale liczba takich podstron zmieniała się niemal równolegle ze zmianami globalnej liczby podstron. Chociaż kanonikalizacji używa się do usuwania problemu duplicate content, Google nie traktuje błędnie skanonikalizowanych podstron jako duplikatów, tylko po prostu wyrzuca je z indeksu.

Teraz skrótowo opiszę kolejne przejawy upadku mojego bloga. Każdy przejaw oznaczam datą i liczbą dni, jaka upłynęła od umieszczenia tagów rel=canonical (np. +1 = jeden dzień później).

Dzień +1 (24 sierpnia) – SEOmoz Canonical Warning

Już pierwszego dnia po umieszczeniu tagów rel=canonical SEOmozowe narzędzie „campaign manager” wyświetliło mi serię ostrzeżeń na ich temat (zakładka „On-page”). Jeśli nie umieszczałeś tagów rel=canonical lub tagi te odnoszą się podstron, na których zostały umieszczone, zobaczysz coś takiego:

Pamiętaj, że brak takiego potwierdzenia nie musi oznaczać niczego złego – oczywiście, niektóre tagi rel=canonical mogą prowadzić do różnych URL-i. Jeśli natomiast takich ostrzeżeń zaczyna pojawiać się więcej, może to oznaczać problem. Niestety, tego akurat problemu nie zgłosi ci Google Webmaster Tools – narzędzie to po prostu nie powiadamia o błędach złej kanonikalizacji.

Dzień +3 (26 sierpnia) – Podstrona nr 1 zostaje wyindeksowana

To mniej-więcej na ten czas przypada widoczny na wykresie krótkotrwały wzrost liczby zaindeksowanych podstron. Pomimo tego, to właśnie wtedy wyindeksowaniu uległa pierwsza z ważnych podstron mojego bloga – zbierająca najwięcej ruchu, ciesząca się pierwszą pozycją w Google dla ważnej, dwuliterowej frazy kluczowej. Zamiast tej podstrony Google zaczął wyświetlać w SERP-ach stronę główną. To zjawisko ilustruje ważny wyjątek od reguły. Wysoki wskaźnik „authority” i dobry profil linków są czynnikami chroniącymi podstrony przed większością problemów SEO. W tym natomiast wypadku wysoki wskaźnik „authority” spowodował częstsze odwiedziny Googlebota, a więc szybsze wyindeksowanie. Kiedy zauważysz szkody wynikające z przypadkowego skanonikalizowania wszystkich podstron witryny do jednej podstrony, twoje najważniejsze podstrony mogą być poza indeksem już od długich tygodni.

Dzień +12 (4 września) – Podstrona nr 2 zostaje wyindeksowana

Po około tygodniu zauważyłem, że z indeksu zniknęła druga z ważnych dla mnie podstron, dobrze wypozycjonowana dla całkiem konkurencyjnej frazy. Także jej miejsce w SERP-ach zajęła strona główna bloga, ale zamiast być na miejscu pierwszym, wylądowała na dziewiątym. Niestety, nie monitorowałem tej podstrony od samego początku, jest zatem możliwe, że została wyindeksowana już wcześniej.

Dzień +19 (11 września) – Duży spadek ruchu

Wyideksowywanie podstron, szczególnie tych topowych, martwiło mnie już wcześniej, ale począwszy od drugiego tygodnia zacząłem obserwować także dotkliwy spadek ruchu do mojego bloga:

Wykres prezentuje ruch z 4 tygodni, włączając w to tydzień przed umieszczeniem tagów. Nadszedł czas kiedy straciłem cierpliwość i stwierdziłem, że już dosyć. Postanowiłem więc podjąć próbę odwrócenia procesu kanonikalizacji.

Etap II – Leczenie

11 września usunąłem umieszczone wcześniej na wszystkich podstronach tagi rel=canonical. Efekty tego działania obserwowałem aż do 14 października. Oto wykres pokazujący jak kształtowała się liczba podstron zaindeksowanych przez Google w czasie procesu leczenia:

Jak widać, wzrost liczby zaindeksowanych podstron nastąpił dosyć szybko, chociaż przerywany był kilkoma okresami krótkotrwałych spadków. Najwyższa liczba zaindeksowanych podstron w trakcie procesu leczenia (149 ostatniego dnia eksperymentu) nigdy nie osiągnęła oryginalnego poziomu (237 podstron), nawet po całym miesiącu czekania (chociaż wcześniej część podstron mogła być duplikatami).

Niestety, chociaż w pierwszych dniach „leczenia” liczba podstron w indeksie mocno skoczyła, to odzyskanie pozycji topowych podstron będzie trwało trochę dłużej. Poniżej opisuję kolejne ważne wydarzenia w procesie „leczenia”. Dniem zerowym jest tu dzień usunięcia tagów rel=canonical.

Dzień +18 – Ponowne zgłoszenie XML-owej mapy strony

Początkowo, na potrzeby eksperymentu, chciałem zostawić proces leczenia samemu sobie, ale po kilku tygodniach nieprzynoszących odzyskania topowych podstron, zrobiłem się niecierpliwy. Pierwszą rzeczą, jaką w związku z tym zrobiłem było ponowne zgłoszenie XML-owej mapy strony poprzez Google Webmaster Tools.

Dzień +21 (2 października) – Ponowne zgłoszenie częściowej XML-owej mapy strony

Wiedząc, że proste ponowne zgłoszenie mapy prawdopodobnie nie pomoże, stworzyłem drugą mapę XML zawierającą tylko 3 topowe podstrony i zgłosiłem ją osobno. Nie miałem wielkich oczekiwań, ale pomyślałem, że spróbuję uruchomić Googlebota metodą „na pych”.

Dzień +24 (5 października) – Dodanie unikalnych tagów rel=canonical

Ponieważ wszystkie ważne podstrony, które ucierpiały, były artykułami, postanowiłem dodać z powrotem tagi rel=canonical, ale tym razem poprawnie, tj. do pojedynczych podstron. Miałem nadzieje, że dobry tag rel=canonical zrównoważy złe, a przynajmniej przyciągnie uwagę Googlebota.

Dzień +26 (7 października) – Wysłanie prośby o ponowne rozpatrzenie zgłoszenia witryny

Po 4 tygodniach od usunięcia tagów postanowiłem chwycić się rozwiązań rozpaczliwych. Wysłałem moją pierwszą od długiego czasu prośbę o ponowne rozpatrzenie zgłoszenia witryny. Więcej na ten temat napiszę później.

Dzień +27 (8 października) – Podstrona nr 1 ponownie w indeksie

Następnego dnia po wypełnieniu prośby o ponowne rozpatrzenie, najważniejsza podstrona mojego bloga wróciła na swoje pierwsze miejsce, zastępując stronę główną. Wziąwszy pod uwagę krótki czas, trzeba uznać za wątpliwe by miało to jakiś związek z wypełnieniem wniosku o ponowne rozpatrzenie zgłoszenia witryny; może mieć to natomiast związek z ponowną implementacją (tym razem poprawną) tagów rel=canonical.

Dzień +28 (9 października) – Podstrona nr 2 ponownie w indeksie

Kolejnego dnia także podstrona nr 2 wróciła do googlowych łask. Ten powrót jest dla mnie nawet ważniejszy – jeśli podstrona nr 1 została po prostu zastąpiona stroną główną, to podstrona nr 2 całkowicie wyleciała z indeksu. Tymczasem teraz nie tylko wróciła, ale także odzyskała swoje miejsce w rankingu. Po 4 tygodniach koszmaru zobaczyłem w końcu światełko w tunelu.

Etap III – Błagalne prośby

Potraktuj to trochę jak epilog (tak jakby post nie był już wystarczająco długi!). Pomyślałem, że czytelnikom może spodobać się treść mojej prośby o ponowne rozpatrzenie zgłoszenia witryny. Z całą pewnością jest bardzo szczera:

Zrobiłem coś złego. Będę szczery. Pod koniec sierpnia dodałem tagi rel=canonical do nagłówków wszystkich podstron mojego serwisu (www.usereffect.com), tagi prowadzące do głównej strony witryny. W dodatku – zrobiłem to celowo. „Dlaczego miałbyś zrobić coś głupiego celowo?”, moglibyście zapytać. Już odpowiadam.

Piszę dla znanego bloga o pozycjonowaniu (SEOmoz.org). W tej pracy wielokrotnie słuchałem przerażających opowieści ludzi, którzy przypadkowo skanonikalizowali całą witrynę do jednej podstrony. W takiej sytuacji zwykle nie wiadomo, kiedy nastąpiła kanonikalizacja (była przecież przypadkowa), w ogóle niewiele wiadomo. Postanowiłem więc zebrać w tej sprawie doświadczenia. Nie chciałem zadzierać z Google – chciałem po prostu zebrać informacje dla właścicieli stron, tak, by pomóc im unikać kosztownych błędów.

Dobra wiadomość jest taka, że mój eksperyment zakończył się wielkim sukcesem. W ciągu 3 tygodni z indeksu wyleciała przeszło połowa podstron, a większość najważniejszych z nich została w SERP-ach zastąpiona stroną główną. Osiągnąwszy cel, 11 września zacząłem odwracać kanonikalizację (z perspektywy czasu przyznaję, że data nie została wybrana najlepiej).

Teraz, a więc niemal miesiąc później, część kluczowych podstron wciąż znajduje się poza indeksem. To wartościowe podstrony z naturalnym profilem linkowania. Ponownie zgłosiłem XML-ową mapę witryny, potem także mapę zawierającą wyłącznie kilka brakujących podstron, dodałem też poprawną kanonikalizację. Póki co, bez efektów.

Choć to trochę upokarzające, nie mam teraz innego wyjścia, jak tylko błagać was o przebaczenie, Googlowi Bogowie. O wielcy, którzy siedzicie na szczytach Moutain View, każdy piękniejszy i znakomitszy od poprzedniego, zaklinam was, zlitujcie się nade mną, marnym śmiertelnikiem, ześlijcie łaskę na wzgardzone przez was podstrony:

[krótka lista URL-i]

Wasz uniżony sługa,

Dr. Peter J. Meyers („Dr. Pete”)

Czego się nauczyłem

Sądzę, że morał z tej opowieści jest jasny – nie róbcie niczego podobnego. Oczywiście i tak nikt z was nie skanonikalizowałby całej witryny do jednej podstrony celowo. Jednak w dobie CMS-ów i centralnego zarządzania sekcjami [head], przypadkowe dodanie rel=canonical dotykającego całej witryny, choćby zawierała tysiące podstron, jest rzeczą szokująco łatwą. Oczywiście nie krytykuję rel=canonical jako narzędzia – potrafi być bowiem bardzo użyteczne. Rzadko się jednak zdarza by wszystkie pozycjonerskie wysiłki dawało się zniweczyć za pomocą jednej linijki kodu, a rel=canonical jest właśnie takim rzadkim przypadkiem.

Za pomocą 57-znakowego tagi udało mi się wyrzucić stronę z rankingu dla najlepszych słów kluczowych, połowę podstron z indeksu i stracić połowę ruchu. Rel=canonical to potężne narzędzie, ale trzeba go używać mądrze i ostrożnie.

[źródło: Catastrophic Canonicalization]