{"id":5378,"date":"2010-10-27T16:48:02","date_gmt":"2010-10-27T14:48:02","guid":{"rendered":"http:\/\/sprawnymarketing.pl\/?p=5378"},"modified":"2022-12-29T00:42:18","modified_gmt":"2022-12-28T23:42:18","slug":"robots-txt-czego-nie-robic-steruj-googlebotem-jak-chcesz","status":"publish","type":"post","link":"https:\/\/sprawnymarketing.pl\/blog\/robots-txt-czego-nie-robic-steruj-googlebotem-jak-chcesz\/","title":{"rendered":"Robots.txt: czego nie robi\u0107? Steruj Googlebotem jak chcesz!"},"content":{"rendered":"

Istniej\u0105 w internecie popularne witryny, z olbrzymi\u0105 liczb\u0105 link\u00f3w przychodz\u0105cych, kt\u00f3rych podstrony s\u0105 blokowane na poziomie pliku robots.txt przed robotami wyszukiwarek<\/strong>, wyrz\u0105dzaj\u0105c ich pozycjonowaniu du\u017c\u0105 krzywd\u0119. Czy twoja witryna tak\u017ce ma b\u0142\u0119dy w robots.txt? Z poni\u017cszego tekstu dowiesz si\u0119 jak roboty wyszukiwarek traktuj\u0105 zablokowane w robots.txt pliki, po\u015bmiejesz si\u0119 z webmaster\u00f3w znanych witryn<\/strong> i pope\u0142nionych przez nich b\u0142\u0119d\u00f3w oraz dowiesz si\u0119, jak samemu takich b\u0142\u0119d\u00f3w nie pope\u0142ni\u0107<\/strong>.<\/p>\n


\nUstanowiony w 1994 roku protok\u00f3\u0142 Robots Exclusion Protocol, u\u017cywany m.in. w plikach robots.txt<\/a> mia\u0142 s\u0142u\u017cy\u0107 webmasterom do okre\u015blania, kt\u00f3re pliki lub katalogi witryny udost\u0119pnia\u0107 robotom wyszukiwarek, a kt\u00f3re nie. Roboty wi\u0119kszo\u015bci wyszukiwarek wci\u0105\u017c w istocie s\u0142uchaj\u0105 zawartych tam polece\u0144, ale tylko do pewnego stopnia. <\/strong><\/p>\n

Wykluczone podstrony widoczne w SERP-ach<\/h2>\n

Nawet te boty, kt\u00f3re generalnie s\u0105 pos\u0142uszne poleceniom z plik\u00f3w robots.tst (roboty Google’a i innych du\u017cych wyszukiwarek), cho\u0107 nie zaindeksuj\u0105 tre\u015bci wykluczonej podstrony, mog\u0105 i tak umie\u015bci\u0107 j\u0105 w indeksie<\/strong>. Wszyscy widujemy takie „cz\u0105stkowe” linki w wynikach wyszukiwania. Poni\u017cej dwa przyk\u0142ady podstron, kt\u00f3re wykluczono z indeksu na poziomie pliku robots.txt, a kt\u00f3re mimo to widoczne s\u0105 w Google.<\/p>\n

Strona logowania Cisco<\/h3>\n

Zaznaczona na poni\u017cszym zrzucie podstrona logowania witryny Cisco<\/a> zosta\u0142a zablokowana w robots.txt, a mimo to Google wy\u015bwietla jej okrojony link<\/strong> na drugiej stronie wynik\u00f3w dla zapytania „login”. Na li\u015bcie wynik\u00f3w wida\u0107 zar\u00f3wno URL podstrony, jak i jej tag [title]. Brakuje za to tre\u015bci metatagu [description] lub fragmentu tekstu z podstrony.<\/p>\n

\"niezaindeksowana<\/p>\n

Strona „next blog” WordPress.com<\/h3>\n

Jedn\u0105 z najpopularniejszych podstron witryny WordPress.com jest www.wordpress.com\/next. Podstrona ta jest zablokowana w robots.txt, a mimo to pojawia si\u0119 w Google na czwartym miejscu dla zapytania „next blog”.<\/p>\n

\"podstrona<\/p>\n

Jak widzisz, umieszczenie podstrony w pliku robots.txt nie wystarczy by powstrzyma\u0107 Google’a przed wy\u015bwietleniem jej na li\u015bcie wynik\u00f3w. <\/strong><\/p>\n

Robots.txt mo\u017ce marnotrawi\u0107 przychodz\u0105cy link-juice<\/h2>\n

Probelm z plikiem robots.txt jest taki, \u017ce nie tylko pozostaje on nieefektywny w blokowaniu indeksacji podstron, ale mo\u017ce przyczynia\u0107 si\u0119 do marnowania pageranku<\/strong> p\u0142yn\u0105cego do naszej witryny.<\/p>\n

Kiedy zablokujesz indeksowanie podstrony w pliku robots.txt, wyszukiwarki nie zaindeksuj\u0105 tre\u015bci, W TYM LINK\u00d3W<\/strong>, z tej podstrony. Oznacza to, \u017ce je\u015bli do podstrony przychodz\u0105 jakie\u015b linki, to id\u0105cy za nimi link juice nie przep\u0142ynie ju\u017c dalej, utknie. Tworzysz \u015blep\u0105 uliczk\u0119. <\/strong><\/p>\n

\"Googlebot<\/p>\n

(je\u015bli powy\u017cszy obrazek wygl\u0105da znajomo, to dlatego, \u017ce w istocie widzia\u0142e\u015b go ju\u017c wcze\u015bniej<\/a>. Dzi\u0119ki, Rand!)<\/p>\n

Oczywi\u015bcie linki przychodz\u0105ce do zablokowanej podstrony przynios\u0105 pewne korzy\u015bci ca\u0142ej witrynie<\/strong>, jednak ich potencja\u0142 nie zostanie wykorzystany w ca\u0142o\u015bci. Tracisz w ten spos\u00f3b mo\u017cliwo\u015b\u0107 przekazywania pageranku z zablokowanej podstrony do innych, wa\u017cniejszych podstron witryny.<\/p>\n

3 du\u017ce witryny marnuj\u0105ce PageRank<\/h2>\n

Przeszuka\u0142am internet na okoliczno\u015b\u0107 najbardziej zawstydzaj\u0105cych wpadek. Wzi\u0119\u0142am list\u0119 Top 500<\/a> SEOmozu i wycelowa\u0142am ostrze OpenSiteExplorera<\/a> w witryn\u0119 Digg.com i list\u0119 jej podstron, do kt\u00f3rych linkuje najwi\u0119cej unikalnych domen. Wyniki s\u0105 dosy\u0107 przera\u017caj\u0105ce:<\/p>\n

\"podstrony<\/p>\n

(Hej, tam w Diggu<\/a>! Marnujecie mn\u00f3stwo link juice!)<\/p>\n

Tak doszli\u015bmy do pierwszego powa\u017cnego przypadku b\u0142\u0119dnego u\u017cycia robots.txt.<\/p>\n

#1 – Digg.com<\/h3>\n

Blokuj\u0105c z poziomu robots.txt dost\u0119p robot\u00f3w do podstrony, do kt\u00f3rej prowadzi kosmiczna liczba 425 tysi\u0119cy link\u00f3w z unikalnych domen („Submit to Digg<\/a>„), Digg.com zrobi\u0142 sobie tak wielk\u0105 krzywd\u0119, jak tylko mo\u017cna sobie wyobrazi\u0107.<\/strong><\/p>\n

\"podstrona<\/p>\n

Co mog\u0119 powiedzie\u0107 dobrego o Diggu, to \u017ce mi\u0119dzy znalezieniem przeze mnie b\u0142\u0119d\u00f3w a chwil\u0105 pisania tego artyku\u0142u, wi\u0119kszo\u015b\u0107 problematycznych wpis\u00f3w znikn\u0119\u0142a z pliku robots.txt. Poniewa\u017c nie mo\u017cna ju\u017c obejrze\u0107 tego „na \u017cywo”, poni\u017cej zamieszczam zrzut zawieraj\u0105cej b\u0142\u0105d wersji diggowego pliku robots.txt, a tak\u017ce list\u0119 zaindeksowanych w Google plik\u00f3w z katalogu digg.com\/submit:<\/p>\n

\"zrzut<\/p>\n

Jak wida\u0107 poni\u017cej, Google nie zaindeksowa\u0142 do tej pory blokowanej jeszcze niedawno tre\u015bci:<\/p>\n

\"Googlowa<\/p>\n

Na miejscu ludzi z Digga spodziewa\u0142bym si\u0119, \u017ce po zdj\u0119ciu z robots.txt blokady ich najcz\u0119\u015bciej linkowanych podstron, nast\u0105pi lawinowy wzrost ruchu. \u017beby nie zape\u0142nia\u0107 SERP-\u00f3w podstronami ze zb\u0119dn\u0105 tre\u015bci\u0105, w Diggu powinni wy\u0142\u0105czy\u0107 je z indeksu za pomoc\u0105 metatagu „noindex”<\/strong>, umieszczanego w robots.txt. Tylko takie dzia\u0142anie zagwarantuje nieblokowanie przep\u0142ywu link juice przy jednoczesnym powstrzymaniu Google’a przed wy\u015bwietlaniem stosownych podstron w wynikach wyszukiwania.<\/p>\n

Je\u015bli nie jeste\u015b mocny w u\u017cywaniu „noindex”, wystarczy, \u017ce zamie\u015bcisz poni\u017cszy metatag w sekcji [head] stosownej podstrony.<\/p>\n

<meta name=\"robots\" content=\"noindex, follow\"><\/code><\/p>\n

Dodaj\u0105c do tagu warto\u015b\u0107 „follow” m\u00f3wisz botom by nie indeksowa\u0142y danej podstrony, ale pod\u0105\u017ca\u0142y za zamieszczonymi na niej linkami<\/strong>. W typowych przypadkach jest to rozwi\u0105zanie zalecane, poniewa\u017c nie blokuje przep\u0142ywu link juice do innych podstron witryny. We\u017amy jako przyk\u0142ad podstron\u0119 wynik\u00f3w wyszukiwania zawieraj\u0105c\u0105 linki paginacji. Prawdopodobnie nie chcesz by taka podstrona wy\u015bwietlana by\u0142a w wynikach wyszukiwania, bo tre\u015b\u0107 kolejnych stron wynik\u00f3w b\u0119dzie si\u0119 codziennie zmienia\u0107. Je\u015bli u\u017cyjesz metatagu noindex, follow, wyszukiwarka b\u0119dzie pod\u0105\u017ca\u0107 za zamieszczonymi na podstronie listy wynik\u00f3w linkami i zapewne b\u0119dzie je indeksowa\u0107.<\/p>\n

Mo\u017cesz tak\u017ce u\u017cy\u0107 „noindex, nofollow”, ale trudno znale\u017a\u0107 cel takiego dzia\u0142ania, jest ono w istocie r\u00f3wnoznaczne z opisywan\u0105 powy\u017cej blokad\u0105 link juice z poziomu robots.txt.<\/p>\n

#2 – Blogger.com & Blogspot.com<\/h3>\n

Nale\u017c\u0105ce do Google<\/a> serwisy blogowe Blogger i Blogspot pokazuj\u0105, \u017ce ka\u017cdy ma co\u015b, co mo\u017ce poprawi\u0107. Spos\u00f3b, w jaki witryny te s\u0105 ze sob\u0105 po\u0142\u0105czone nie mie\u015bci si\u0119 w dobrych praktykach, co powoduje spore straty w link juice.<\/p>\n

\"g\u00f3wna<\/p>\n

Blogger to marka Googlowej platformy blogowej, hostuj\u0105ca blogi w domenie blogspot.com. Problem z blokowaniem link juice i plikiem robots.txt tego serwisu jest taki, \u017ce robots.txt ca\u0142kowicie blokuje<\/a> subdomen\u0119 www.blogspot.com. Gdyby tego by\u0142o ma\u0142o, pr\u00f3ba odwiedzenia g\u0142\u00f3wnej strony Blogspota ko\u0144czy si\u0119 przekierowaniem 302 do Blogger.com.<\/p>\n

Uwaga: wszystkie inne subdomeny, poza „www”, s\u0105 dla robot\u00f3w dost\u0119pne.<\/p>\n

Lepszym rozwi\u0105zaniem by\u0142oby tutaj proste przekierowanie 301<\/strong> z g\u0142\u00f3wnej strony Blogspot.com do g\u0142\u00f3wnego landing page Blogger.com. Wpis w robots.txt powinien zosta\u0107 zatem ca\u0142kowicie usuni\u0119ty. Tak niewielka zmiana odblokuje ukryt\u0105 moc ponad 4600 unikalnych domen linkuj\u0105cych do tego serwisu. To naprawd\u0119 sporo link\u00f3w.<\/p>\n

#3 – IBM<\/h3>\n

IBM z kolei blokuje w robots.txt podstron\u0119, do kt\u00f3rej prowadzi 1001 link\u00f3w z unikalnych domen. Szczerze m\u00f3wi\u0105c, podstrona ta nie tylko jest blokowana na poziomie robots.txt, ale tak\u017ce rozpoczyna trzykrotne przekierowanie 302 do innej witryny – zobacz poni\u017cej:<\/p>\n

\"przekierowanie<\/p>\n

Kiedy popularna podstrona zostaje skasowana lub przeniesiona<\/strong>, zwykle najlepszym rozwi\u0105zaniem jest ustawienie przekierowania 301<\/strong> prowadz\u0105cego do najlepiej zast\u0119puj\u0105cej j\u0105 tre\u015bci.<\/p>\n

Robots.txt – dobre praktyki<\/h2>\n

Na wspomnianych powy\u017cej przyk\u0142adach du\u017cych, znanych witryn om\u00f3wili\u015bmy kilka typowych b\u0142\u0119d\u00f3w pope\u0142nianych w pliku robots.txt i sposoby ich omijania. Jednak nie wszystkie. Poni\u017cej lista sposob\u00f3w na powstrzymanie indeksowania wybranych podstron bez marnotrawstwa link juice.<\/p>\n

Noindex<\/h3>\n

W wi\u0119kszo\u015bci przypadk\u00f3w najlepsz\u0105 alternatyw\u0105 dla wykluczenia podstron na poziomie robots.txt jest meta tag robots<\/a>. U\u017cycie meta tagu robots o warto\u015bci „noindex”, ALE NIE „nofollow”, zagwarantuje, \u017ce podstrona b\u0119dzie nieobecna w wynikach wyszukiwania, ale wci\u0105\u017c b\u0119dzie przekazywa\u0107 link juice. Mie\u0107 ciastko i zje\u015b\u0107 ciastko :-).<\/p>\n

301 Redirect<\/h3>\n

Robots.txt nie jest w\u0142a\u015bciwym miejscem do wymieniania niepotrzebnych, niewa\u017cnych podstron. Je\u015bli podstrona nie istnieje (zosta\u0142a skasowana lub przeniesiona), nie poprzestawaj na zablokowaniu jej. Ustaw z niej przekierowanie 301 do innej podstrony, najlepiej odpowiadaj\u0105cej oczekiwaniom internaut\u00f3w. Wi\u0119cej informacji o przekierowaniach znajdziesz w Knowledge Center Seomoz.org<\/a>.<\/p>\n

Rel=canonical<\/h3>\n

Nie blokuj zduplikowanych wersji swoich podstron w robots.txt. Je\u015bli u\u017cyjesz rel=canonical, wyrzucisz nadmiarowe wersje z indeksu, a jednocze\u015bnie skonsolidujesz link juice wszystkich wersji duplikat\u00f3w. Stosuj t\u0119 metod\u0119 gdzie tylko b\u0119dzie to mo\u017cliwe. Wi\u0119cej informacji o kanonikalizacji i poprawnym u\u017cywaniu rel=canonical znajdziesz w Knowledge Center<\/a>.<\/p>\n

Zabezpieczenie has\u0142em<\/h3>\n

Je\u015bli chcesz zabezpieczy\u0107 cz\u0119\u015b\u0107 tre\u015bci twojej witryny przed oczyma os\u00f3b niepowo\u0142anych, robots.txt nie jest do tego efektywnym narz\u0119dziem.<\/strong> Je\u015bli publikujesz poufne informacje, zabezpiecz dost\u0119p do nich has\u0142em. Je\u015bli w zwi\u0105zku z tym stworzysz podstron\u0119 logowania, dodaj do niej metatag „noindex”. Je\u015bli podejrzewasz, \u017ce taka podstrona mo\u017ce zgromadzi\u0107 wiele link\u00f3w przychodz\u0105cych, pami\u0119taj by zalinkowa\u0107 z niej do innych, wa\u017cnych podstron twojej witryny. Dzi\u0119ki temu przeka\u017cesz im link juice.<\/p>\n

Jak efektywnie u\u017cywa\u0107 Robots.txt<\/h2>\n

Najlepsz\u0105 rad\u0105 dotycz\u0105c\u0105 u\u017cywania pliku robots.txt jest nieu\u017cywanie go w og\u00f3le<\/strong>. No, prawie w og\u00f3le. U\u017cywaj go do zaznaczenia, \u017ce roboty maj\u0105 pe\u0142ny dost\u0119p do wszystkich plik\u00f3w witryny, a tak\u017ce do wskazania robotom pliku z XML-ow\u0105 map\u0105 witryny. I to wszystko.<\/p>\n

Tw\u00f3j plik robots.txt powinien wygl\u0105da\u0107 jak nast\u0119puje:<\/p>\n

—————–<\/p>\n

User-agent: *
\nDisallow:<\/p>\n

Sitemap:<\/p>\n

—————–<\/p>\n

Z\u0142e boty<\/h3>\n

Na pocz\u0105tku tego tekstu wspomnia\u0142am, \u017ce „Roboty wi\u0119kszo\u015bci wyszukiwarek wci\u0105\u017c w istocie s\u0142uchaj\u0105 zawartych tym polece\u0144 (…)”, co oznacza, \u017ce istniej\u0105 roboty, kt\u00f3re nic sobie z polece\u0144 zawartych w robots.txt nie robi\u0105. Za pomoc\u0105 pliku robots.txt mo\u017cesz wi\u0119c sterowa\u0107 „dobrymi” robotami, ale jednocze\u015bnie ponosi\u0107 kl\u0119sk\u0119 w zakresie sterowania „z\u0142ymi” robotami. Od razu zastrzegam, \u017ce dopuszczanie do witryny wy\u0142\u0105cznie robot\u00f3w Google’a i Binga nie jest dobrym pomys\u0142em<\/strong>, i to z trzech powod\u00f3w:<\/p>\n