Index-Bann u Webmastertools

Links, a: Bad neighbourhood (gelb) durch links ZU index-gebannter site (rot), unbeteiligte (blau)

Rechts, b: Keine bad neighbourhood (grün) durch links VON gebannter site (rot), unbeteiligte (blau)

Crawling von vom Index ausgeschlossenen Sites

Wie ich an einigen jahrelang aus dem Google-Index gebannten sites direkt in den server-logfiles beobachten konnte, spidern die Google-bots solche sites trotz Bann immer weiter (wenn auch in längeren Abständen und überwiegend nur die Index-Seite).

Im Februar 2008 habe ich eine seit etwa Ende 2005 aus dem Index verbannte site bei den Google-webmastertools angemeldet und verifizieren lassen, und siehe da, die tools zeigen als letzten crawl den 9. März 2008 an :-) (zur Beobachtung habe ich vorerst keine reinclusion beantragt!).

Überraschenderweise werden dort zusätzlich auch noch ein (toolbar-)pagerank für diese gebannte Site sowie dessen Verteilung auf Einzelseiten als bekannt gemeldet ...

Google behält also auch eine gebannte Site in der crawl-Routine UND berechnet weiterhin ihre externe Verlinkung, ohne sie jemals in der Suche anzuzeigen. Vielleicht soll das helfen, später andernorts installierte Duplikate aufzuspüren oder auch externe links zur gebannten Site als "bad neighbourhood" zu kennzeichnen - solange sie besteht. Vermutlich wird dabei auch neuen bisher nicht bekannten Links nach aussen hinterhergegangen, wenn sie auch nicht gewertet werden.

Glossar:

Index-Bann: Zeitweiser oder dauerhafter Ausschluss einer Site aus dem Google-Index. Ziemlich sichere Anzeichen für einen echten Bann bisher gelisteter sites sind plötzlich leere Suchergebnisseiten für die Google-Abfragen (Operatoren) info:example.com, site:example.com und cache:example.com

Bad Neighbourhood: Eine site begibt sich in "schlechte Nachbarschaft" und kann abgewertet werden, wenn sie zu einer gebannten (evtl. auch nur abgewerteten) site links setzt. Links von einer gebannten site zu einer anderen site sind dagegen keine 'bad neighbourhood'.