Google Webmaster Tools: Crawling Fehler im Blick haben

Crawling Fehler

Der Navigationspunkt „Crawling Fehler“ unter dem Menüpunkt „Crawling“ gehört zu den wichtigsten Features im Angebot der Google Webmaster Tools. Anhand der Daten lassen sich unter anderem DNS- sowie Server-Verbindungsprobleme erschließen.

In den nachfolgenden Übersichten wird grob aufgelistet, wie viele vermeintliche Fehler für eine Website seitens Google gefunden wurden – unterschieden wird hierbei zwischen Web und Mobile-Version der Website. Die gefundenen Fehler werden in der Regel in die Bereiche „Serverfehler“, „Zugriff verweigert“, „Nicht gefunden“, „Nicht aufgerufen“ sowie „Sonstiges“ unterteilt.

Google Webmaster Tools - Crawling Fehler
Google Webmaster Tools – Crawling Fehler

Die Übersichten eignen sich in erster Linie dazu, einen groben Überblick der Fehler zu erhalten. Erst wenn der Anwender tiefer ins Detail geht, werden die dargestellten Ergebnisse interessanter und die Fehlerquellen ersichtlich.

Google Webmaster Tools Serverfehler 500
Google Webmaster Tools Serverfehler 500

Die dargestellten Informationen, dem entsprechend auch die Grafiken, sind grundsätzlich abhängig von der jeweiligen Website. Das bedeutet, ein Ergebnis für eine bestimmte Website aus den Google Webmaster Tools kann nicht pauschal auf andere Websites übertragen werden.

Empfehlung: Es ist empfehlenswert, regelmäßig in die Google Webmaster Tools zu schauen und sich dabei die Website-Fehler anzeigen zu lassen, denn dadurch lassen sich vermeintliche und bis zum jetzigen Zeitpunkt unbekannte Fehlerquellen erschließen und im optimalen Fall sofort beheben.

Wenn ein Fehler zu einer bestimmten URL behoben wurde, sollte dies auch im Anschluss der Suchmaschine Google über die vorhandenen Schaltflächen („Als korrigiert markieren“) mitgeteilt werden. Nur so kann sichergestellt werden, dass Google die Inhalte wiederum zeitnah besucht und im Anschluss indexiert.

Google Webmaster Tools: Crawling-Geschwindigkeit

Google Webmaster Tools Crawling Geschwindigkeit

Das Crawling bezeichnet in erster Linie den Vorgang, mit dem veränderte und neue Inhalte bzw. Seiten ermittelt werden, um diese später in den Suchindex von Google aufzunehmen. Suchmaschinen, vorzugsweise Google, besitzen eine Vielzahl von Crawlern (z.B. der Googlebot), die täglich damit beschäftigt sind, so viele Inhalte wie möglich zu untersuchen.

Der Googlebot und die Crawling-Geschwindigkeit

Dieser Googlebot besucht mehrmals am Tag die eigene Webseite, in der Regel optimiert dabei Google selbst die Häufigkeit des Besuchs in Abhängigkeit der Größe einer Webseite und natürlich der gewohnten Schreibfrequenz. Dies bedeutet: sofern eine Webseite in der Regel mehrmals am Tag neue Inhalte veröffentlicht, wird diese im Vergleich zu einer kleinen Webseite mit wenigen inhaltlichen Änderungen im Monat häufiger besucht.

Wem dennoch die Besuchshäufigkeit des Googlesbots zu hoch erscheint, z.B. aufgrund des entstehenden Traffics / Datenvolumens, der kann diesen über die Google Webmaster Tools regulieren und somit eingrenzen.

Crawling Geschwindigkeit des Google Bots regulieren
Crawling Geschwindigkeit des Google Bots regulieren

Google selbst empfiehlt, die Crawling Geschwindigkeit nur in absoluten Ausnahmefällen, beispielsweise wenn dadurch die Geschwindigkeit/Performance des Servers deutlich verlangsamt wird, zu verändern.

Grundsätzlich sollte die Häufigkeit des Crawlings einer Webseite nicht verändert werden und der Rhythmus sollte seitens der Suchmaschinen bestimmt werden – schließlich möchten neue und bearbeitete Inhalte zeitnah in den Index aufgenommen werden und optimaler Weise direkt von potentiellen Besuchern und Kunden gefunden werden.

Probleme mit dem GoogleBot melden

Eine Anpassung der Crawling Geschwindigkeit ist in der Regel 90 Tage gültig und wird im Anschluss auf den Ausgangswert zurückgesetzt. Sollten tatsächlich durch den Googlebot signifikante Probleme auftauchen, so besteht auch die Möglichkeit die Probleme mit dem Googlebot zu melden (siehe Links zu weiteren Informationen in obiger Grafik).

Probleme mit dem Google Bot melden
Probleme mit dem Google Bot melden