Google Webmaster Tools: Falsche 404-Fehler (Soft 404)

In den Google Webmaster Tools gibt es eine Unterscheidung zwischen „Seite nicht gefunden“ und sogenannte „falsche 404-Fehler“.

Wenn eine angeforderte Seite nicht vorhanden ist, wird seitens des Servers in der Regel ein 404-Fehler (Seite nicht gefunden) zurückgegeben. Mithilfe des Antwortcodes wird dem Browser (bzw. dem Client/Anwender) wie auch den Suchmaschinen mitgeteilt, dass angefragte Inhalte nicht existieren – dem entsprechend kann der Inhalt auch weder gecrawlt noch indexiert werden.

Wenn allerdings kein 404-Antwortcode zurückgegeben wird, dennoch eine 404-Inhaltsseite dem Anwender angezeigt wird, nennt sich dies „Soft 404“ bzw. „Falscher 404-Fehler“.

Das bedeutet, nur weil eine Seite „Seite nicht gefunden“ anzeigt, bedeutet dies nicht, dass es sich um eine echte 404-Seite handelt – damit diese auch als 404-Seite erkannt wird, ist es zwingend notwendig einen entsprechenden HTTP-Antwortcode zu übermitteln.

404-Softfehler behindern das Website-Crawling

Webseiten und Inhalte sollen im Sinne des Website-Betreibers so schnell wie möglich in den Index aufgenommen werden. Allerdings können sich sogenannte 404-Softfehler als Tempobreme für den Suchmaschinen-Crawler entpuppen.

Suchmaschinen-Crawler gehen bei 404-Softfehlern davon aus, dass sich unter der URL relevante Inhalte befinden könnten, da die Inhalte nicht eindeutig als 404-Fehler klassifiziert werden konnten. Dadurch läuft der Website-Betreiber Gefahr, dass neue Inhalte erst später erfasst werden, da sich der Suchmaschinen-Crawler für die 404-Softfehler interessiert. Des bedeutet auch, dass die eigentlichen 404-Softfehler seitens der Suchmaschinen indexiert werden.

Google empfiehlt beispielsweise die Verwendung der Antwortcodes 404 für „Seite nicht gefunden“ und/oder 410 für „die Seite/der Inhalt wurde gelöscht“.

HTTP-Antwortcode überprüfen

Es gibt sicherlich das ein oder andere Tool und Browser-Addon (z.B. Firebug), das die Möglichkeit schafft, sich den HTTP-Code einer Seite ausgeben zu lassen. Aber mithilfe der Google Webmaster Funktion „Abruf wie durch Google“, die bereits im Artikel „Beschleunigte Indexierung durch die Google Webmaster Tools“ beschrieben wurde, kann eine Seite aus Sicht der Suchmaschine heruntergeladen werden – womit auch direkt geklärt wird, wie der Google-Crawler diese Seite tatsächlich sieht.

Fazit und Empfehlung

Wie eigentlich bei jeder Fehlermeldung hinsichtlich der Crawling-Ergebnisse in den Google Webmaster Tools ist auch bei den einfachen 404-Softfehlern eine regelmäßige Kontrolle notwendig – nicht immer ist die Suchmaschine Google so heroisch und weist uns im Detail auf die Fehler und Probleme einer Website hin.

Nach Behebung der Probleme gilt es, diese auch in den Webmaster Tools als korrigiert zu markieren, damit die Inhalte bzw. URL zeitnah von der Suchmaschine untersucht werden kann.