Google: Update für den Bericht zur Crawling-Statistik

Der Bericht zur Crawling-Statistik unterstützt SEOs und Webmaster, wenn sie den Status ihrer Seiten und beispielsweise etwaige Verfügbarkeitsprobleme auf Google überprüfen möchten. Nun hat dieses zentrale Hilfedokument in der Search Console-Hilfe eine Überarbeitung bekommen. Diese zielt darauf ab, Nutzer:innen noch besser über das Crawling-Verfahren aufzuklären. So wird beispielsweise der Vorgang bei 404-Fehlerseiten konkreter beleuchtet, während auch die Zeitspanne für das Fetching der letzten bekannten robots.txt konkretisiert wird.

Bericht zur Crawling-Statistik: Kleines Update, das vielen SEOs helfen kann

In der deutschsprachigen Version des Berichts stellt Google voran, dass dieser gar nicht für alle Webmaster und SEOs hochrelevant ist. Denn:

Der Bericht richtet sich an fortgeschrittene Nutzer. Bei Websites mit weniger als 1.000 Seiten brauchen Sie den Bericht wahrscheinlich nicht zu verwenden. So genaue Crawling-Informationen sind dann normalerweise nicht erforderlich.

Grundsätzlich hilft dieser Bericht dabei, zu verstehen, ob beim Crawling der eigenen Website durch Google Auslieferungsprobleme auftreten – und wie diese zustande kommen. Deshalb finden Nutzer:innen im Bericht auch ausführliche Informationen etwa zum Hosting-Status, zu Crawling-Anfragen insgesamt, zur durchschnittlichen Reaktionszeit, zum Zweck des Crawlings, zur Fehlerbehebung und natürlich zu Crawling-Antworten.

Google hat den Bericht vor kurzem allerdings etwas überarbeitet, um mehr Klarheit zu schaffen. Insbesondere im Kontext von erfolgreichen und fehlgeschlagenen robots.txt-Antworten. Dabei sollte Folgendes unbedingt beachtet werden:

Alle Crawling-Vorgänge, die aufgegeben wurden, weil die robots.txt-Datei nicht verfügbar war, sind in der Summe der Crawling-Vorgänge enthalten. Diese Crawling-Vorgänge wurden jedoch nicht tatsächlich durchgeführt, sodass sie in einigen Gruppierungsberichten (Crawling nach Zweck, Crawling nach Antwort usw.) nicht aufgelistet werden oder dort nur begrenzte Informationen dazu vorhanden sind.

Nun berichtet SEO-Experte Barry Schwartz, dass gerade in diesem Kontext neue Ausführungen Eingang in den Bericht gefunden haben. Für das englischsprachige Hilfedokument zeigt SEO-Experte Brodie Clark bei Twitter eine Gegenüberstellung. Darin markiert er, welche Erklärungen Google inzwischen konkreter ausführt.