Dein wichtigster Touchpoint zur Digitalbranche.
Dein wichtigster Touchpoint zur Digitalbranche.
SEO - Suchmaschinenoptimierung
Google: Update für den Bericht zur Crawling-Statistik

Google: Update für den Bericht zur Crawling-Statistik

Niklas Lewanczik | 28.06.22

Damit Webmaster besser nachvollziehen können, wie das Crawling vonseiten Googles vonstattengeht, gibt es den Bericht zur Crawling-Statistik. Dieser wurde kürzlich überarbeitet, um Voraussetzungen und Fehler besser zu verstehen.

Der Bericht zur Crawling-Statistik unterstützt SEOs und Webmaster, wenn sie den Status ihrer Seiten und beispielsweise etwaige Verfügbarkeitsprobleme auf Google überprüfen möchten. Nun hat dieses zentrale Hilfedokument in der Search Console-Hilfe eine Überarbeitung bekommen. Diese zielt darauf ab, Nutzer:innen noch besser über das Crawling-Verfahren aufzuklären. So wird beispielsweise der Vorgang bei 404-Fehlerseiten konkreter beleuchtet, während auch die Zeitspanne für das Fetching der letzten bekannten robots.txt konkretisiert wird.

Bericht zur Crawling-Statistik: Kleines Update, das vielen SEOs helfen kann

In der deutschsprachigen Version des Berichts stellt Google voran, dass dieser gar nicht für alle Webmaster und SEOs hochrelevant ist. Denn:

Der Bericht richtet sich an fortgeschrittene Nutzer. Bei Websites mit weniger als 1.000 Seiten brauchen Sie den Bericht wahrscheinlich nicht zu verwenden. So genaue Crawling-Informationen sind dann normalerweise nicht erforderlich.

Grundsätzlich hilft dieser Bericht dabei, zu verstehen, ob beim Crawling der eigenen Website durch Google Auslieferungsprobleme auftreten – und wie diese zustande kommen. Deshalb finden Nutzer:innen im Bericht auch ausführliche Informationen etwa zum Hosting-Status, zu Crawling-Anfragen insgesamt, zur durchschnittlichen Reaktionszeit, zum Zweck des Crawlings, zur Fehlerbehebung und natürlich zu Crawling-Antworten.

Google hat den Bericht vor kurzem allerdings etwas überarbeitet, um mehr Klarheit zu schaffen. Insbesondere im Kontext von erfolgreichen und fehlgeschlagenen robots.txt-Antworten. Dabei sollte Folgendes unbedingt beachtet werden:

Alle Crawling-Vorgänge, die aufgegeben wurden, weil die robots.txt-Datei nicht verfügbar war, sind in der Summe der Crawling-Vorgänge enthalten. Diese Crawling-Vorgänge wurden jedoch nicht tatsächlich durchgeführt, sodass sie in einigen Gruppierungsberichten (Crawling nach Zweck, Crawling nach Antwort usw.) nicht aufgelistet werden oder dort nur begrenzte Informationen dazu vorhanden sind.

Nun berichtet SEO-Experte Barry Schwartz, dass gerade in diesem Kontext neue Ausführungen Eingang in den Bericht gefunden haben. Für das englischsprachige Hilfedokument zeigt SEO-Experte Brodie Clark bei Twitter eine Gegenüberstellung. Darin markiert er, welche Erklärungen Google inzwischen konkreter ausführt.

Fehlgeschlagene robots.txt-Antworten

Für Webmaster dürfte von besonderem Interesse sein, was passiert, wenn es zu fehlgeschlagenen robots.txt-Antworten kommt. Inzwischen betont Google dazu, dass 404 Not Found eine erfolgreiche Anfrage darstellt. In diesem Fall liegt kein robots.txt vor und Google kann jede URL auf der Seite crawlen. Neu ist, zumindest im englischsprachigen Bericht, auch, dass Google einen Fetching-Zeitraum angibt. Ist eine Anfrage fehlgeschlagen, setzt Google für zwölf Stunden das Crawling aus. Im Zeitraum von zwölf Stunden bis 30 Tagen wird Google dann die letzte erfolgreich gefetchte robots.txt für das Crawling nutzen und parallel die robots.txt. anfragen.

Nach 30 Tagen dann crawlt Google ohne Einschränkung, als wäre keine robots.txt da, wenn die Homepage verfügbar ist. Ist sie das nicht, stoppt Google das Crawling der Seite. Doch so oder so wird die Suchmaschine weiterhin nach dem robots.txt fragen.

Du kannst dir die deutschsprachige und englischsprachige Version des Hilfedokuments zu Gemüte führen, wenn eine Crawling-Statistik für dich von Belang ist und wenn du Auslieferungsprobleme vermutest. Eine ausführliche audiovisuelle Beschreibung liefert Daniel Waisberg, Search Advocate bei Google, zudem im Video:

Das lokale Google Ranking zu verbessern, sollte auf der Prioritätenliste jedes Unternehmens stehen. Das Salesurance E-Book zeigt auf, wie das Google Ranking funktioniert und welche Faktoren entscheiden, welches Unternehmen von Google auf den obersten Plätzen gerankt wird.

Jetzt herunterladen!

Kommentare aus der Community

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

*
*