Google liefert robots.txt-Bericht für Search Console – robots.txt-Tester wird eingestellt

Es gibt ein wichtiges Update für alle, die robots.txt-Dateien einsetzen. Google hat einen neuen robots.txt-Bericht für die Search Console angekündigt. Dieser soll neben Input aus dem Bericht zur Seitenindexierung alle wichtigen Informationen zur Übersicht über Seiten enthalten, auf denen entsprechende Dateien integriert sind. User können über die Einstellungen auf den neuen Bericht zugreifen, sobald er für alle verfügbar gemacht wurde. Der robots.txt-Tester, der zur URL-Prüfung von Seiten mit robots.txt-Dateien dient, wird im Zuge dieses Updates eingestellt.

We're excited to announce the new Search Console robots.txt report, available from the settings page. We're also making relevant info available from the Page indexing report. As part of this update, we're sunsetting the robots.txt tester. Check the updated help center page… pic.twitter.com/IHjgF37ssN

— Google Search Central (@googlesearchc) November 15, 2023

Mithilfe des Quasistandardprotokolls robots.txt können Seitenbetreiber:innen Vorgaben für Crawler wie jene von Google, Bing, aber auch OpenAI festschreiben und gegebenenfalls das Crawling von eigenen Inhalten untersagen. Bei Google können Publisher neuerdings über robots.txt auch Google-Extended nutzen, um zu entscheiden, ob sie das Crawling durch Bard und Vertex AI-Systeme erlauben möchten.

Schon im Juli bestätigte Google, Alternativen für den rund 30 Jahre alten Quasistandard robots.txt ausloten zu wollen.

---

Auch wegen AI-Aufschwung:

Google sondiert Alternativen zu robots.txt

© Christian Wiediger – Unsplash