Dein wichtigster Touchpoint zur Digitalbranche.
Dein wichtigster Touchpoint zur Digitalbranche.
Unternehmensnews
Auch wegen AI-Aufschwung: Google sondiert Alternativen zu robots.txt

Auch wegen AI-Aufschwung: Google sondiert Alternativen zu robots.txt

Niklas Lewanczik | 07.07.23

Mithilfe von robots.txt können Seiten Suchmaschinen mitteilen, wie Content gecrawlt werden soll. Im Rahmen der AI-Fortschritte auch im Search-Bereich sollen jedoch Alternativen zum fast 30 Jahre alten Protokoll her – und Google startet ein entsprechendes Projekt.

Google möchte Alternativen zum Web-Standard robots.txt schaffen. Dieser (Quasi-)Standard wurde 1994 entwickelt. Über robots.txt-Dateien können Websites Crawlern von Suchmaschinen vermitteln, welche Inhalte gecrawlt werden sollen. Doch obwohl robots.txt als Hinweiselement in diesem Kontext gängig ist, könnten künftig andere Optionen notwendig werden. Vor allem, weil sich die Internetsuche insbesondere durch den vermehrten Einsatz von KI-Modellen stark verändert. Daher erklärt Googles Danielle Romain, Vice President of Trust, auf dem Blog The Keyword, inwiefern Google neue Kontrollmechanismen für Web Publisher schaffen möchte. Davon berichtet auch SEO-Experte Barry Schwartz.

Auf dem Blog schreibt Romain:

As new technologies emerge, they present opportunities for the web community to evolve standards and protocols that support the web’s future development. One such community-developed web standard, robots.txt, was created nearly 30 years ago and has proven to be a simple and transparent way for web publishers to control how search engines crawl their content. We believe it’s time for the web and AI communities to explore additional machine-readable means for web publisher choice and control for emerging AI and research use cases.

So möchte das Unternehmen Web Publisher, AI-Expert:innen und Digital-Communities zusammenbringen, um etwaige neue Protokolle zu diskutieren. Auf einer dedizierten Website können sich Interessierte bereits zur Diskussion anmelden. Angemeldete Personen erhalten von Google auch Nachrichten über künftige Entwicklungen in Bezug auf Alternativprotokolle zu robots.txt.

Digital Bash – SEO

Digital Bash – SEO, Grafik, orangefarbener Hintergrund, Logos und Schriftzüge
Digital Bash – SEO

Kommentare aus der Community

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

*
*