Keine noindex-Direktive in robots.txt-Dateien: Google macht ernst

Webmaster, die noch immer noindex-Regeln für robots.txt verwenden, werden jetzt aktiv durch die Google Search Console gewarnt, dass diese bald nicht mehr unterstützt werden. Ein Entfernen wird angeraten. Einige Nutzer erhielten zahlreiche Mails von Google.

Google: Kein noindex bei robots.txt erwünscht

Anfang Juli hatte Google bekanntgegeben, dass robots.txt nach 25 Jahren als de facto-Standard zu einem formalen Internetstandard gemacht wird. Dabei hatte das Unternehmen auch vorgegeben, dass bisher inoffizielle Regeln wie die noindex-Direktive ab 1. September 2019 nicht mehr unterstützt werden.

Dass Google dahingehend ernst macht, zeigte sich nun in den Postfächern einiger Webmaster. Bei Twitter gaben sie an, dass die Google Search Console ihnen Mails geschickt hatte, um sie zu warnen, dass sie noch noindex-Elemente in robots.txt-Dateien aufzuweisen hatten. Würden diese nicht bis zum 1. September entfernt, könnte es Probleme für die Seiten geben.

https://twitter.com/badams/status/1155818139273367557

Interesting – Google is taking this really seriously! Remember to remove 'noindex' statements from Robots.txt! – Seen in Search Console just now. #SEO @rustybrick pic.twitter.com/fe7e23avYH

— Kim Dewe (@kimdewe) July 29, 2019

Twitter User Jay Holtslander gab sogar an, an einem Morgen plötzlich 81 Mails von Google zu diesem Thema in seinem Postfach gehabt zu haben.

https://twitter.com/j_holtslander/status/1155898620933070848

Wer also noch immer noindex-Elemente als Regeln für die robots.txt einsetzt, sollte sich nach Alternativen umsehen. Denn Google wird diese Regeln, das macht die Nachrichtenflut deutlich, künftig nicht mehr akzeptieren. Allerdings stellt die Suchmaschine selbst alternative Optionen in Aussicht. Darunter:

• Noindex in Robots Meta Tags
• 404 und 410 HTTP Status-Codes
• Schutz der Seite durch ein Passwort
• Disallow in robots.txt
• Die Seite mit dem Search Console Remove URL Tool temporär entfernen

Derlei Möglichkeiten bieten sich, um eine Seite in Sachen Crawling durch Google auszuschließen beziehungsweise zu kontrollieren. Webmaster sind nun angehalten, sich darauf zu verlassen, nicht aber auf die auf robots.txt bezogenen noindex-Regeln. Immerhin werden die Betroffenen von Google nur allzu deutlich daran erinnert. Und sonst könnten sie es ab dem 1. September selbst merken.