Dein wichtigster Touchpoint zur Digitalbranche.
Dein wichtigster Touchpoint zur Digitalbranche.
SEO - Suchmaschinenoptimierung
Keine noindex-Direktive in robots.txt-Dateien: Google macht ernst
© Google

Keine noindex-Direktive in robots.txt-Dateien: Google macht ernst

Niklas Lewanczik | 30.07.19

Google sendet zahlreiche Nachrichten an Webmaster, die noch noindex Tags in robots.txt-Dateien aufweisen und fordert zum Entfernen auf. Ab 1. September wird die Unterstützung dafür versagt.

Webmaster, die noch immer noindex-Regeln für robots.txt verwenden, werden jetzt aktiv durch die Google Search Console gewarnt, dass diese bald nicht mehr unterstützt werden. Ein Entfernen wird angeraten. Einige Nutzer erhielten zahlreiche Mails von Google.

Google: Kein noindex bei robots.txt erwünscht

Anfang Juli hatte Google bekanntgegeben, dass robots.txt nach 25 Jahren als de facto-Standard zu einem formalen Internetstandard gemacht wird. Dabei hatte das Unternehmen auch vorgegeben, dass bisher inoffizielle Regeln wie die noindex-Direktive ab 1. September 2019 nicht mehr unterstützt werden.

Dass Google dahingehend ernst macht, zeigte sich nun in den Postfächern einiger Webmaster. Bei Twitter gaben sie an, dass die Google Search Console ihnen Mails geschickt hatte, um sie zu warnen, dass sie noch noindex-Elemente in robots.txt-Dateien aufzuweisen hatten. Würden diese nicht bis zum 1. September entfernt, könnte es Probleme für die Seiten geben.

Twitter User Jay Holtslander gab sogar an, an einem Morgen plötzlich 81 Mails von Google zu diesem Thema in seinem Postfach gehabt zu haben.

Wer also noch immer noindex-Elemente als Regeln für die robots.txt einsetzt, sollte sich nach Alternativen umsehen. Denn Google wird diese Regeln, das macht die Nachrichtenflut deutlich, künftig nicht mehr akzeptieren. Allerdings stellt die Suchmaschine selbst alternative Optionen in Aussicht. Darunter:

  • Noindex in Robots Meta Tags
  • 404 und 410 HTTP Status-Codes
  • Schutz der Seite durch ein Passwort
  • Disallow in robots.txt
  • Die Seite mit dem Search Console Remove URL Tool temporär entfernen

Derlei Möglichkeiten bieten sich, um eine Seite in Sachen Crawling durch Google auszuschließen beziehungsweise zu kontrollieren. Webmaster sind nun angehalten, sich darauf zu verlassen, nicht aber auf die auf robots.txt bezogenen noindex-Regeln. Immerhin werden die Betroffenen von Google nur allzu deutlich daran erinnert. Und sonst könnten sie es ab dem 1. September selbst merken.

Marco am 02.08.2019 um 09:37 Uhr

Hallo Niklas,
danke für diesen tollen Artikel. Ich muss sagen, Google macht da echt ein Hype drum. Ich habe dermaßen viele E-Mails erhalten, das ist nicht mehr schön….
Naja aber man muss halt das machen, was Google dahingehend vorschreibt.
Beste Grüße
Marco

Antworten
Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

*
*