SEO - Suchmaschinenoptimierung

Keine noindex-Direktive in robots.txt-Dateien: Google macht ernst

Google sendet zahlreiche Nachrichten an Webmaster, die noch noindex Tags in robots.txt-Dateien aufweisen und fordert zum Entfernen auf. Ab 1. September wird die Unterstützung dafür versagt.

© Google

Webmaster, die noch immer noindex-Regeln für robots.txt verwenden, werden jetzt aktiv durch die Google Search Console gewarnt, dass diese bald nicht mehr unterstützt werden. Ein Entfernen wird angeraten. Einige Nutzer erhielten zahlreiche Mails von Google.

Google: Kein noindex bei robots.txt erwünscht

Anfang Juli hatte Google bekanntgegeben, dass robots.txt nach 25 Jahren als de facto-Standard zu einem formalen Internetstandard gemacht wird. Dabei hatte das Unternehmen auch vorgegeben, dass bisher inoffizielle Regeln wie die noindex-Direktive ab 1. September 2019 nicht mehr unterstützt werden.

Dass Google dahingehend ernst macht, zeigte sich nun in den Postfächern einiger Webmaster. Bei Twitter gaben sie an, dass die Google Search Console ihnen Mails geschickt hatte, um sie zu warnen, dass sie noch noindex-Elemente in robots.txt-Dateien aufzuweisen hatten. Würden diese nicht bis zum 1. September entfernt, könnte es Probleme für die Seiten geben.

Twitter User Jay Holtslander gab sogar an, an einem Morgen plötzlich 81 Mails von Google zu diesem Thema in seinem Postfach gehabt zu haben.

Wer also noch immer noindex-Elemente als Regeln für die robots.txt einsetzt, sollte sich nach Alternativen umsehen. Denn Google wird diese Regeln, das macht die Nachrichtenflut deutlich, künftig nicht mehr akzeptieren. Allerdings stellt die Suchmaschine selbst alternative Optionen in Aussicht. Darunter:

  • Noindex in Robots Meta Tags
  • 404 und 410 HTTP Status-Codes
  • Schutz der Seite durch ein Passwort
  • Disallow in robots.txt
  • Die Seite mit dem Search Console Remove URL Tool temporär entfernen

Derlei Möglichkeiten bieten sich, um eine Seite in Sachen Crawling durch Google auszuschließen beziehungsweise zu kontrollieren. Webmaster sind nun angehalten, sich darauf zu verlassen, nicht aber auf die auf robots.txt bezogenen noindex-Regeln. Immerhin werden die Betroffenen von Google nur allzu deutlich daran erinnert. Und sonst könnten sie es ab dem 1. September selbst merken.

Über Niklas Lewanczik

Niklas Lewanczik

Niklas hat an der Uni Hamburg Deutsche Sprache und Literatur sowie Medien- und Kommunikationswissenschaften studiert und schreibt als Redakteur über Social Media, SEO und innovative Themen im Kontext des digitalen Marketing. Wenn er sich nicht gerade dem Marketing zuwendet, dann womöglich den Entwicklungen im modernen Fußball oder dem einen oder anderen guten Buch.

Ein Gedanke zu „Keine noindex-Direktive in robots.txt-Dateien: Google macht ernst

  1. Marco

    Hallo Niklas,
    danke für diesen tollen Artikel. Ich muss sagen, Google macht da echt ein Hype drum. Ich habe dermaßen viele E-Mails erhalten, das ist nicht mehr schön….
    Naja aber man muss halt das machen, was Google dahingehend vorschreibt.
    Beste Grüße
    Marco

    Antworten

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.