Wenn dich Google rausschmeißt – Gründe für eine fehlende Indexierung einer Seite

Auch die besten SEO-Maßnahmen nutzen dir nichts, wenn Google deine Website nicht indexiert. Dies kann verschiedenste Ursachen haben. Neil Patel, Co-Founder von Kissmetrics und Online-Marketing-Guru, stellte eine Auflistung mit Gründen zusammen, die zu einer fehlerhaften Indexierung bei Google führen können. Wir haben die 12 Punkte zusammengefasst und wollen sie euch nicht vorenthalten.

1. Domain ist mit beziehungsweise ohne „www“ indexiert

Stelle bei den Google Webmaster Tools sicher, dass deine Website mit und ohne „www“ erfasst ist. Der Google Support beschreibt, wie es funktioniert:

Geben Sie eine bevorzugte Domain an:

1. Klicken Sie auf der Startseite der Webmaster-Tools auf die gewünschte Website.
2. Klicken Sie auf das Zahnradsymbol und anschließend auf Websiteeinstellungen.
3. Wählen Sie im Bereich Bevorzugte Domain die gewünschte Option aus.

2. Google kann deine Seite nicht finden

Entweder ist deine Website zu neu, sodass der Google Crawler noch nicht entdeckt hat, oder deine Sitemap ist fehlerhaft beziehungsweise nicht existent. Ein erneutes Crawlen könnte das Problem beheben. Und so gibst du dem Bot laut Support die Anweisung:

Bei Google das Crawlen und Indexieren Ihrer URL anfordern

1. Klicken Sie in der Tabelle Abrufe neben dem Status eines kürzlich erfolgten erfolgreichen Abrufs auf die Schaltfläche An den Index senden.
2. Wählen Sie Nur diese URL crawlen aus, um eine einzelne URL zum erneuten Crawlen an Google zu senden. Sie können bis zu 500 einzelne URLs pro Woche auf diese Art senden.
3. Wählen Sie Diese URL und ihre direkten Links crawlen aus, um die URL sowie alle anderen Seiten, auf die diese URL verweist, zum erneuten Crawlen zu senden. Sie können bis zu zehn Anfragen dieser Art pro Monat senden.
4. Klicken Sie auf Senden, um Google mitzuteilen, dass Ihre Anfrage verarbeitet werden kann.

3. Deine robots.txt blockiert den Crawler

Achte darauf, dass die robots.txt deiner Domain korrekt definiert ist, damit die Crawler keine falschen Anweisungen erhalten. Hier sind einige Beispiele, weitere Informationen findest du auf robotstxt.org:

User-agent: *
Disallow: /
Somit wird allen Crawlern der Zugriff auf deinen Server verwehrt.

User-agent: *
Disallow: 
Somit wird allen Crawlern der Zugriff erlaubt.

User-agent: *
Disallow: /Beispiel
Somit wird allen Crawlern der Zugriff auf "Domain/Beispiel" verwehrt.

4. Crawling-Fehler

Es kann vorkommen, dass der Google Bot die Domain zwar findet, sie aber aus verschiedenen Gründen nicht crawlen kann. Um herauszufinden, ob dies der Fall ist, klicke in den Webmaster Tools auf deine Seite > Crawling > Crawling-Fehler.

5. Probleme aufgrund von Duplicate Content 

Neil Patel weist darauf hin, dass Suchmaschinen ihren Dienst verweigern, wenn sie von unterschiedlichen URLs den gleichen Content vorgelegt bekommen. Er schlägt vor, dass dann alle Unterseiten bis auf die originale Quelle mit einer 301-Weiterleitung versehen werden. Hier findest du sechs weitere Maßnahmen, die du in Fällen von Duplicate Content Problemen ergreifen solltest.

6. WordPress verweigert Indexierung

Falls du WordPress nutzt: Überprüfe im Admin-Bereich unter Einstellungen > Lesen > Sichtbarkeit für Suchmaschinen, ob der Haken fälschlicherweise bei „Verbietet Suchmaschinen die Website zu indexieren“ gesetzt ist.

7. .htaccess blockiert die Domain

Nicht nur die robots.txt, sondern auch die .htacces-Datei kann dazu führen, dass deine Seite nicht in den Suchergebnissen auftaucht und das Crawlen als unberechtigten Zugriff betrachtet. Wirf einen genauen Blick in die Datei auf deinem Webserver.

8. „noindex“ im Meta Tag

Manchmal ist die Fehlerquelle beinahe zu offensichtlich. Der Zugriff des Google Bots kann ebenfalls anhand der Meta Tags verweigert werden. Ist die entsprechende Zeile einmal gelöscht, können User deine Seite wieder fleißig googeln. Diese sieht im Quellcode meist wie folgt aus und sollte dringend entfernt werden:

meta name="robots" content="noindex, nofollow"

9. JavaScript und AJAX

Auch wenn Google die Programmiersprache mittlerweile unterstützt, bleibt der Zugang problematisch. Bei einer fehlerhaften Konfiguration deiner AJAX/Javascript-Anwendung fliegt die Website aus den SERPs. „AJAX-Crawling: Leitfaden für Webmaster und Entwickler“ kann in diesen Fällen hilfreich sein.

10. Zu hohe Ladezeit

Eine extreme Ladezeit ist nicht nur für die User Experience von Nachteil. Auch der Crawler gibt irgendwann seine Bemühungen auf. Maximal zwei Sekunden gelten hier übrigens als Richtwert.

11. Serverausfälle

Eine Website, die offline ist, kann weder von Usern noch vom Crawler eingesehen werden. Falls du feststellst, dass dein Server regelmäßige Ausfälle verzeichnet, solltest du die Wahl deines Hosting-Anbieters überdenken.

12. Manuelle Abstrafung

Eine manuelle Abstrafung ist leider nicht mit ein paar Gegenmaßnahmen behoben, sondern erfordert etwas mehr Einsatz. Im Rahmen der Panda- und Penguin-Updates im Sommer stellten wir einige Tipps zusammen. Ansonsten ist eine individuelle Überprüfung der Sachlage erforderlich.

Quelle: Search Engine Journal