Das neue „robots.txt Testing Tool“ hilft dir im Google Webmaster Tools Crawling-Fehler auf deiner Website zu ermitteln

Update bei Google Webmaster Tools und zwar bei dem „Robots-Exclusion-Standard-Protokoll“. Zuallerst liest ein Webcrawler beim Auffinden einer Webseite die Datei robots.txt im Stammverzeichnis einer Domain. In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Seitenbetreiber haben so die Möglichkeit, ausgesuchte Bereiche ihrer Webpräsenz für bestimmte Suchmaschinen zu sperren. Das Protokoll ist rein hinweisend und ist auf die Mitarbeit des Webcrawlers angewiesen.

Versehentliches Blocken bestimmter Unterseiten erkennen

In der Vergangenheit ist es aber häufig vorgekommen, dass aufgrund von fehlerhaften Dateien, bestimmte Unterseiten für Google geblockt wurden – und das ungewollt. Neuerdings können diese Fehler aufgezeigt werden. Du kannst im Google Webmaster Tools analysieren, warum bestimmte Unterseite deiner Homepage nicht gecrawled werden und anschließend entsprechend bearbeiten. Außerdem ist es möglich, dass du mit dem neuen „robots.txt Testing Tool“ die geblockten URLs testen sowie dir ältere Versionen der Dateien anzeigen lassen kannst.

Mit dem „robots.txt Testing Tool“ den Grund für das Blocken von Google ermitteln

Unter dem Crawl-Abschnitt in Google Webmaster Tools, genauer gesagt in dem Bereich „Blockierte URLs“, kannst du fortan untersuchen, warum deine Dateien nicht von Google gecrawled werden können.

To guide your way through complicated directives, it will highlight the specific one that led to the final decision,

sagt Asaph Arnon vom Webmaster Tools Team auf dem Google Webmaster Central Blog.

You can make changes in the file and test those too, you’ll just need to upload the new version of the file to your server afterwards to make the changes take effect.

Außerdem sei jeder User nun in der Lage, ältere Versionen des robots.txt Files zu überprüfen und zu sehen, an welcher Stelle Google der Zugang verwehrt wurde.

For example, if Googlebot sees a 500 server error for the robots.txt file, we’ll generally pause further crawling of the website.

Auf Google+ verkündete Googles Webmaster Trends Analyst John Müller die Neuigkeit wie folgt: