Archive

robots.txt

Die Datei mit dem Namen robots.txt ist die durch Bots (kurz für: Robots; auch: Webcrawler) zuerst angesteuerte Datei einer Website, welche notwendigerweise im Stammverzeichnis dieser positioniert wird. Sie dient der Übermittlung von Anweisungen der Webmaster an die Webcrawler, wie diese mit der angesteuerten Website verfahren sollen. Durch robots.txt wird Webmastern zum Beispiel die Möglichkeit gegeben, […]

von Atilla Wohllebe |