Logfile-Analyse – Auswerten was Google wirklich crawlt

Weißt du eigentlich, welche Seiten Google auf deiner Webseite besucht? Weißt du auch, wie häufig das geschieht? Denkst du, dass du das durch Verwendung von SEO-Tools oder durch Nutzung von Google Search Console weißt? Dann ist das nur die halbe Wahrheit. Wenn du dies genau betrachten willst, dann musst du dich ganz intensiv mit deinen Logfiles befassen.

Was genau ist ein Logfile?

Als Logfiles bezeichnet man Dateien, die auf dem Server deiner Webseite automatisch gespeichert werden. Jede Anfrage an diesen Server, auch Hits genannt, siehst du in den sogenannten Access Logs. Dort sind dann für dich auch die Googlebots ersichtlich. Eine solche Datei kann unter Umständen recht groß sein, was abhängig von der Anzahl der Seitenaufrufe ist. Dieser Umstand führt auch dazu, dass die Dateien nicht dauerhaft gespeichert bleiben. Nach wenigen Wochen werden sie, auch wegen der Größe, automatisch gelöscht. Du musst eine solche Logfile-Analyse also immer zeitnah durchführen oder dir die Daten herunterladen bzw. sichern, bevor es zur Löschung kommt.

Wie sieht eine Logfile Datei aus?

In jeder Logfile Datei sind identisch aufgebaute Zeilen aneinandergereiht. In jeder Zeile findest du aber nur jeweils einen Seitenaufruf mit folgenden Informationen:

• Die IP des Seitenaufrufenden
• Den Zeitpunkt des erfolgten Aufrufs
• URI = Pfad der aufgerufenen Seite
• Das Protokoll
• Den Status Code, also die Antwort des Servers
• Die übertragenen Bytes
• Den User Agent

Solch eine identisch aufgebaute Zeile kann z.B. wie folgt aussehen:

66.148.143.456– –[19/Dez/2017:02:53:19 +0200]„GET/logfile-analyseHTTP/1.0“20025518„-“ „Firefox/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)“

Wichtig! In den Logfiles sind immer die IP Adresse gespeichert. Das bedeutet, dass die Logfiles auch in Sachen Datenschutz zu beachten sind. Nach der DSGVO ist es wichtig, dass die IP anonymisiert dargestellt wird. Du kannst dies erreichen, wenn der letzte Zeichensatz durch ein Skript immer durch eine 0 ersetzt wird.

Was ist eine Logfile-Analyse?

Mit der Logfile-Analyse kannst du dir Kennzahlen oder Statistiken anfertigen. Mit diesen kannst du genau überprüfen, wie viele Seitenzugriffe es gegeben hat, eben auch von Google. Die Logfiles bilden dabei die Grundlage für eine solche Analyse.

Wie funktioniert die Auswertung der Daten?

Bei der Auswertung der Daten spielt die Größe und der Umfang deiner Webseite eine große Rolle. Handelt es sich nur um eine relativ kleine Seite, dann kannst du die großen Dateien entpacken. Die einzelnen Elemente bereitest du dann in Excel in Spalten auf. Aus diesen Spalten kannst du dann die Googlebots herausfiltern.

Einfacher geht es natürlich mit Tools. Eines dieser Tools ist beispielsweise der Screaming Frog Log File Analyser.

Mit diesem Tool kannst du die Logfiles in komprimierter Form per Drag & Drop einfügen. Alle relevanten Suchmaschinen Bots werden dann vom Tool automatisch herausgefiltert. Natürlich ist dies genannte Tool nicht das einzige, welches auf dem Markt ist. Wenn du ständig deine Logfiles auswerten möchtest, dann bietet sich auch das sogenannte ELK-Stack an. Dies sind die Lösungen Elasticsearch, Logstash und Kibana, alles Open Source-Lösungen.

Gründe für eine Logfile-Analyse

Um alle Webseiten dieser Welt zu erschließen und zu indexieren, werden von Google Crawler verwendet. Dieses Vorgehen kostet nicht nur viele Ressourcen, sondern ist auch sehr aufwendig. Google legt deshalb für jede Domain ein bestimmtes Budget fest, welches Crawlbudget genannt wird. Tauchen jetzt Seiten auf, die wenig besucht, fehlerhaft, von mäßiger Qualität oder unwichtig sind, ist dies für dich nicht gut. Das Crawlbudget ist dann sehr niedrig und damit steht auch fest, dass deine Seiten sehr wenig oder kaum noch von Google besucht werden. Du kannst zwar diese Logfiles von Google beispielsweise in der Search Console sehen, aber eben nicht genau, um welche Crawls es sich handelt. Und genau deshalb ist es wichtig, dass du eine genaue Logfile-Analyse durchführst.

Welche Kennzahlen kannst du ermitteln?

Mit einer gründlichen Logfile-Analyse kannst du einige wichtige Kennzahlen ermitteln. Kennzahlen, über den Nutzer von deiner Webseite. Diese Kennzahlen lauten wie folgt:

• Hostname und IP-Adresse
• Welches Betriebssystem wurde verwendet und welcher Browser?
• Welches Suchwort wurde über welche Suchmaschine eingegeben?
• Aus welchem Land oder welcher Region erfolgte die Suchanfrage?
• Wie lang blieb der Nutzer auf den jeweiligen Seiten, welche er aufgerufen hat?
• Auf welcher Seite hat der Nutzer deine Webseite verlassen?
• Gab es einen direkten Zugriff des Nutzers oder einen Verweis von einer anderen Webseite? Wurde der Seitenbesuch durch eine von dir initiierten Werbemaßnahme ausgelöst?

Vorteile und Nachteile der Logfile-Analyse

Natürlich gibt es bei der Logfile-Analyse nicht nur Vorteile. Die Auswertung ist auch mit Nachteilen verbunden. Alle Vor- und Nachteile gibt es deshalb hier für dich auf einen Blick.

Vorteile Logfile-Analyse	Nachteile Logfile-Analyse
Historische Daten werden neu geordnet. Logfiles werden durch Webserver ständig aufgezeichnet. Eine flexible Auswertung der Daten ist möglich.	Den Traffic einer Seite kannst du mit der Logfile-Analyse nur ungenau bestimmen.
Die ermittelten Zugriffszahlen bleiben im eigenen Netzwerk. So kannst du stets die Kontrolle über deine Daten behalten.	Verwendest du eine Software, so sind regelmäßige Updates zwingend notwendig.
Sämtliche Daten kannst du ermitteln, auch abgebrochene Downloads. Jeder Hit lässt sich durch Zeitstempel genau protokollieren. Probleme mit Dateien kannst du also genau nachvollziehen.	Besteht ein hohes Besucheraufkommen auf deiner Seite, können schnell Dateien mit sehr großen Datenmengen entstehen. Das bedeutet, dass zusätzlicher Speicheraufwand notwendig ist.
Das Protokoll wird nicht durch Firewalls behindert.	Die Auswertung von großen Datenmengen ist sehr aufwendig.
Jeder Besuch des Webservers wird genau dokumentiert. Die Crawler lassen sich genau nachvollziehen.	Wird von einem Besucher eine dynamische IP-Adresse verwendet, erscheinen bei der Analyse mehrere Besucher, obwohl es sich nur um einen User handelt.
Es ist weder eine Java-Script noch Cookies notwendig. Deine Analyse ist deshalb aus technischer Sicht nicht so anfällig für Probleme.	Vergleich man die Logfile-Analyse mit einem Webanalyse-Tool, bekommst du bei der Logfile-Analyse weniger Daten. Beispielsweise KPI´s wie Absprungraten.
Ist eine Datei nicht zu groß, kannst du die Daten sehr einfach mithilfe von Excel auswerten.

Mit einer Logfile-Analyse hast du im Bereich SEO die Gelegenheit, für dich wichtige Besucherdaten selbst aufzubereiten und diese auszuwerten. Die Daten bleiben bei dir und gelangen nicht an andere, beispielsweise Dienstleister. Das Thema Datenschutz wird so auch keine große Herausforderung. Du musst allerdings auch Abstriche machen, was die Analysemöglichkeiten betrifft. Als alleinige Analyse zur Auswertung von Besucherdaten ist es nicht zu empfehlen. Die Logfile-Analyse ist aber eine sehr gute Ergänzung zu anderen Analyse-Tools, beispielsweise zu Google Analytics. Willst du diese Analyse durchführen, solltest du dir bewusst sein, dass deine IT-Infrastruktur leistungsfähig sein muss, wegen der großen Menge an Daten.