Google startet bald Crawling über HTTP/2

Das Hypertext Transfer Protocol (HTTP) ist ein Protokoll zur Übertragung von Daten im Internet und vor allem für das Laden von Websites im World Wide Web zuständig. Standardisiert wurde es von der Internet Engineering Task Force (IETF) und dem World Wide Web Consortium (W3C). Seit 2015 gibt es nach der Version HTTP/1.1 die Weiterentwicklung HTTP/2. Ab November wird Google nun ausgewählte Seiten über dieses Protokoll crawlen – sofern deren Server HTTP/2 unterstützen und die Betreiber keinen Opt-out nutzen.

HTTP/2: „Robuster, effizienter und schneller als sein Vorgänger“

Der Twitter Account der Google Webmasters kündigte das Crawling über HTTP/2 für Mitte November an:

Im offiziellen Blogpost erklärt Google dann, dass HTTP/2 als wichtige nächste Entwicklungsstufe des Hypertext Transfer Protocols betrachtet werden sollte. Eine Einführung zu dieser Version, die auch erklärt, warum sie das Laden schneller macht, liefert Google im Developers Blog. Grundsätzlich argumentiert das Suchmaschinenunternehmen, dass das Crawling über HTTP/2 ressourcensparend für Server ist. Über nur eine TCP (Transmission Control Protocol)-Verbindung können parallel verschiedene Datensätze übermittelt werden. Bisher sind dafür mehrere Verbindungen nötig. Je weniger Verbindungen genutzt werden, desto mehr Ressourcen sparen die Server und der Googlebot beim Crawling.

Zunächst werden nur vereinzelte Seiten über HTTP/2 gecrawlt, später sollen graduell mehr Seiten integriert werden. Google crawlt aber nur dann über diese Version, wenn der Server sie unterstützt und ein entsprechendes Crawling Vorteile bietet. Unterstützt der Server bereits HTTP/2 und wird ohnehin viel bei einer Seite gecrawlt, dürfte das Update bereits möglich sein, hier müssen die Seitenbetreiber in der Regel nichts tun, gibt Google an. Doch auch, wenn nur das Protokoll HTTP/1.1 unterstützt wird, soll sich laut Google zunächst nichts an der Quantität und Qualität des Crawlings ändern.

Opt-out für Seitenbetreiber möglich

Sollten Seitenbetreiber aus irgendeinem Grund nicht wollen, dass Google über HTTP/2 ihre Seiten crawlt, können sie ein auf ein Opt-out zurückgreifen. Entweder instruieren sie ihren Server, mit einem 421 HTTP Status Code zu antworten oder sie kontaktieren das Googlebot Team. Für alle weiterführenden Fragen hat Google im Blogpost ein ausführliches FAQ bereitgestellt.