Googlebot und JavaScript werden endlich Freunde

Wenn es um die JavaScript geht, bestand lange Zeit der Eindruck, Google versteht hier nur Bahnhof. Sowohl die Programmiersprache als auch Google sind Kinder der 90er Jahre, aber so richtig gefunkt hat es nie. Jetzt öffnet sich der Googlebot gegenüber der Skriptsprache. Ein Schritt, der längst überfällig ist, wie Google im Webmaster Central Blog selbst zugibt:

„In 1998 […], we didn’t really have to worry about JavaScript or CSS. They weren’t used much, or, JavaScript was used to make page elements…blink! A lot has changed since then.“

So entstand JavaScript 

JavaScript blickt nämlich auf eine beeindruckende Geschichte zurück. Der damalige Netscape-Entwickler Brendan Eich erhielt den sportlichen Auftrag, innerhalb von zwei Wochen eine komplette Skriptsprache auf die Beine zu stellen, die in der Lage sein sollte, mit den serverseitigen Komponenten des Netscape Navigators (heute: Mozilla Firefox) zu kommunizieren.

Brendan Eich schaffte es, innerhalb von 14 Tagen eine funktionsfähige Programmiersprache auf die Beine zu stellen. Was zunächst ausschließlich für Netscape-Zwecke gestrickt wurde, verbreitete sich innerhalb kürzester Zeit wie ein Lauffeuer. Schnell zog Erzfeind Microsoft nach und entwickelte „JScript“, nahezu identisch mit JavaScript, um seinen Internet Explorer damit konkurrenzfähig zu machen. JavaScript etablierte sich auf diese Weise in wenigen Jahren zum festen Bestandteil sämtlicher Browser – und als wesentlicher Bestandteil der Web-Programmierung.

Das liegt an den vielfältigen Einsatzmöglichkeiten von JavaScript: von der Prüfung von Web-Formularen, bevor die Eingaben an den Server geschickt werden, über Autocomplete-Vorschläge in Suchschlitzen bis zur Gestaltung von Bannern. Der Grund liegt in der Fähigkeit von JavaScript, Objekte schnell und dynamisch zu manipulieren. Ralph Steyer beschreibt die Fähigkeit in seinem Buch „Das JavaScript-Handbuch: Einführung, Praxis und Referenz“ wie folgt:

JavaScript kann […] auf zahlreiche fremde Objekte seiner Umgebung zugreifen. Ein kontrollierbares Objekt ist zum Beispiel der Browser selbst. JavaScript kann beispielsweise zur Kontrolle von Bestandteilen einer Webseite, Java-Applets und anderen Objekten verwendet werden. Die Aufgabe von JavaScript besteht im Wesentlichen darin, den relativ dummen Browser intelligenter zu machen.

JavaScript ist also als Schlaumacher von Browsern schnell groß geworden – und für Google daher nicht mehr länger zu ignorieren. Mit seinem populären Namvensvetter Java hat die Sprache übrigens wenig gemein. JavaScript wurde aus Marketingzwecken mit dem Namenszusatz ausgestattet. „Um eine gewisse Verbindung zu den damit für das Web konzipierten Java-Applets zu schaffen, wurde LiveScript von Netscape in JavaScript umbenannt“, löst Ralph Steyer das Geheimnis um die vermeintliche Verwandtschaft auf. Jens Ohlig baut in seinem „Curry Buch“ sogar noch eine bessere Eselsbrücke, um Verwechslungen auszuschließen: „Der Name JavaScript wurde aus Marketinggründen gewählt, um vom Hype um die Sprache Java zu profitieren. Java verhält sich zu JavaScript wie Ham zu Hamster.“

Noch tut sich Google schwer – ein Debugging Tool soll Webmastern helfen 

Dadurch, dass Google sich beim Crawlen und Indizieren bisher vor allem an Rohtext aus dem HTTP Body orientiert hat, waren die Kalifornier auf dem Auge von Browsern, die JavaScript im Einsatz haben, blind. Wertvoller Content, der mit JavaScript gebaut wurde, ging beim Indizieren also komplett flöten. Ein „sad outcome for both searchers and webmasters“, wie Google einräumt.

Die neue Fähigkeit, JavaScript ist für Google allerdings noch ungewohntes Terrain: „It’s hard to do that at the scale of the current web, but we decided that it’s worth it“. Webmaster können Google beim Lesen, Crawlen und Indizeren unter die Arme greifen. Hier die offiziellen Tipps von Google:

• If resources like JavaScript or CSS in separate files are blocked (say, with robots.txt) so that Googlebot can’t retrieve them, our indexing systems won’t be able to see your site like an average user. We recommend allowing Googlebot to retrieve JavaScript and CSS so that your content can be indexed better. This is especially important for mobile websites, where external resources like CSS and JavaScript help our algorithms understand that the pages are optimized for mobile.
• If your web server is unable to handle the volume of crawl requests for resources, it may have a negative impact on our capability to render your pages. If you’d like to ensure that your pages can be rendered by Google, make sure your servers are able to handle crawl requests for resources.
• It’s always a good idea to have your site degrade gracefully. This will help users enjoy your content even if their browser doesn’t have compatible JavaScript implementations. It will also help visitors with JavaScript disabled or off, as well as search engines that can’t execute JavaScript yet.
• Sometimes the JavaScript may be too complex or arcane for us to execute, in which case we can’t render the page fully and accurately.
• Some JavaScript removes content from the page rather than adding, which prevents us from indexing the content.

Zusätzlich ist ein Debugging Tool zur Veröffentlichung in den Webmaster Tools geplant. Mit diesem Tool stellt Google dar, wie sie die jeweilige Webseite interpretieren. Damit sollen Webmaster es leichter haben, Anhaltspunkte für das Debugging zu bekommen.