Blitzschnelle Konkurrenz für ChatGPT und Grok: Groq AI setzt auf das schnellste LLM der Welt

Wenn es bei der Beantwortung deiner Fragen an einen KI-Chatbot mal besonders schnell gehen muss, kannst du auf Groq setzen. Die AI Answering Machine vom gleichnamigen Unternehmen fasziniert erste User durch ihre schnelle Content-Ausgabe. Diese beruht auf einer Language Processing Unit Inference Engine sowie eigenen Chips und Systemen. Aktuell kann das System hinter dem AI Bot Groq sogar ChatGPT hinsichtlich verarbeiteter Token pro Sekunde in den Schatten stellen. Wir haben einen Blick auf den AI Chatbot geworfen, dessen Name unweigerlich an den KI-Bot Grok auf X denken lässt; Grok von xAI hat beim Groq Team sogar für Unmut gesorgt. Was Groq leistet und wie du das Tool nutzen kannst, setzen wir dir im Detail auseinander.

Das ist Groq: Schnell dank eigener Tech-Lösungen und Open Source-Zugriff

Groq ist ein Tech-Unternehmen, das generative KI für möglichst viele Menschen zur Verfügung stellen möchte. Schon 2016 wurde es gegründet und stellt mit dem namensgleichen KI-Chatbot Groq eine Alternative zu ChatGPT, Google Gemini und Co. bereit. Den Chatbot können User kostenfrei nutzen und dabei aktuell wahlweise auf das Mixture of Experts (MoE)-Modell Mixtral 8x7B-32K oder das Large Language Model (LLM) Llama 2 70B-4K zurückgreifen. Groq zeigt sich in der Verarbeitung von Prompts und Ausgabe von Antworten als besonders schnell. Immerhin preist ein Pop-up bei der Nutzung des Groq Prompters das schnellste LLM der Welt an.

Besonders schnell ist Groq nach eigenen Angaben vor allem, weil das Unternehmen eigene Chips und Systeme verwendet. Dabei werden etwa Custom Application-specific Integrated Circuit (ASIC) Chip für LLMs eingesetzt, wie auch Savannah Fortis für Coin Telegraph berichtet. Des Weiteren baut Groq auf Open Source-Modelle wie Llama 2 und setzt auf eine eigene LPU (Language Processing Unit) Inference Engine, die bei der Arbeit mit LLMs leistungsfähiger, zumindest aber schneller sein soll als der Einsatz von GPUs oder CPUs.

Wow, that's a lot of tweets tonight! FAQs responses.
• We're faster because we designed our chip & systems
• It's an LPU, Language Processing Unit (not a GPU)
• We use open-source models, but we don't train them
• We are increasing access capacity weekly, stay tuned pic.twitter.com/nFlFXETKUP

— Groq Inc (@GroqInc) February 19, 2024

Nach den jüngsten Demos erlangte das KI-Tool viel Aufmerksamkeit, weil es durch seine schnelle Antwortoption besticht. Beim Groq Prompter wird auch angegeben, wie lange das Tool für die Content-Ausgabe brauchte. In etwas mehr als drei Sekunden listete Groq eine Reihe von wichtigen Online Marketing Events für 2024 auf.

Die Content-Ausgabe können User bei Groq jedoch noch modifizieren und etwa eine freundlichere Ansprache wählen, eine verkürzte Darstellung oder auch eine Tabelle als Darstellungsform.

ChatGPT beispielsweise kann allerdings einige Prompts ähnlich schnell bearbeiten. Allerdings haben einige User schon konkrete Vergleiche angestellt und Groq als deutlich schneller erkannt.

Beitrag von @luokai

Auf Threads ansehen

It's so much fun watching the side-by-side videos. Thanks for sharing @JosttenSackitey It's like that when you use Llama 2 70B as well, and that's much bigger than Mixtral. #groqspeed https://t.co/LgdkNPAM48

— Groq Inc (@GroqInc) February 19, 2024

Manche Antworten kommen in weniger als einer Sekunde zustande. Und zuweilen soll Groq bis zu 500 Token pro Sekunde verarbeiten können.

The first public demo using Groq: a lightning-fast AI Answers Engine.

It writes factual, cited answers with hundreds of words in less than a second.

More than 3/4 of the time is spent searching, not generating!

The LLM runs in a fraction of a second.https://t.co/dVUPyh3XGV https://t.co/mNV78XkoVB pic.twitter.com/QaDXixgSzp

— Matt Shumer (@mattshumer_) February 19, 2024

Als Benchmark setzte das Unternehmen im Sommer 2023 100 Token pro Sekunde, im November 2023 wurde der Rekord von 300 Token pro Sekunde erreicht (mit Llama 2). Auch bei der jüngsten Analyse von ArtificialAnalysis.ai war Groq hinsichtlich der LLM Benchmarks ganz vorn dabei. In einem Interview mit CNN erklärt CEO Jonathan Ross ausführlich, wie das Unternehmen so eine schnelle KI-Lösung bieten kann. Dabei erklärt er auch, dass grundsätzlich ein Optmierung von Performance Speed zu mehr User Engagement führen kann (etwa bei Websites). Einen Roman könnte Groq gar in 100 Sekunden verarbeiten (wenn 500 Token pro Sekunde angenommen werden).

Groq und die anderen KI-Chatbots

Groq ist sehr schnell, liefert aber nur Input mit Daten bis 2021 – ein Problem, das ChatGTP zu Beginn ebenfalls hatte. Wie bei manchen anderen KI-Tools dürften manche Antworten fragwürdig sein. Simple Anfragen aber kann Groq extrem schnell beantworten – alle Wimbledon-Sieger:innen wurden mir in unter fünf Sekunden aufgelistet (bis 2021). Du kannst dir auch in Sekunden einen Geschenk-Guide erstellen lassen.

Ein multimodaler Einsatz mit der Integration von Fotos oder der Erstellung von Fotos durch Groq ist aktuell noch nicht möglich. In diesem Kontext haben OpenAI – etwa mit den Visual und Voice Conversations oder der GPT-Integration in Konversationen –, Copilot und Google Gemini Vorteile. Groq kann aber als Speed-Option überzeugen.

Beitrag von @marcelweiss

Auf Threads ansehen

Allerdings optimieren OpenAI, Microsoft Google und Co. stetig ihre AI Chatbots und die zugrunde liegenden KI-Systeme. Erst kürzlich hat Google mit Gemini 1.5 ein extrem leistungsfähiges KI-Modell vorgestellt. Dabei erstaunt vor allem die Kontextfenstererweiterung; bis zu einer Million Token soll Gemini 1.5 Pro verarbeiten können. Demis Hassabis, CEO von Google DeepMind, erklärt:

This means 1.5 Pro can process vast amounts of information in one go — including 1 hour of video, 11 hours of audio, codebases with over 30,000 lines of code or over 700,000 words. In our research, we’ve also successfully tested up to 10 million tokens.

---

Gemini 1.5:

Googles AI-Modell erhält Update mit immenser Kontextlänge

---

Groq, Grok? Deshalb sind die Macher:innen sauer auf Elon Musk

Bei all den Erwähnungen des Unternehmensnamens und des AI Bots bleibt die Frage, was Groq eigentlich genau bedeutet. Nach Informationen des Unternehmens bezieht sich der Name auf das Verb (to) grok, das so viel wie begreifen (intuitiv und ganzheitlich) bedeutet. Dieses Wort geht auf den Science Fiction-Autor Robert A. Heinlein zurück.

Als Elon Musk im Herbst 2023 den xAI Chatbot Grok für die Plattform X ankündigte, war man bei Groq augenscheinlich nicht sehr erfreut über diese Namensgebung. So richtete sich das Team mit einem Brief an Musk:

Hey Elon,

Did you know that when you announced the new xAI chatbot, you used our name? Your chatbot is called Grok and our company is called Groq®, so you can see how this might create confusion among people. Groq (us) sounds a lot like (identical) to Grok (you), and the difference of one consonant (q, k) only matters to scrabblers and spell checkers. Plus, we own the trademark […].

Man bat um eine Umbenennung („it’s not your Groq“), doch die blieb bis heute aus. Immerhin gibt es eine kleine Unterscheidung durch den letzten Konsonanten im Wort. Jetzt verweisen viele extra darauf, dass Grok und Groq nicht das gleiche Tool darstellen.

Wir dürfen gespannt sein, was das AI Tool Groq in Zukunft zu bieten hat und ob es sich gegen die großen Player wie Gemini, ChatGPT, Copilot (und womöglich auch Chat with RTX) behaupten kann. Schnell ist es auf jeden Fall, doch das dürfte auf Dauer auch in einer schnelllebigen Digitalwelt wie der unseren nicht genug sein.