OpenAI führt neue Benchmark MLE-bench ein: Wie gut performen AI Agents?

Für den Performance-Abgleich nutzt das Unternehmen 75 Wettbewerbe aus dem Machine-Learning-Kontext. Diese wurden von Kaggle, einer riesigen Machine Learning und AI Community, extrahiert. Sie beziehen sich auf den Bereich Engineering. Auf Basis der Kaggle Leaderboards werden menschliche Basiswerte angesetzt. Verschiedene Sprachmodelle lassen sich im Open-Source-Rahmen testen; und OpenAIs eigenes neues Modell o1 schneidet bei vielen der Tests gut ab, würde im Kaggle-Kontext in 16,9 Prozent eine Bronzemedaille erhalten, heißt es im Blog Post. Den Code für die neue Benchmark stellt das Unternehmen selbst auch als Open Source bereit.

In der Tech-Branche könnten AI Agents und KI-Tools mit enormer Intelligenz, ob von OpenAI, Anthropic, Meta, Google DeepMind und Co., bald sogar im HR-Bereich für Veränderungen sorgen. The Information berichtet, dass Anthropic-Entwickler:innen den eigenen Chatbot Claude bereits zum Coden nutzen; und das könnte die Einstellungspläne langfristig verändern. Manche Jobs gehen also womöglich eher früher als später an AI Agents oder KI-Tools.

Beitrag von @theinformation

Auf Threads ansehen

---

OpenAIs Canvas ist da:

Automatischer Coding und Writing Support parallel zu ChatGPT