Die Studie untersucht verschiedene KI-Agenten, die ein Start-up simulieren. Die Agenten haben 500 Tage Zeit, ein fiktives Start-up zu führen. Es stehen 34 Werkzeuge zur Verfügung, von Preisfestlegung bis Marketing. Die Agenten erhalten unter anderem Datenbanken, Kundengruppeninformationen und einen laufenden Markt.
Funktion und Spezifikationen der KI-Agenten
Claude Opus 4.8 und GPT-5.5
Die beiden besten KI-Agenten sind Claude Opus 4.8 und GPT-5.5. Claude Opus 4.8 erreichte ein End-Guthaben von rund 27,8 Millionen US-Dollar, GPT-5.5 kam auf etwa 21,3 Millionen. Beide Agenten überlebten alle 500 Tage, obwohl sie in den anderen beiden Runden unter dem Startkapital endeten.
Claude Fable 5
Claude Fable 5 erreichte in einem Lauf rund 47 Millionen Dollar, obwohl der Test zwischenzeitlich mit Claude Opus 4.8 fortgesetzt wurde. Fable 5 überlebte jedoch in allen Läufen die kompletten 500 Tage, endete aber mit nur rund 390.000 Dollar.
Grok 4.20 und DeepSeek V4 Pro
Die übrigen Agenten blieben entweder unter dem Startkapital oder gingen bankrott. Grok 4.20 hielt es im besten Fall gerade einmal 37 Tage durch, DeepSeek V4 Pro maximal 176 Tage.
Unterschiedliche Strategien und Varianz
Die erfolgreichen Agenten folgten sehr unterschiedlichen Strategien. Claude Opus 4.8 verfolgte eine radikale Harvesting-Strategie, während GPT-5.5 auf einen dauerhaften Kundenstamm setzte. Beide Agenten schrieben eigenständig Code-Dateien. GPT-5.5 analysierte Verhandlungshistorien, um Kundenpräferenzen abzuleiten. Die Varianz zwischen den Läufen eines Modells ist groß, was nahelegt, dass die grundsätzliche Entscheidungskoordination unter Unsicherheit ein Problem für die Agenten darstellt.
Abstand zum theoretischen Optimum
Die Ergebnisse des Tests zeigen, dass die Agenten weit von dem theoretischen Optimum entfernt sind. Selbst in einer auf 50 Tage verkürzten Variante scheiterten die meisten Agenten. Das bedeutet, dass nicht nur der lange Horizont, sondern auch die grundsätzliche Entscheidungskoordination unter Unsicherheit ein Problem für die Agenten darstellt.
Schlussfolgerung
Der Benchmark-Test zeigt, dass KI-Agenten noch lange nicht in der Lage sind, komplexe, langfristige Aufgaben wie das Führung eines Start-ups zu bewältigen. Nur drei von zehn Modellen erreichen mehr als das Startkapital, und die Varianz zwischen den Läufen eines Modells ist groß. Die grundsätzliche Entscheidungskoordination unter Unsicherheit ist ein weiterer entscheidender Faktor für die Erfolgsaussichten der Agenten.
Kommentare