Research·Europe
Coding-Agenten liefern viel, aber selten fertig
Redaktionelle Einschätzung
This real-world benchmarking of coding agents reveals a critical usability gap, echoing early autonomous vehicle challenges.
Kernpunkte
- 1Der KI-Agenten-Benchmark Co-Design Bench von Alibaba konfrontiert Coding-Agenten mit echten, schwierigen Nutzeranfragen und zeigt ernüchternde Ergebnisse: Selbst GPT-6 Astra als Spitzenreiter löst nur 26,4 Prozent der Aufgaben vollständig.
- 2Auf älteren Benchmarks erreichen dieselben Modelle über 99 Prozent.
- 3Die Lücke zwischen Laborwerten und Praxistauglichkeit bleibt groß.
- 4Der Artikel Coding-Agenten liefern viel, aber selten fertig erschien zuerst auf The Decoder.
Der KI-Agenten-Benchmark Co-Design Bench von Alibaba konfrontiert Coding-Agenten mit echten, schwierigen Nutzeranfragen und zeigt ernüchternde Ergebnisse: Selbst GPT-6 Astra als Spitzenreiter löst nur 26,4 Prozent der Aufgaben vollständig. Auf älteren Benchmarks erreichen dieselben Modelle über 99 Prozent. Die Lücke zwischen Laborwerten und Praxistauglichkeit bleibt groß. Der Artikel Coding-Agenten liefern viel, aber selten fertig erschien zuerst auf The Decoder.
Free Daily Briefing
Top AI intelligence stories delivered each morning.