Beste KI-Coding-Agenten scheitern noch immer bei realen Aufgaben

Das von Y-Com­bi­na­tor-ge­för­der­tem Spe­ci­fic Labs ent­wi­ckel­te Bench­mark-Sys­tem Real-SWE tes­tet KI-Co­ding-Agen­ten unter re­a­lis­ti­schen Be­din­gun­gen: statt öf­fent­li­cher Re­po­si­to­ries kom­men pri­va­te Co­de­ba­sen ech­ter Un­ter­neh­men zum Ein­satz1. Den ers­ten Platz be­legt Fable 5.1 von An­thro­pic, das via Clau­de Code be­trie­ben wird, mit einer Er­folgs­quo­te von le­dig­lich 38,8 Pro­zent1.

Die wei­te­ren Plat­zie­run­gen zei­gen einen stei­len Ab­fall der Leis­tung: GPT-6 Astra mit Codex CLI er­reich­te 33,8 Pro­zent, Ge­mi­ni 3.8 Flash mit Ge­mi­ni CLI 31,2 Pro­zent, wäh­rend Kimi K3 nur 18,8 Pro­zent und GPT-5.6 Sol sogar nur 16,2 Pro­zent er­ziel­ten1. Jedes Mo­dell er­hielt acht Ver­su­che pro Auf­ga­be, und die Sco­res spie­geln immer die Kom­bi­na­ti­on aus Mo­dell und zu­ge­hö­ri­gem Co­ding-Tool wider1.

Be­son­ders schwie­rig er­wie­sen sich in­di­vi­du­el­le Auf­ga­ben, bei denen sechs von zehn Bench­marks eine Er­folgs­quo­te unter 15 Pro­zent auf­wie­sen1. Real-SWE-Lö­sun­gen er­for­dern im Me­di­an Än­de­run­gen an elf Da­tei­en gleich­zei­tig, was fast dop­pelt so viel ist wie bei ver­gleich­ba­ren Bench­marks1. Die Ver­wen­dung pri­va­ter Code-Be­stän­de soll Da­ten­lecks aus Trai­nings­da­ten re­du­zie­ren, eine voll­stän­di­ge Ga­ran­tie kann Spe­ci­fic Labs je­doch nicht geben1.