OpenAI hat im Juli 2026 eingeräumt, dass rund 30 Prozent der Aufgaben in SWE-Bench Pro, einem der meistzitierten Benchmarks für die Programmierfähigkeit von KI-Modellen, schlicht defekt sind. Die eigene Empfehlung für den Test wurde daraufhin zurückgezogen. Für Unternehmen, die KI-Kaufentscheidungen auf Basis solcher Zahlen treffen, ist das ein Weckruf.
—
## Warum reicht ein Benchmark allein nicht als Entscheidungsgrundlage?
Ein Benchmark misst immer die Aufgabe, für die er gebaut wurde, nicht zwangsläufig die Aufgabe, die im eigenen Unternehmen ansteht. Selbst ein derart etablierter Test wie SWE-Bench Pro erwies sich beim Audit zu einem erheblichen Teil als unbrauchbar: zu strenge Prüfkriterien, die funktional richtige Lösungen ablehnen, unklare Anforderungen, die im Aufgabentext nie standen, und Aufgaben, die auch halbfertige Lösungen durchwinken.
Von 731 öffentlichen Testaufgaben stufte OpenAI rund ein Drittel als fehlerhaft ein. Wenn ein derart häufig zitierter, gut finanzierter Test in diesem Umfang Schwächen hatte, ist die Wahrscheinlichkeit gering, dass ein weniger geprüfter Benchmark die eigene, sehr spezifische Anwendung im Unternehmen sauber abbildet.
—
## Was die meisten Unternehmen übersehen
Ein Interessenkonflikt wird selten mitgedacht. Wer eine Kennzahl veröffentlicht, die das eigene Produkt gut aussehen lässt, hat daran ein wirtschaftliches Interesse. Das macht die Zahl nicht automatisch falsch, aber es macht sie zu einem Marketinginstrument, nicht zu einer neutralen Prüfung.
Bei einem Kunden aus dem verarbeitenden Gewerbe wurde ein Modell eingeführt, das in einem öffentlich zitierten Benchmark weit vorn lag. In einer eigenen, kleinen Testreihe an echten, anonymisierten Support-Fällen aus dem Unternehmen schnitt bei der eigentlich relevanten Aufgabe ein günstigeres Modell eines anderen Anbieters deutlich besser ab.
—
## Was das für Entscheider bedeutet
Eine Kaufentscheidung für ein KI-System braucht eine eigene, kleine Testreihe an der eigenen Aufgabe, nicht nur die Zahl von der Website des Anbieters. Das kostet vor der Entscheidung etwas Zeit. Eine Fehlentscheidung auf Basis einer unpassenden Zahl kostet danach deutlich mehr, in Lizenzkosten, in Integrationsaufwand und in der Zeit, die es braucht, den Fehler zu erkennen.
—
## Fazit
Wer ein KI-System kauft, ohne es an der eigenen Aufgabe zu prüfen, entscheidet auf Basis der Aufgabe des Anbieters. Eine kurze, eigene Prüfung vor der Entscheidung schafft die Klarheit, die ein Benchmark allein nicht liefern kann.
Wenn Sie eine solche Prüfung für Ihr Unternehmen strukturiert aufsetzen möchten: [Kostenfreies Erstgespräch vereinbaren](/kontakt/).
