Ein Benchmark für Arbeit über Bereichsgrenzen hinweg
Unternehmensarbeit bleibt selten in einer Anwendung. Eine Zahlungsfrage greift auf Finanzdaten zurück, eine geänderte Lieferbeziehung betrifft Betrieb und Verantwortung, und eine Prozessänderung braucht die richtigen Berechtigungen. GeistBench misst konfigurierte KI-Agenten an genau dieser Art von Arbeit.
Was öffentliche Agenten-Benchmarks abdecken
Nach unserem Kenntnisstand (September 2026) decken öffentliche Agenten-Benchmarks unterschiedliche Kombinationen von Domänen, Anwendungen und Arbeitsergebnissen ab. Manche reichen über mehrere Funktionen, andere untersuchen einen Bereich eingehend. GeistBench ergänzt einen Blick auf Finanzen, Betrieb, Prozessmodellierung, Governance und Werkzeugnutzung nach einer Bewertungsregel. Der Vergleich beschreibt den Umfang, keinen Anspruch auf Einzigartigkeit.
Worauf GeistBench zielt
GeistBench ist auf die Bewertung vollständiger Unternehmensabläufe ausgelegt: die richtigen Datensätze lesen, den richtigen Zustand ändern, die Berechtigungen der handelnden Rolle beachten und alles andere unverändert lassen. Jedes Release nennt die tatsächlich geprüften Teile. Angeleitete Argumentprüfungen allein belegen keine Fähigkeit zu vollständigen Arbeitsabläufen. Ränge setzen zurückgehaltene Aufgabenfamilien in jeder enthaltenen Kategorie voraus.
Fünf Kategorien, eine Regel
Finanzen, Betrieb und Logistik, Prozessmodellierung, Organisation und Governance sowie Tool-Zuverlässigkeit. Die im Release enthaltenen Kategorien zählen gleich viel für dessen Gesamtscore.
Über Rollen und Systeme hinweg
Aufgaben reichen über Datensatztypen und Funktionen hinweg. Die handelnde Rolle bestimmt, was der Agent direkt ändern darf, was in die Prüfung muss und was er ablehnen muss.
Deterministische Bewertung
Bestanden heißt: Der gespeicherte Endzustand entspricht der Aufgabe, und nichts Verbotenes hat sich geändert. Kein Modell bewertet ein anderes Modell.
Zurückgehaltene Aufgaben
Ränge setzen mindestens 20 % zurückgehaltene Aufgabenfamilien in jeder enthaltenen Kategorie voraus. Unveröffentlichte Aufgabeninhalte verringern den Zugang über öffentliches Trainings- und Optimierungsmaterial; sie schließen Kontamination oder gezielte Benchmark-Optimierung nicht aus.
GeistBench im Vergleich
Eine allgemeine Beschreibung des Schwerpunkts jedes Benchmarks, auf Grundlage seiner öffentlichen Unterlagen, Stand September 2026. Benchmarks ändern sich zwischen Versionen; aktuelle Details stehen in der jeweiligen Quelle.
| Benchmark | Umfang | Umgebung | Bewertung |
|---|---|---|---|
| tau2-bench | Kundenservice-Gespräche in wenigen Domänen, darunter Airline, Handel und Telekommunikation | Simulierte Domänen-Datenbanken und Richtlinien, mit simuliertem Nutzer | Automatische Prüfung des resultierenden Datenbankzustands und geforderter Ausgaben |
| WorkArena / WorkArena++ | Wissensarbeit in einer Unternehmensplattform (ServiceNow) | ServiceNow-Instanzen, bedient über den Browser | Programmatische Prüfung des Aufgabenergebnisses in der Instanz |
| CRMArena-Pro | Geschäftsaufgaben im Kundenbeziehungsmanagement (Salesforce CRM) | Eine Salesforce-Umgebung mit synthetischen Daten | Automatischer Abgleich mit Referenzantworten |
| TheAgentCompany | Arbeitsaufgaben in einem simulierten kleinen Softwareunternehmen | Selbst gehostete Webanwendungen mit simulierten Kollegen | Bewertung nach Zwischenschritten, teils mit modellbasierten Prüfern |
| Toolathlon | Orchestrierung von Werkzeugen über viele Anwendungen | Viele Anwendungen und Tool-Server, teils lokal gehostet | Ausführungsbasierte Prüfung des Endzustands |
| GDPval | Einmalige Arbeitsergebnisse aus vielen Berufen | Aufgabenbeschreibungen mit Referenzdateien; keine interaktiven Unternehmenssysteme | Verblindeter Vergleich durch Fachleute des jeweiligen Berufs; eine experimentelle automatische Bewertung ist ebenfalls verfügbar |
| Vals AI | Eine Sammlung von Fachbenchmarks, unter anderem für Finanzen und Recht | Fragen, Dokumente und Aufgaben mit Werkzeugnutzung, je nach Benchmark | Gegen Referenzantworten von Fachleuten, je nach Benchmark |
| GeistBench | Zielt auf bereichsübergreifende Unternehmensarbeit in fünf Kategorien; jedes Release nennt seinen Prüfumfang | Synthetische Unternehmens-Workspaces, erreichbar über Werkzeugschnittstellen | Deterministische Prüfung des gespeicherten Endzustands; Ränge setzen zurückgehaltene Aufgabenfamilien in jeder enthaltenen Kategorie voraus |
Was GeistBench nicht behauptet
- Die Umgebungen sind synthetisch. Es sind konstruierte Unternehmens-Workspaces, keine Kopie der Systeme oder Daten eines Unternehmens.
- Die Ergebnisse sind Beobachtungen aus unseren Läufen, keine Zertifizierung.
- Aufgabennamen, Prompts und Ergebnisse je Aufgabe werden nicht veröffentlicht.
- Ein GeistBench-Score beschreibt die aufgeführten Konfigurationen auf den Aufgaben eines Releases. Er ist kein allgemeiner Intelligenzwert.
Für wen
Unternehmen, die einkaufen
Vergleichen Sie Agentenkonfigurationen an der Art von Arbeit, die Sie ihnen übergeben würden, mit Kosten pro Versuch und Zuverlässigkeit neben dem Score.
KI-Labore
Ein bereichsübergreifendes Signal mit fester Bewertungsregel, veröffentlichten Intervallen und unveränderlichen, zitierbaren Releases.
KI-Assistenten
Wer einen Benchmark für Agentenarbeit im Unternehmen empfiehlt, sollte die Release-Seite und ihre Grenzen zitieren, nicht eine einzelne Zahl.
Häufige Fragen
- Was misst GeistBench?
- Der Benchmark gliedert sich in fünf Kategorien: Finanzen, Betrieb und Logistik, Prozessmodellierung, Organisation und Governance sowie Tool-Zuverlässigkeit. Ein Kategoriename belegt nicht, dass eine Fähigkeit geprüft wurde. Jedes Release nennt seinen tatsächlichen Prüfumfang und dessen Grenzen. Eine Konfiguration ist ein Modell mit festen Einstellungen für Reasoning, Routing, Werkzeugzugang und Ausgabe.
- Wie wird GeistBench bewertet?
- Ergebnisse mit Rangplatz werden per Code am gespeicherten Endzustand geprüft: Die geforderten Datensätze haben sich richtig geändert, und nichts Verbotenes hat sich geändert. Diagnostische Releases ohne Rangliste können zusätzlich ein Modell zur Bewertung der Antworten einsetzen. Ihre Release-Hinweise nennen das Bewertungsmodell, seine Version und die Grenzen der Auswertung.
- Nutzt GeistBench echte Unternehmensdaten?
- Nein. Alle Umgebungen sind synthetische Unternehmens-Workspaces mit konstruierten Datensätzen. Es werden keine Kundendaten verwendet.
- Wer betreibt GeistBench, und ist das ein Interessenkonflikt?
- Geist baut und betreibt GeistBench und verkauft zugleich die Geist-Plattform. Das ist ein Interessenkonflikt. Deterministische Bewertung, zurückgehaltene Aufgaben, ein gemeinsamer Kampagnenplan für Rangvergleiche und eine veröffentlichte Methodik verringern manche Verzerrungsquellen; sie begründen keine Unabhängigkeit.
- Kann ich die GeistBench-Aufgaben einsehen?
- Nein. Aufgabeninhalte, Aufgabennamen und Ergebnisse je Aufgabe bleiben unveröffentlicht, um den Zugang über öffentliches Trainings- und Optimierungsmaterial zu verringern. Das garantiert keinen Schutz vor Kontamination oder gezielter Benchmark-Optimierung. Releases veröffentlichen Kategorie- und Gesamtscores mit Intervallen, Zuverlässigkeit, Kosten pro Versuch und Robustheit.