Diagnose-Release 0.1.0 · 2 Modelle · ohne Rangfolge

GeistBench

Name: GeistBench-Release 0.1.0
Creator: Geist
Published: 2026-10-08T04:43:23.919Z

Beobachtete Ergebnisse konfigurierter KI-Agenten in synthetischen Unternehmensumgebungen. Jedes Release nennt die geprüften Fähigkeiten, die Grenzen der Nachweise und die Grundlage für Vergleiche.

Wert: mittlere Bestehensquote je Aufgabenfamilie, gemittelt innerhalb jeder Kategorie, dann über alle Kategorien. Balken zeigen den Wert, Fehlerbalken das 95-%-Intervall. So entsteht der Wert

JSON herunterladen CSV herunterladen Lauf anfragen

Über dieses Release

Erste diagnostische Veröffentlichung: 48 angeleitete Werkzeug-Vertragstests für acht Finanz- und Logistikwerkzeuge, mit drei Wiederholungen je Modell. DeepSeek V4.1 Flash bestand 24/24, Gemini 3.5 Flash Lite 21/24. Alle drei Gemini-Fehler betrafen die exakte Übernahme vorgegebener Argumente beim Neuaufbau von Projektionen; der Neuaufbau selbst gelang jedes Mal. Echte, per API bezahlte Aufrufe nutzten die Ausführung innerhalb der App und wurden über die Laufzeit-CLI gestartet. Festgehaltener Produktstand: de42f6b4c004181007bfd4b97d87867a2e9659cd. Gemessen wird die Einhaltung vorgegebener Argumente, nicht die Fähigkeit zu vollständigen Arbeitsabläufen oder die allgemeine Modellqualität. Keine Anbieterrangliste und kein Latenzvergleich. Spätere Änderungen am Schreibschutz sowie Workflow-Tests sind ausgeschlossen. Erfasste Kosten: USD0,208726 als Katalogschätzung, nicht mit einer Rechnung abgeglichen.

Was dieses Release prüft

Fachliche Kategorien gruppieren Aufgaben. Sie belegen nicht, welche Produktfähigkeiten geprüft wurden. Der folgende Umfang bezieht sich ausschließlich auf die veröffentlichten Nachweise dieses Releases.

In diesem Release enthaltene Kategorien: Tool-Zuverlässigkeit.

Fähigkeit	Veröffentlichte Nachweise	Aussagekraft der Nachweise
Einhaltung vorgegebener Werkzeugargumente	Nur diagnostisch veröffentlicht	Angeleitete Prüfungen mit vorgegebenen Argumenten. Sie belegen keine Fähigkeit zu vollständigen Arbeitsabläufen.
World-Map-Schreibvorgänge	Nicht ausgewiesen	Der Prüfumfang für diese Fähigkeit ist nicht verfügbar. Weder eine Prüfung noch deren Ausbleiben lässt sich daraus ableiten.
Vollständige World-Map-Bearbeitungsabläufe	In diesem Release nicht geprüft	Diese Fähigkeit liegt außerhalb des geprüften Umfangs dieses Releases.
Videowerkzeug-Abläufe	In diesem Release nicht geprüft	Diese Fähigkeit liegt außerhalb des geprüften Umfangs dieses Releases.
Qualität des Videoverständnisses	In diesem Release nicht geprüft	Diese Fähigkeit liegt außerhalb des geprüften Umfangs dieses Releases.

Geplante oder implementierte Prüfungen beschreiben die Ausführungsbereitschaft. Ausgeführt bedeutet, dass ein Lauf Nachweise hinterlegt hat; validiert bedeutet, dass diese die Prüfanforderungen bestanden haben; veröffentlicht bedeutet, dass freigegebene Ergebnisse in einem Release stehen. Keiner dieser Zustände wird hier aus einem Kategorienamen oder vorhandenem Code abgeleitet.

Modelle: 2
Konfigurationen: 2
Kategorien: 1
Läufe je Aufgabe: 3

Dieses Release hat die Kriterien für einen Vergleich nicht erfüllt. Die Werte stehen in fester Reihenfolge, ohne Ränge.

deepseek-flash (high)DeepSeek100,0 %

gemini-3.5-flash-lite (minimal)Google87,5 %

Wert; die Balkenfarbe folgt dem Markenakzent des Anbieters, Grau bei einfarbigen Marken95-%-Intervall

Als Tabelle anzeigen

GeistBench-Wert
Konfiguration	Rang	Wert	95-%-Intervall	Status
deepseek-flash (high)DeepSeek · Reasoning high · direkt · In-App-Tools · direktes Schreiben · max. 16.384 Ausgabe-Tokens	–	100,0 %	100,0 % bis 100,0 %	Diagnose-Release, keine Ränge
gemini-3.5-flash-lite (minimal)Google · Reasoning minimal · direkt · In-App-Tools · direktes Schreiben · max. 16.384 Ausgabe-Tokens	–	87,5 %	62,5 % bis 100,0 %	Diagnose-Release, keine Ränge

Kosten

Kosten pro Aufgabenversuch

Erfasste Kosten geteilt durch die Versuche mit Kostenangabe, in USD. Die Tabelle nennt die Kostenbasis jeder Konfiguration. Niedriger ist günstiger.

deepseek-flash (high)DeepSeek0,0013 $

gemini-3.5-flash-lite (minimal)Google0,0074 $

Lineare Skala ab null.Preise Stand 14. August 2026.

Als Tabelle anzeigen

Kosten pro Aufgabenversuch
Konfiguration	Kosten pro Versuch	Kostenbasis	Mediane Laufzeit
deepseek-flash (high)DeepSeek · Reasoning high · direkt · In-App-Tools · direktes Schreiben · max. 16.384 Ausgabe-Tokens	0,0013 $	Schätzung nach Katalogpreis	Nicht verfügbar
gemini-3.5-flash-lite (minimal)Google · Reasoning minimal · direkt · In-App-Tools · direktes Schreiben · max. 16.384 Ausgabe-Tokens	0,0074 $	Schätzung nach Katalogpreis	Nicht verfügbar

Preis-Leistung

Wert und Kosten

Jeder Punkt ist eine Konfiguration. Auf der Pareto-Front gibt es keine andere dargestellte Konfiguration, die höchstens so viel kostet und mindestens so gut abschneidet und bei einem der beiden Werte strikt besser ist. Vergleichsreleases zeigen nur Konfigurationen mit Rang.

Auf der Pareto-FrontWeitere KonfigurationenPareto-FrontWeniger als drei dargestellte Konfigurationen, daher keine Median-Teilung.Die Farbe folgt dem Markenakzent des Anbieters, sofern es einen gibt. Anbieter mit einfarbiger Marke teilen sich Grau und sind an Markerform und Beschriftung zu erkennen.

Als Tabelle anzeigen

Wert und Kosten
Konfiguration	Wert	Kosten pro Versuch	Auf der Front
deepseek-flash (high)DeepSeek · Reasoning high · direkt · In-App-Tools · direktes Schreiben · max. 16.384 Ausgabe-Tokens	100,0 %	0,0013 $	Ja
gemini-3.5-flash-lite (minimal)Google · Reasoning minimal · direkt · In-App-Tools · direktes Schreiben · max. 16.384 Ausgabe-Tokens	87,5 %	0,0074 $	Nein

Nach Kategorie

Wo jede Konfiguration stark ist

Kategoriewert je Konfiguration. Kräftigeres Türkis steht für einen höheren Wert; jede Zelle zeigt ihren Wert. Fehlende Kategorien bleiben leer und werden nie aufgefüllt.

Kategoriewerte für 2 Konfigurationen in 1 Kategorien.
Konfiguration	Tool-Zuverlässigkeit	Gesamt
deepseek-flash (high)DeepSeek	100,0 %	100,0 %
gemini-3.5-flash-lite (minimal)Google	87,5 %	87,5 %

Nicht verfügbar

Zuverlässigkeit

Der Spitzenwert ist nicht der Boden

Für das veröffentlichte k jeder Konfiguration schätzt pass@k die Wahrscheinlichkeit, dass mindestens einer von k Versuchen besteht; pass^k schätzt die Wahrscheinlichkeit, dass alle k bestehen. Beide Werte garantieren keinen Erfolg in Produktion. Die Tabelle nennt k je Konfiguration.

deepseek-flash (high)DeepSeek100,0 % / 100,0 %

gemini-3.5-flash-lite (minimal)Google87,5 % / 87,5 %

pass@k: mindestens einer von k bestehtpass^k: alle k bestehen

Als Tabelle anzeigen

Der Spitzenwert ist nicht der Boden
Konfiguration	k	pass@k	pass^k
deepseek-flash (high)DeepSeek · Reasoning high · direkt · In-App-Tools · direktes Schreiben · max. 16.384 Ausgabe-Tokens	3	100,0 %	100,0 %
gemini-3.5-flash-lite (minimal)Google · Reasoning minimal · direkt · In-App-Tools · direktes Schreiben · max. 16.384 Ausgabe-Tokens	3	87,5 %	87,5 %

Robustheit

Deutsche und unsaubere Prompts

Deltas verwenden nur Aufgabenfamilien mit beiden Varianten: Deutsch minus Englisch und unsauber minus sauber, in Prozentpunkten. Fehlende gepaarte Beobachtungen bleiben nicht verfügbar.

Deutsch gegenüber Englisch

deepseek-flash (high)DeepSeekNicht verfügbar

gemini-3.5-flash-lite (minimal)GoogleNicht verfügbar

Unsauber gegenüber sauber

deepseek-flash (high)DeepSeekNicht verfügbar

gemini-3.5-flash-lite (minimal)GoogleNicht verfügbar

Rechts von null: Die deutsche oder verrauschte Variante erzielte mehr.Links von null: Sie erzielte weniger.

Als Tabelle anzeigen

Deutsche und unsaubere Prompts
Konfiguration	Deutsch gegenüber Englisch	Unsauber gegenüber sauber
deepseek-flash (high)DeepSeek · Reasoning high · direkt · In-App-Tools · direktes Schreiben · max. 16.384 Ausgabe-Tokens	Nicht verfügbar	Nicht verfügbar
gemini-3.5-flash-lite (minimal)Google · Reasoning minimal · direkt · In-App-Tools · direktes Schreiben · max. 16.384 Ausgabe-Tokens	Nicht verfügbar	Nicht verfügbar

Methodik

Wie eine Zahl auf diese Seite kommt

Wir messen konfigurierte Agentensysteme: ein Modell mit festem Reasoning, Routing, Tool-Zugang und Ausgabegrenzen.

Jede gerankte Aufgabe wird durch eine deterministische Prüfung des Endzustands bewertet. Kein Modell bewertet ein anderes.

Der Wert mittelt die Bestehensquoten der Aufgabenfamilien innerhalb jeder Kategorie und dann über die Kategorien, mit veröffentlichten 95-%-Intervallen.

Zur vollständigen Methodik

Ein Release wird nur gerankt, wenn

jede Konfiguration dieselben Aufgaben aus einem Kampagnenplan bearbeitet hat
jede Aufgabe mindestens drei bewertete Versuche hat
die Kosten für jeden Versuch feststehen
mindestens 20 % jeder Kategorie zurückgehalten werden

Releases

Release-Historie und Zitation

Jedes veröffentlichte Release behält seine eigene dauerhafte Seite und JSON-Datei. Releases werden nie zusammengelegt.

Release-Historie und Zitation
Version	Veröffentlicht	Aussage	Links
0.1.0NeuestesAngezeigt	8. Oktober 2026	Diagnose	Öffnen JSON

Dieses Release zitieren

BibTeX

@misc{geistbench-0-1-0,
  title = {GeistBench release 0.1.0: observed results},
  author = {{Geist}},
  year = {2026},
  url = {https://geist.company/geistbench/releases/geistbench-b12-contract-20261008-diagnostic},
  note = {Summary hash bcd88ab15069cf9adc01846328722f7af64e6bff8741f4b6b39b93e64aad08a9}
}

Klartext

Geist (2026). GeistBench release 0.1.0: observed results. https://geist.company/geistbench/releases/geistbench-b12-contract-20261008-diagnostic. Summary hash bcd88ab15069cf9adc01846328722f7af64e6bff8741f4b6b39b93e64aad08a9.

Summary-Hash: bcd88ab15069cf9a
Dauerhafter Link: https://geist.company/geistbench/releases/geistbench-b12-contract-20261008-diagnostic

Für KI-Labs und Anbieter

Benchmark-Lauf anfragen

Wir führen jede Konfiguration selbst aus, nach der veröffentlichten Methodik und auf denselben Aufgaben wie jede andere Konfiguration der Kampagne.
Ergebnisse erscheinen nur in einem Release, das die Release-Gates besteht, unabhängig davon, was sie zeigen.
Kein Pay-to-Rank: Eine Anfrage kauft keinen Rang, keine Platzierung und keine Ausnahme von den Gates.

Lauf anfragen

GeistBench

Was dieses Release prüft

GeistBench-Wert

Kosten pro Aufgabenversuch

Wert und Kosten

Wo jede Konfiguration stark ist

Der Spitzenwert ist nicht der Boden

Deutsche und unsaubere Prompts

Deutsch gegenüber Englisch

Unsauber gegenüber sauber

Wie eine Zahl auf diese Seite kommt

Ein Release wird nur gerankt, wenn

Release-Historie und Zitation

Dieses Release zitieren

BibTeX

Klartext

Benchmark-Lauf anfragen