Wie GeistBench-Scores entstehen
Die vollständige Methode hinter jeder GeistBench-Zahl: was gemessen wird, wie bewertet wird, wie Scores und Intervalle berechnet werden, wann ein Release Ränge vergeben darf und wo die Methode Grenzen hat.
Von der Aufgabe zum Score
Was gemessen wird
Ein konfiguriertes Agentensystem, nicht ein nacktes Modell: ein Modell mit festgelegtem Reasoning, Routing, Tool-Zugang und Ausgabegrenzen, das Unternehmensabläufe bearbeitet. Dasselbe Modell mit anderen Einstellungen ist eine eigene Konfiguration.
Wie bewertet wird
Jede gerankte Aufgabe wird durch eine deterministische Prüfung des Endzustands bewertet. Kein Modell bewertet ein anderes. Arbeit, die einen Bewerter braucht, bleibt außerhalb der Rangliste, bis dieser kalibriert ist.
Wie der Wert entsteht
- Varianten einer Aufgabe (Englisch und Deutsch, sauber und unsauber) bilden eine Aufgabenfamilie.
- Bestehensquote je Familie: PASS / (PASS + TASK_FAILURE). Blockierte, ungültige, nicht ausreichend belegte und nicht ausgeübte Versuche zählen nicht zu diesem Nenner.
- Kategoriewert: der ungewichtete Mittelwert der Familienquoten dieser Kategorie.
- GeistBench-Wert: der ungewichtete Mittelwert der Kategoriewerte. Keine Kategorie wird umgewichtet.
- Fehlt einer Konfiguration eine Kategorie, hat sie keinen Gesamtwert und keinen Rang.
Unsicherheit und Ränge
Veröffentlichte 95-%-Intervalle verwenden einen Perzentil-Cluster-Bootstrap mit 2.000 Stichproben und einem aus dem Release abgeleiteten Startwert. Aufgabenfamilien werden innerhalb jeder Kategorie unabhängig gezogen; für das Gesamtintervall werden die Kategoriemittelwerte gemittelt. Die Website zeigt diese veröffentlichten Intervalle. Die Rangfolge lautet bei Gleichstand 1, 2, 2, 4; überlappende Intervalle belegen keinen statistisch gesicherten Unterschied.
Rangspannen
Jede gerankte Konfiguration hat eine beschreibende Spanne aus der Überlappung der veröffentlichten 95-%-Scoreintervalle. Der beste Rang ist 1 plus die Anzahl gerankter Konfigurationen, deren Intervall strikt über dem eigenen liegt; der schlechteste ist die Anzahl gerankter Konfigurationen minus derer, deren Intervall strikt darunter liegt. Sich berührende Intervalle gelten als überlappend. Die Spanne ist kein simultanes 95-%-Konfidenzintervall für den Rang und weist den enthaltenen Rängen keine Wahrscheinlichkeiten zu.
Wiederholungen und zurückgehaltene Arbeit
Der kleinste Wiederholungsparameter des Releases ist k = 3. Mindestens 0 % der Aufgabenfamilien jeder Kategorie werden zurückgehalten: Sie zählen im Wert und werden nie aufgelistet. Diagnosereleases können unvollständige Versuche enthalten.
Ein Release erhält nur dann Ränge, wenn
- jede Konfiguration einer Kategorie dieselben Aufgaben aus einem Kampagnenplan bearbeitet hat
- jede Aufgabe mindestens drei bewertete Versuche hat
- kein geplanter Versuch ausgelassen wurde und blockierte, ungültige, nicht ausreichend belegte und nicht ausgeübte Versuche zusammen höchstens 5 % der geplanten Versuche ausmachen
- die Kosten für jeden Versuch abgerechnet sind
- die Bewertung deterministisch ist
- mindestens 20 % jeder Kategorie zurückgehalten werden
Eine Konfiguration, die ein Kriterium verfehlt, steht ohne Rang in der Liste, mit Begründung.
Was der Wert nicht bedeutet
- Er ist keine Zertifizierung und kein allgemeiner Intelligenzwert.
- Er beschreibt diese Konfigurationen mit den Aufgaben dieses Releases. Ein anderer Harness, Prompt oder eine andere Einstellung kann ihn verändern.
- Werte aus verschiedenen Releases sind nicht vergleichbar, außer die Release-Notizen sagen es.
Veröffentlicht und zurückgehalten
Veröffentlicht: Kategorie- und Gesamtwerte mit Intervallen, Zuverlässigkeit, Kosten pro Versuch, Robustheitsdeltas.
Zurückgehalten: Aufgabeninhalte, Aufgabennamen und Ergebnisse je Aufgabe. Das verringert die Exposition, schließt aber Kontamination oder Optimierung anhand aggregierter Ergebnisse nicht aus.
Wo die Methode Grenzen hat
Synthetische Umgebungen
Aufgaben laufen in konstruierten Unternehmens-Workspaces mit synthetischen Datensätzen, erreichbar über Werkzeugschnittstellen. Echte Systeme haben mehr Daten, mehr Ausnahmen und mehr Historie. Scores beschreiben das Verhalten in diesen Umgebungen.
Kategorien gleich gewichtet
Die im Release enthaltenen Kategorien haben im Gesamtscore gleiches Gewicht, unabhängig von der Zahl ihrer Aufgabenfamilien. Releases können weniger als fünf Kategorien enthalten. Gleiche Gewichtung ist eine Designentscheidung, keine Aussage, dass die Bereiche für jede Organisation gleich wichtig sind.
Kosten pro Versuch
Kosten sind die erfassten Ausgaben geteilt durch die Versuche mit erfassten Kosten, in USD. Die Grundlage steht bei jeder Konfiguration: Schätzung nach Katalogpreis, Abonnement ohne Preis pro Aufruf, gemischt oder unbekannt. Wo erfasst, nennen Katalogschätzungen das Datum der Preisliste. Unvollständige Kosten erscheinen als bekannte Teilsumme. Das ist kein Preisangebot; Listenpreise ändern sich, Vertragspreise weichen ab.
Kleines k
Ränge setzen mindestens drei bewertete Versuche je Aufgabe und Konfiguration voraus. Diagnostische Ergebnisse können darunter liegen und bleiben ohne Rang. Zuverlässigkeitswerte aus wenigen Versuchen können grob sein, und Intervalle können sich überlappen.
Zurückgehaltene Aufgaben sind nicht prüfbar
Ränge setzen mindestens 20 % zurückgehaltene Aufgabenfamilien in jeder enthaltenen Kategorie voraus. Diagnostische Ergebnisse können darunter liegen und bleiben ohne Rang. Jedes Release nennt den Anteil. Aufgabeninhalte bleiben unveröffentlicht, Lesende können einzelne Aufgaben daher nicht prüfen.
Modellversionen ändern sich
Ein Anbieter kann das Modell hinter einem Namen ändern. Ein Release hält die Konfiguration fest, die gelaufen ist; ein späterer Lauf unter demselben Namen kann sich anders verhalten. Vergleichen Sie Releases nur, wo die Release-Notizen sie für vergleichbar erklären.
Beobachtet, keine Zertifizierung
Die Ergebnisse sind Beobachtungen aus unseren eigenen Läufen. Keine unabhängige Stelle hat sie geprüft, und sie sind keine Zertifizierung eines Modells oder Produkts.
Interessenkonflikt
Was wir gegen Verzerrung tun
Offengelegte Bewertung
Ergebnisse mit Rangplatz erfordern Code-Prüfungen des gespeicherten Endzustands. Diagnostische Releases ohne Rangliste können zusätzlich modellbewertete Antworten enthalten. Die Release-Hinweise legen das Bewertungsmodell und seine Grenzen offen.
Zurückgehaltene Aufgaben
Ränge setzen mindestens 20 % zurückgehaltene Aufgabenfamilien je enthaltener Kategorie voraus. Unveröffentlichte Aufgabeninhalte verringern den öffentlichen Zugang, schließen aber Kontamination, Optimierung oder Verzerrung bei der Aufgabenauswahl nicht aus.
Ein Plan für jede Konfiguration
Rangvergleiche setzen einen gemeinsamen Kampagnenplan, übereinstimmende Aufgabenmengen und die geplante Wiederholungszahl innerhalb jeder enthaltenen Kategorie voraus. Rechenbudgets und tatsächliche Ausgaben sind nicht zwingend gleich. Veröffentlichte Konfigurationseinstellungen umfassen Ausgabetoken-Limits. Diagnostische Ergebnisse ohne Rang können diese Vergleichsanforderungen verfehlen.
Veröffentlichte Methodik
Bewertung, Freigabekriterien und Grenzen stehen auf dieser Seite. Jedes Release ist unveränderlich und trägt einen Summary-Hash.