Tool-Zuverlässigkeit
Ob ein Agent Werkzeuge richtig nutzt: das passende wählt, es gültig aufruft, sich von Fehlern erholt und ablehnt, was die Werkzeuge nicht können.
Diese Seite beschreibt eine Kategorie, nicht den Prüfumfang eines Releases. Welche Fähigkeiten tatsächlich geprüft wurden, steht beim Release. Alle Kategorien
Systeme und Datensätze
- Die Werkzeugschnittstellen eines Unternehmens-Workspaces, in der App oder über einen MCP-Server
- Eine Wissensbasis darüber, was der Workspace kann und was nicht
- Navigation, die von den Berechtigungen der handelnden Rolle abhängt
Was die Aufgaben umfassen
- Eine Anfrage an das Werkzeug leiten, das sie beantworten kann
- Eine Frage zu einer Funktion beantworten oder korrekt ablehnen, wenn es die Funktion nicht gibt
- Eine Aufgabe abschließen, auch wenn ein Werkzeugaufruf zuerst fehlschlägt oder einen Fehler liefert
Rollen und Übergaben
Der Werkzeugzugang hängt von der handelnden Rolle ab. Ein korrektes Ergebnis kann eine Ablehnung sein, wenn Rolle oder Workspace das Verlangte nicht können.
Was ein korrektes Ergebnis ist
Die geforderte Wirkung der Aufgabe liegt im gespeicherten Zustand vor, oder der Agent hat korrekt abgelehnt und nichts verändert. Aufrufe, die die Aufgabe verbietet, finden nie statt.
Wie geprüft wird
Die Prüfung verifiziert die Wirkung der Aufrufe im gespeicherten Zustand, nicht die Beschreibung des Agenten. Bei Ablehnungen und reinen Leseaufgaben bestätigt sie, dass nichts geschrieben wurde.
Was diese Kategorie nicht testet
- Tempo oder Stil der Werkzeugnutzung jenseits der festgelegten Grenzen
- Werkzeuge außerhalb des Workspaces, etwa das offene Web
- Werkzeugdesign; jede Konfiguration nutzt den Werkzeugzugang, mit dem sie aufgeführt ist
Häufige Fragen
- Was testet die GeistBench-Kategorie Tool-Zuverlässigkeit?
- Ob ein Agent Werkzeuge richtig nutzt: das passende wählt, es gültig aufruft, sich von Fehlern erholt und ablehnt, was die Werkzeuge nicht können.
- Wie werden Aufgaben der Kategorie Tool-Zuverlässigkeit bewertet?
- Die Prüfung verifiziert die Wirkung der Aufrufe im gespeicherten Zustand, nicht die Beschreibung des Agenten. Bei Ablehnungen und reinen Leseaufgaben bestätigt sie, dass nichts geschrieben wurde.
- Was testet die Kategorie Tool-Zuverlässigkeit nicht?
- Tempo oder Stil der Werkzeugnutzung jenseits der festgelegten Grenzen. Werkzeuge außerhalb des Workspaces, etwa das offene Web. Werkzeugdesign; jede Konfiguration nutzt den Werkzeugzugang, mit dem sie aufgeführt ist.
- Wo finde ich die Scores für Tool-Zuverlässigkeit?
- Kategoriescores werden je Release in der GeistBench-Rangliste veröffentlicht, mit 95-%-Intervallen. Diese Seite wiederholt sie nicht. Ein Release enthält nicht zwingend jede Kategorie; dann hat die Kategorie in diesem Release keinen Score.