Co to znamená
Plánováno. Na úlohu: vstupní, výstupní a cachované tokeny, skutečně použitý model a effort, uplynulý čas a počet volání nástrojů — zaznamenané do účetní knihy vedle toho, co už obsahuje. Jen od poskytovatelů, kteří tato čísla zpřístupňují; nic odhadnutého se nikdy neoznačuje jako změřené.
Princip
Nic není implementováno. Ledger už zaznamenává pro každou úlohu počet relací, předávek, pracovníků, ověřovací příkaz s exit kódem, trvání a strom, nad kterým běžel, a výsledek; čísla ze strany poskytovatele jsou chybějící polovina. Jakékoli pole estimated_ je, až se objeví, vyloučeno z vynucování i z porovnání.
Jak to vidět
jq -c 'select(.event=="task.finished") | {task_id, outcome, verify}' .ai/local/state/ledger.jsonlCo nepokrývá
Vše o tokenech a nákladech, dnes. Dokument ekonomiky uvádí, co lze měřit nyní jen z účetní knihy a co potřebuje toto.
Proč existuje
Tým, ze kterého byl nástroj vydestilován, postavil schopný profiler nákladů na volání modelů vlastního produktu, zatímco o svých programátorských pracovnících neměl žádnou telemetrii; jeho směrovací dokumenty obsahovaly procentuální zlepšení bez jakéhokoli měření výkonu. Tato stránka je závazek tohle neopakovat.