Co to znamená
Pro každý úkol plánu repozitáře majordomus economics measure požádá kompilátor kontextu (majordomus devcontext) o kontext té práce a spočítá, v tokenech pojmenovaného a připnutého tokenizeru, co označil za relevantní a co vybral. Výsledek se zaznamená pod .ai/repo/benchmarks/economics/runs/context/ s revizí, tokenizerem a digestem vstupů, na kterých závisí.
Princip
Každý seed se kompiluje pod výchozím rozpočtem kompilátoru. Každý jedinečný soubor, který kompilátor dosáhl, se jednou přečte z disku a spočítá pomocí o200k_base (tiktoken-rs, připnutý na jednu verzi). Kandidát je soubor, který kompilátor posoudil jako relevantní: vybraný, nebo vynechaný jen proto, že došel rozpočet. Soubory, které dosáhl a posoudil jako irelevantní, se počítají zvlášť a nikdy se jimi nedělí. Metrika context_reduction_ratio je medián přes seedy z 1 - selected / candidate, odvozený ze spočítaných hodnot. Vlastní odhad kompilátoru bajty děleno čtyřmi je zaznamenán vedle počtu, takže to, jak daleko je jednotka rozpočtu od skutečných tokenů, je samo metrikou (context_cost_model_error).
Důkazy jsou aktuální, dokud se kód kompilátoru, zdroje znalostí a metodika od zaznamenání nezměnily, a zastaralé v okamžiku, kdy se cokoli z toho změní.
Jak to vidět
majordomus economics measure --dry-run # count, write nothing
majordomus economics explain context_reduction_ratio
majordomus economics summary --format json | jq '.context'Co nepokrývá
Je to výběr kontextu, ne celková úspora tokenů. Říká, co kompilátor předložil workerovi z toho, co shledal relevantním; neříká, co relace spotřebovala, a relace může dál číst cokoli. Tokenizer není tokenizerem každého modelu. Metrika uvádí obojí ve vlastním poli not a varováních, na každém povrchu.
Proč existuje
Rozpočet měřený v bajtech děleno čtyřmi je odhad tokenů. Počítání pojmenovaným tokenizerem, zaznamenání počtu s jeho revizí a označení za zastaralé, když se mechanismus změní, mění výběr kompilátoru v měření, které lze ověřit a reprodukovat.