Tato stránka byla automaticky přeložena z angličtiny, jediného jazyka, ve kterém se tento web píše. Číst originál.
Ekonomika tokenů
Co spotřebuje programovací relace s Majordomem a bez něj, z párovaných běhů posuzovaných stejnými skrytými testy. Každé číslo je generováno ze zaznamenaných důkazů a označeno tím, jak vzniklo.
Majordomus nepublikuje číslo úspory tokenů, které nezměřil. Vše níže se vykresluje z docs/generated/economics.json, což jedna kalkulačka odvozuje ze zaznamenaných běhů měření výkonu; nic na této stránce není psáno ručně a majordomus economics check odmítne číslo úspory, které ano.
Dvě měření odpovídají na různé otázky. snížení celkového počtu tokenů pochází ze spárovaných živých relací — stejná úloha, model a skryté akceptační testy, jednou bez Majordoma a jednou s ním — a je jediným druhem čísla, které by mohlo podpořit tvrzení o tom, co Majordomus šetří. Výběr kontextu počítá, co kompilátor kontextu vybere z toho, co posoudil jako relevantní; není zapojen žádný model a nejde o úsporu.
Každá hodnota tokenů níže je redukce, 1 - treatment / control: kladná znamená, že Majordomus použil méně tokenů, a záporná redukce znamená, že Majordomus použil více tokenů. Zobrazuje se tak, jak je, se znaménkem, které dala kalkulačka.
Metodika, definice kontrolní a testované varianty a příkazy k reprodukci jsou v dokumentu o ekonomice.
Verdikt
žádné ověřené tvrzení Není k dispozici žádné ověřené tvrzení o úspoře tokenů celkem: podle metodiky 1 není zaznamenán žádný platný odpovídající pár živých běhů.
Publikační pravidlo není splněno:
0 platných párů; pravidlo žádá 30
0 kategorií s alespoň 5 platnými páry; pravidlo žádá 4
0 opakování csv-credit-notes (baseline) v sadě pilot, nejméně opakované; pravidlo žádá 3 od každé úlohy a varianty
žádný interval: příliš málo platných párů nebo příliš málo úloh mezi nimi
Metriky
Třída říká, jak číslo vzniklo: observed (nahlášeno providerem), counted (připnutý tokenizér nad bajty na disku), derived (aritmetika nad nimi), counterfactual (modelováno, nikdy ne úspora).
Metrika
Hodnota
Stav
Třída
n
Interval
Čím není
effective_token_reduction
—
neměřeno
odvozeno z pozorovaného
0
—
není redukce kontextu: je to vše, co poskytovatel nahlásil za celou úlohu, ne to, co vybral jeden mechanismus
cost_reduction
—
neměřeno
odvozeno z pozorovaného
0
—
není to účet: harness ocení spotřebu z vlastní tabulky v době běhu a historické běhy se nikdy znovu neoceňují
tool_call_reduction
—
neměřeno
odvozeno z pozorovaného
0
—
není metrika tokenů
continuation_reduction
—
neměřeno
odvozeno z pozorovaného
0
—
jen relace, která v práci pokračovala, ne celá úloha
first_request_overhead
—
neměřeno
odvozeno z pozorovaného
0
—
není to celá režie: co varianta s Majordomem čte později, protože to říkají její instrukce, je v součtu, ne zde
completion_rate.baseline
—
neměřeno
odvozeno z pozorovaného
0
—
není to skóre kvality: běh buď kontrolami projde, nebo ne
tokens_per_completed_task.baseline
—
neměřeno
pozorováno
0
—
transcript_resume_avoided.baseline
—
neměřeno
kontrafaktuál z pozorovaného
0
—
není úsporou Majordoma: obě větve začínají další relaci načisto; jde o modelované náklady na navázání na přepis místo toho
completion_rate.majordomus
—
neměřeno
odvozeno z pozorovaného
0
—
není to skóre kvality: běh buď kontrolami projde, nebo ne
tokens_per_completed_task.majordomus
—
neměřeno
pozorováno
0
—
transcript_resume_avoided.majordomus
—
neměřeno
kontrafaktuál z pozorovaného
0
—
není úsporou Majordoma: obě větve začínají další relaci načisto; jde o modelované náklady na navázání na přepis místo toho
context_reduction_ratio
+97.9%
naměřeno
odvozeno z počítaného
315
95 %: +97,9 % až +98,0 %
nejsou to celkové úspory tokenů: říká, co kompilátor vybral z toho, co shledal relevantním, ne co relace spotřebovala, a relace může dál číst cokoli
context_cost_model_error
-1.6%
naměřeno
odvozeno z počítaného
315
—
není to úspora: říká, jak daleko je jednotka rozpočtu od spočtených tokenů
Platné, nebo ne. Tokeny jsou vše, co poskytovatel nahlásil za každou relaci běhu; redukce je 1 - treatment / control a záporná redukce znamená, že Majordomus použil více tokenů. Vyloučený pár ukazuje svou redukci, aby byl vidět vliv pravidla pro odlehlé hodnoty; do metrik vstupují jen platné páry.
Úloha
Kategorie
Rep
Stav
Řídicí tokeny
Tokeny varianty s ošetřením
Redukce tokenů
csv-credit-notes
regression
1
chybí
—
—
—
csv-credit-notes
regression
2
chybí
—
—
—
currency-czk
small-feature
1
chybí
—
—
—
currency-czk
small-feature
2
chybí
—
—
—
invoice-discounts
cross-module
1
chybí
—
—
—
invoice-discounts
cross-module
2
chybí
—
—
—
recurring-invoices
více relací
1
chybí
—
—
—
recurring-invoices
více relací
2
chybí
—
—
—
storage-v2
schema-change
1
chybí
—
—
—
storage-v2
schema-change
2
chybí
—
—
—
test-repair
test-repair
1
chybí
—
—
—
test-repair
test-repair
2
chybí
—
—
—
vat-rounding
bug-fix
1
chybí
—
—
—
vat-rounding
bug-fix
2
chybí
—
—
—
Výběr kontextu
U revize 79bb4e3c18a9, kompilátor kontextu zkompiloval 315 úkolů plánu; počítáno s o200k_base (tiktoken-rs 0.12.0) vybral napříč všemi 7857785 z 396047691 kandidátních tokenů. Jde o výběr, ne o úsporu relace, a počítá se korpus v dané revizi, ne v aktuální.
Stejný poměr v každém z 9 zaznamenaných běhů, od nejstaršího. Bod je zaznamenaný běh a nic mezi dvěma body nebylo měřeno.
Za 9 zaznamenaných běhů, od 2026-09-26T12:29:55Z do 2026-10-11T18:48:45Z, se redukce posunula z +96.2% na +97.9%. Nejlepší běh, v revizi 79bb4e3c18a9, dosáhl +97.9%.
Hypotézy
Formulováno dřív, než existovaly jakékoli důkazy, aby je důkazy mohly vyvrátit. Nejsou to výsledky.
long-running-work (untested): Dlouhodobá vývojová práce agenta spotřebuje s Majordomus o 30 až 70 procent méně tokenů, v průměru zhruba polovinu.
short-tasks (untested): Krátké izolované úlohy získávají méně a mohou stát více, protože bootstrap a briefing se platí při každé relaci.
continuity (untested): Nejvíce získává práce, která zahrnuje více relací, protože předávka nahrazuje opětovné objevování.