Ekonomika tokenů se měří ze spárovaných běhů a publikuje se až za deklarovaným pravidlem

82. Ekonomika tokenů se měří ze spárovaných běhů a publikuje se jen nad deklarovaným pravidlem

Kontext

Dokument o ekonomice od první verze odmítal uvádět jakoukoli úsporu tokenů: nic žádnou nezměřilo. Plánované milníky (execution-telemetry, cost-per-accepted-outcome) popisovaly, co by měření vyžadovalo, a tam skončily. Mezitím hodnota, kterou se u Majordomus nejčastěji předpokládá — méně tokenů na úlohu — zůstala vírou, a víra je přesně to, co tento repozitář existuje, aby proměnil v ověřený fakt, nebo vyřadil.

Tři věci umožnily měření nyní. Claude Code hlásí využití poskytovatele na požadavek ve svém výstupu stream-json, headless a bez klíče API. Kompilátor kontextu (devcontext) odhaluje, co zvažoval a co vybral. A matice tvrzení už odděluje zaručená tvrzení od plánovaných, takže číslo lze navázat na důkazy místo psaní ručně.

Rozhodnutí

1. Jedna kalkulačka. apps/majordomus-cli/src/economics čte deklarace a surové záznamy běhů a odvozuje každý pár, metriku, interval a verdikt. CLI, HTTP, OpenAPI, MCP, Cockpit, generovaná zpráva a web jsou projekce summarize; žádné nepočítá číslo. Odvozené hodnoty se nikdy neukládají; surová fakta ano.
2. Pět tříd měření — pozorováno, spočítáno, odvozeno, odhadnuto, kontrafaktuální — u každé metriky a odvozená metrika jmenuje třídu svých vstupů. Redukce kontextu (spočítaná) a změna celkových tokenů (pozorovaná) jsou samostatné metriky, které se nikdy nesloučí.
3. Spárované dvojice posuzované skrytými testy. Živá sada spouští každou úlohu v kontrole (fixture tak, jak ji udržuje kompetentní tým) a v ošetření (tentýž fixture s nainstalovaným Majordomus tak, jak ho instaluje uživatel). Dvojice se počítá, jen když oba běhy prošly každou úspěšnostní kontrolou; každá jiná dvojice se hlásí s důvodem. Referenční řešení dokazují, že kontroly lze splnit i selhat.
4. Deklarované pravidlo publikace. Metodika uvádí ještě před jakýmikoli důkazy minimální počet platných párů, kategorií, opakování, míru platných párů a šířku intervalu a že důkazy musí být aktuální a čisté. Pod tímto pravidlem se verdikt generuje jako „žádné ověřené tvrzení o úspoře celkových tokenů“ s označeným předběžným pozorováním.
5. Čerstvost podle digestu. Každý záznam nese digest souborů, na kterých závisí jeho sada; změna činí důkazy zastaralými a odebere každou záruku, která je na ně vázána.
6. Kontrola na próze. economics check odmítne veličinu vedle slovníku ekonomiky v ručně psané próze a vázané tvrzení označené jako zaručené, jehož metrika nestojí.

Důsledky

• Repozitář nyní umí říct, co změřil, včetně toho, že Majordomus u některých úloh stojí víc, což pravidlo vyžaduje ukázat, nikoli zprůměrovat.
• Živé důkazy stojí využití poskytovatele a reálný čas; běží na požádání (economics run), ne při každém commitu. Deterministická sada a celá kalkulačka se testují bez poskytovatele.
• Zásah vylučuje MCP server a git hooky. Jejich měření je nový zásah a nová verze metodiky, ne úprava.
• Tokenizér, který počítá kontext (o200k_base), není tokenizérem každého modelu; spočítaná čísla říkají, který to je, a nikdy se neporovnávají s tokeny hlášenými providerem.