Ekonomika

Majordomus neuvádí procento úspory tokenů, které neměřil, a tento dokument žádné neobsahuje. Čísla jsou v generated/economics.md, zapsaná majordomus generate economics ze zaznamenaných běhů, a na stránce ekonomiky webu, která vykresluje tatáž generovaná data. Číslo o tokenech, kontextu nebo ceně napsané do prózy odmítne majordomus economics check.

Otázka

Pro stejnou úlohu, ze stejného stavu repozitáře, se stejným modelem, stejnými nástroji a stejnými akceptačními testy: kolik tokenů spotřebuje programovací relace s nainstalovaným Majordomem a bez něj?

Jednotkou jsou tokeny na úspěšně dokončenou úlohu. Běh, který šetří tokeny tím, že selže, není úspora, proto se dvojice běhů počítá jen tehdy, když oba prošly každou kontrolou úspěchu.

Co se měří a jak je označeno každé číslo

Každé číslo, které podsystém vytvoří, nese jednu z pěti tříd a číslo vypočtené z více vstupů není nikdy silnější než nejslabší z nich:

Existují dvě měření a odpovídají na různé otázky:

• Snížení celkového počtu tokenů (effective_token_reduction, odvozeno z pozorované spotřeby). Spárované živé běhy korpusu úloh, kontrola proti zásahu. Je to jediný druh čísla, který by mohl podpořit tvrzení o tom, co Majordomus ušetří.
• Výběr kontextu (context_reduction_ratio, odvozeno ze započtených tokenů). Pro každý úkol plánu tohoto repozitáře, co kompilátor kontextu vybral z toho, co posoudil jako relevantní. Žádný model se neúčastní. Není to celková úspora a každá plocha to říká.

Kontrolní a testovaná skupina

Kanonické definice jsou v .ai/repo/benchmarks/economics/methodology.yaml.

• Kontrola, bez Majordomus. Fixture repozitář tak, jak ho udržuje schopný tým: README, krátký CLAUDE.md odkazující na konvence, konvence a záznamy rozhodnutí v docs/, zelená testovací sada. Claude Code běží headless s modelem, který sada jmenuje, jeho vestavěnými nástroji a oprávněními a bez serveru MCP, uživatelských nastavení či dovedností.
• Zásah, s Majordomus tak, jak ho instaluje uživatel. Táž fixture po majordomus init, majordomus update (bootstrap přidaný do vlastního CLAUDE.md fixture jako generovaná oblast) a majordomus capture install --provider claude-code, commitnutá. Vše ostatní je totožné. Server MCP a git hooky jsou z tohoto prvního zásahu záměrně vyloučeny.

Obě větve jsou od vlastní konfigurace operátora izolovány stejným způsobem, takže žádná nedědí instrukce, konektory ani paměť, které druhé chybí.

Korpus úloh

Sedm úloh v .ai/repo/benchmarks/economics/tasks/, z nichž každá zastupuje vývojový vzor, který tento repozitář vídá: defekt, jehož oprava je zapsána v záznamu rozhodnutí, malou aditivní funkci, změnu napříč čtyřmi moduly a perzistovaným formátem, sadu rozbitou přejmenováním, kde správnou opravu určí konvence, verzovanou změnu úložiště, uživatelem nahlášenou regresi a funkci vybudovanou ve dvou relacích, kde druhá začíná od toho, co první zanechala.

Každá úloha uvádí svou fixture, volitelný setup patch, příkaz pro ověření, skryté akceptační testy zkopírované až po poslední relaci a referenční řešení. majordomus economics references bez účasti modelu dokazuje, že každý skrytý test na výchozím stavu úlohy selže a na jejím referenčním řešení projde — takže neúspěšný běh vypovídá o agentovi, nikoli o testu.

Od běhů k tvrzení

1. majordomus economics run --suite pilot spustí každou úlohu v obou ramenech a zaznamená jeden soubor na běh: využití poskytovatele na požadavek a na model, jak je hlášeno (zpráva po zprávě, bez duplicit), vlastní projekci nákladů harnessu, volání nástrojů a verdikt každé kontroly úspěchu. Nezaznamená se nic, co relace řekla nebo četla. Zaznamenaný běh je důkaz a nikdy se nepřepisuje: už zaznamenaný běh se přeskočí a --force se odmítne. Běh, který se nemá počítat, se vyloučí v metodice s důvodem a místo něj se zaznamená další opakování.
2. Kalkulátor páruje kontrolní a testovací běhy téže úlohy a opakování, ověřuje, že jsou srovnatelné (verze sady, požadovaný model a modely, které odpověděly, fixture, verze harnessu, konfigurace, revize, počet relací) a platné (oba uspěly, oba hlásí využití), a u každého páru, který není, uvede důvod.
3. Na platný pár: reduction = 1 - treatment / control. Každé číslo tokenů na pár i souhrnné na každém povrchu je tato redukce: kladná znamená, že Majordomus použil méně tokenů, a záporná redukce znamená, že Majordomus použil více tokenů. Hlásí se tak, jak je, a žádný povrch nepřevrací její znaménko.
4. Napříč dvojicemi: rozdělení (medián, kvartily, 95. percentil, průměr, směrodatná odchylka) a percentilový bootstrap interval mediánu se zaznamenaným seedem, a totéž podle kategorie úlohy, počtu relací a složitosti. Opakování jedné úlohy nejsou nezávislá, takže interval převzorkovává celé úlohy, ne jednotlivé dvojice; každý interval jmenuje metodu, kterou byl spočítán.
5. Verdikt: kvantitativní tvrzení o celkových tokenech je povoleno jen tehdy, když platí každý práh publikačního pravidla metodiky — dost platných párů, dost kategorií úloh s dost páry každá, dost opakování každé úlohy v každé větvi, dost vysoký podíl platných párů, dost úzký interval, aktuální důkazy a žádný běh z nečistého stromu. Pravidlo se vyhodnocuje pro primární metriku přes všechny důkazy, takže ověřit lze jen tuto metriku, nefiltrovanou. Pod tím každý povrch uvádí, že není k dispozici žádné ověřené tvrzení o úspoře celkových tokenů, vedle předběžného pozorování označeného jako předběžné.

Žádný běh se nevylučuje, pokud ho metodika nejmenuje s důvodem, a primární metrika se pak ukazuje s ním i bez něj (effective_token_reduction.including_excluded).

Když důkazy zastarají

Každý záznam nese digest souborů, na kterých jeho sada závisí: metodiky, korpusu, fixture a částí Majordomus, které určují, co dostane relace s ošetřením (kostra, kterou zapisuje init, šablony poskytovatelů, kód briefingu a předávky). Když se kterýkoli z nich změní, důkazy se hlásí jako zastaralé a tvrzení na ně vázané ztratí záruku, dokud se sada znovu nespustí. Důkazy zaznamenané pod jinou verzí metodiky jsou nekompatibilní a nikdy se nesdružují.

Reprodukce

majordomus economics references         # every task can be failed and passed; no model
majordomus economics measure            # the context suite; deterministic, no model
majordomus economics run --suite pilot  # live sessions; needs a Claude Code login, spends usage
majordomus economics summary            # every figure, recomputed from the recorded runs
majordomus economics explain effective_token_reduction
majordomus economics check              # refuse an unsupported claim

Stejné odpovědi se poskytují na GET /api/v1/economics, /api/v1/economics/explain, /api/v1/economics/runs a /api/v1/economics/check, nástroji MCP majordomus_economics* a na stránce Ekonomika v Cockpitu. Všechny jsou projekcemi jedné kalkulačky, apps/majordomus-cli/src/economics.

Co toto neměří

• Velký repozitář. Fixture je záměrně malá, aby ověření běhu trvalo sekundy; výběr kontextu záleží nejvíc tam, kde je z čeho vybírat, a to se neměří.
• Jiné harnessy a modely než ty, které sada pojmenovává. Počty poskytovatelů se nikdy neporovnávají napříč poskytovateli.
• Server MCP, koordinace meshe mezi paralelními workery a vliv kontraktu dokončení na přepracování. Každé by bylo samostatným zpracováním.
• Peníze. Cena je vlastní projekce harnessu v době běhu, ne faktura, a historické běhy se nikdy znovu neoceňují.
• Opravené zacházení. Zacházením je Majordomus tak, jak jej dostane uživatel, který instaluje jen shell nástroj, a jeho generovaný bootstrap radí příkazy, které ta instalace nespustí (majordomus worktree). Co relace na ně vydá, je součástí toho, co ten uživatel dostane, a měří se tak, ne se opravuje.
• Korpus tak, jak je nyní. Sada kontextu počítá korpus v revizi, kterou zaznamenala, ne v aktuální; pozdější změna plánu nebo souborů, z nichž vybírá, nic nepřesune, dokud se sada znovu nezměří.

Hypotézy

Měření bylo postaveno k testování hypotéz zaznamenaných v metodice dřív, než existovaly jakékoli důkazy. Jsou to hypotézy a generovaný report je tak uvádí vedle toho, co důkazy ukazují.