I0838 — bench compare a report největších regresí
Přidat bench compare <run-a> <run-b> a nechat lidskou zprávu řadit největší regrese, největší zlepšení a nejpomalejší cíle podle p95.
PŘIPRAVENO vlna 5 · p0 · profil implementation · běží samostatně
Součást M004 — Výkon je spustitelný důkaz a horká cesta nedělá žádnou kanonickou práci dvakrát.
Připraveno. Všechny závislosti jsou hotové, takže majordomus plan start I0838 bude přijato.
Cíl
Přidat bench compare <run-a> <run-b> a nechat lidskou zprávu řadit největší regrese, největší zlepšení a nejpomalejší cíle podle p95.
Proč
Zeď čísel skryje to jedno, na kterém záleží.
Aktuální stav
Pouze --check porovnává, a to proti základní hodnotě.
Cílový stav
Libovolné dva uložené běhy se porovnají toutéž tabulkou jako --check; výchozí report končí seřazeným chvostem.
Rozsah
- lib/bench.sh
- docs/CLI.md
- test/cases
Závislosti
Kritéria přijetí
- porovnání běhu se sebou samým hlásí nulové delty
- Případ 85 dokládá pořadí na dvou fixture během
Validace
- bash test/run.sh 85_bench_compare
Požadované důkazy
- regression_refused
Důkazy
Nic nezaznamenáno. Za každým tokenem výše musí stát příkaz nebo artefakt, než lze tento úkol dokončit; vyprávění se odmítá.
Riziko
Aritmetika percentilů je implementována jednou a otestována jednotkovými testy na malých datasetech.
Časová osa
- zahájeno
- —
- ověřeno
- —
- dokončeno
- —
Tato tři pole, důkazy výše a stav závislostí jsou vše, z čeho se stav skládá. Neexistuje žádné pole stavu, které by s nimi mohlo být v rozporu.
Kanonický záznam: .ai/repo/project/issues/I0838.yaml. Přečtěte jej zpět pomocí majordomus plan show I0838.