Come leggere un risultato.

Un esempio semplice: parti dai numeri

Immagina due gruppi simili di 100 persone seguiti per lo stesso periodo. Se un evento si verifica in 10 persone nel primo gruppo e in 8 nel secondo, la differenza è di 2 persone su 100, cioè 2 punti percentuali; rispetto a 10 su 100 è una riduzione relativa del 20%. Sono numeri inventati per spiegare il calcolo, non risultati di un trattamento. La differenza potrebbe dipendere dal caso e l’esempio non dice nulla su danni, altri risultati o altre persone.

Inizia con il risultato

Un endpoint è una misura definita utilizzata per rispondere a una domanda di studio, spesso in un momento specifico. Gli endpoint primari e i principali secondari dovrebbero essere stabiliti in anticipo. Anche gli esiti esplorativi possono essere previsti prima oppure individuati in seguito: aiutano a formulare nuove domande, ma non forniscono automaticamente una conclusione definitiva. Chiediti quali analisi erano previste e se lo studio ha tenuto conto dei confronti multipli. Può misurare il modo in cui le persone si sentono, funzionano o sopravvivono, oppure può misurare un risultato di laboratorio o di imaging utilizzato come sostituto di un risultato clinico. Un surrogato può essere utile, ma il miglioramento in un surrogato non dimostra automaticamente che le persone vivano più a lungo o si sentano meglio. Un cambiamento statisticamente rilevabile può ancora essere troppo piccolo per avere importanza nella vita quotidiana.234

Effetti assoluti e relativi

Supponiamo che in un anno un evento indesiderato si verifichi in 20 persone su 100 che ricevono il trattamento di confronto e in 10 su 100 che ricevono il nuovo trattamento. Il rischio nel gruppo di confronto è 20 su 100 e quello nel gruppo del nuovo trattamento è 10 su 100. La riduzione assoluta è di 10 persone in meno su 100, cioè 10 punti percentuali; il rischio relativo è 0,5 e la riduzione relativa del rischio è del 50%.

«Il rischio si è dimezzato» e «10 persone in meno su 100 hanno avuto l’evento in un anno» descrivono gli stessi dati ipotetici, ma la seconda frase rende visibili il rischio iniziale e la grandezza pratica dell’effetto. Se lo stesso effetto relativo fosse applicato a un rischio iniziale di 2 su 100, la riduzione assoluta sarebbe di circa 1 su 100. La misura dell’effetto va interpretata insieme al rischio iniziale. Gli odds ratio non sono intercambiabili con i rapporti di rischio quando gli eventi sono frequenti.15

Tieni conto del periodo di tempo

Dieci eventi su cento in una settimana non equivalgono a dieci in diversi anni. Un risultato senza il periodo a cui si riferisce omette parte di ciò che è stato misurato. Lo stesso vale per un miglioramento: un cambiamento iniziale non dimostra che durerà. Se ci sono misurazioni ripetute, chiediti se l’analisi confronta il cambiamento rispetto all’inizio, un valore in un momento preciso o l’andamento nel tempo.15

Leggi la stima insieme alla sua incertezza

Un intervallo di confidenza descrive la precisione di una stima secondo il modello statistico utilizzato. Nella costruzione abituale al 95%, se lo stesso disegno e la stessa analisi venissero ripetuti molte volte, circa il 95% degli intervalli costruiti con tale procedura conterrebbe il parametro fisso. Non è corretto affermare che esista una probabilità del 95% che questo specifico intervallo contenga il valore vero. Un intervallo ampio indica che i dati sono compatibili con una vasta gamma di effetti; uno stretto indica maggiore precisione, ma la precisione non corregge un disegno distorto o un campione non rappresentativo.

Per una differenza di rischio, un intervallo che include zero è compatibile con l’assenza di differenza; per un rapporto di rischio, un intervallo che include uno è compatibile con l’assenza di differenza nel rapporto. Un valore p non è la probabilità che il trattamento funzioni e non misura l’entità o l’utilità dell’effetto. ICH E9 raccomanda gli intervalli di confidenza per aiutare l’interpretazione, ma serve anche il contesto clinico, inclusa una gamma di effetti stabilita in anticipo che sarebbe importante per i pazienti.

Un intervallo può includere lo zero e al tempo stesso escludere effetti abbastanza grandi da essere importanti; oppure può escludere lo zero e contenere effetti troppo piccoli per essere utili. Confrontalo con una soglia di differenza rilevante che tenga conto della prospettiva dei pazienti, se esiste. Molti esiti o analisi ripetute possono aumentare la probabilità di un risultato sorprendente se il piano di analisi non ne tiene conto. Nel confronto tra trattamenti, esamina l’intervallo della differenza o del rapporto tra loro: controllare soltanto se gli intervalli dei singoli gruppi si sovrappongono non è un sostituto affidabile.54

La chiarezza statistica non equivale all’importanza pratica

Immagina uno studio che stima una riduzione del punteggio dei sintomi di 2 punti con un trattamento rispetto al controllo, con un intervallo di confidenza al 95% da 0,5 a 3,5 punti di riduzione. L’intervallo esclude lo zero: secondo quel modello, i dati non sono compatibili con l’assenza di una differenza media. Ma se pazienti e medici avessero stabilito in anticipo che il miglioramento minimo percepibile fosse di 3 punti, l’intervallo includerebbe ancora effetti inferiori a quella soglia. Il risultato sostiene l’esistenza di una differenza, lasciandone incerta l’importanza pratica.

Può accadere anche il contrario: una stima clinicamente rilevante può essere imprecisa perché lo studio è piccolo. Distingui la domanda statistica — quanto sono compatibili i dati con determinati effetti? — dalla decisione — quali effetti conterebbero, per chi e a quale costo o rischio?53

Le medie non descrivono ogni persona

La media o la mediana riassumono un gruppo; non significano che ogni partecipante abbia avuto lo stesso cambiamento. Cerca la dispersione dei dati, la percentuale di persone che rispondono, gli abbandoni e le analisi di sottogruppo previste in anticipo. «Nessuna differenza statisticamente significativa» non dimostra che due trattamenti siano equivalenti. Dimostrare equivalenza o non inferiorità richiede un disegno appropriato e un margine giustificato, non soltanto un valore p non significativo.6

I dati mancanti fanno parte del risultato

Scopri quante persone sono state randomizzate, quante hanno fornito dati sull’esito, perché alcuni dati mancavano e se le mancanze differivano tra i gruppi. I metodi per gestire gli esiti mancanti richiedono ipotesi che di solito non possono essere verificate usando soltanto i dati osservati.

«Missing at random» non significa che i dati mancanti non abbiano alcuna relazione con altri fattori: nel significato statistico, la probabilità che un esito manchi non dipende dal suo valore non osservato una volta considerate le informazioni osservate incluse nell’analisi. L’abbandono di una persona per un effetto indesiderato registrato non viola automaticamente questa ipotesi. Se l’esito non osservato continua a influenzare quali dati mancano anche dopo aver considerato le informazioni osservate, l’ipotesi può non valere. Leggi insieme abbandoni, analisi primaria e analisi di sensibilità: un risultato che cambia in modo sostanziale con ipotesi alternative plausibili è meno solido.109

Confronta benefici e danni negli stessi termini

Benefici e danni richiedono definizioni, denominatori e periodi di tempo chiari. Un sintomo lieve frequente e un evento grave raro non possono essere riassunti in un unico punteggio senza giudizi di valore. Controlla se gli eventi avversi sono stati raccolti attivamente, se sono state riportate la gravità, gli eventi gravi e le interruzioni del trattamento, e se il follow-up è stato abbastanza lungo da individuare rischi tardivi. Confronta le frequenze nei due gruppi e chiediti se lo studio fosse abbastanza ampio da rilevare danni poco comuni.

Un evento avverso è un evento indesiderato durante un trattamento o una ricerca; da solo non dimostra che sia stato causato dall’intervento. Per valutare la causalità servono anche la successione temporale, le frequenze di base, il gruppo di confronto e altre prove. Le analisi di sicurezza spesso includono chi ha ricevuto almeno una dose, mentre quelle di efficacia possono usare una popolazione diversa. Anche il tempo di esposizione e il modo in cui vengono contati gli eventi ripetuti influenzano i confronti.111

Cinque domande per leggere un risultato

Che cosa è stato misurato esattamente, ed era un esito importante per i pazienti o un indicatore surrogato? Chi è stato incluso, quali gruppi sono stati confrontati e quante persone hanno fornito dati? Quali sono le frequenze assolute degli eventi o i valori medi in ciascun gruppo? In quale periodo è stato misurato l’esito? Quanto è precisa la stima, quali ipotesi sono state fatte sui dati mancanti e sulle analisi multiple, e quali danni sono stati osservati? Se queste risposte non sono disponibili, la conclusione onesta può essere che il risultato è indicativo ma incerto.127