Lo studio dimostra che… “Alt un attimo, ferma un poco il gioco”, cantava qualche tempo fa Eugenio Finardi. Perché anche i risultati degli studi clinici pubblicati sulle riviste più accreditate e prestigiose possono confondere e trarre in inganno i lettori. Lo dimostrerebbe uno studio (per l’appunto…) realizzato dai ricercatori di Harvard e UCLA, in via di pubblicazione sul Journal of General Internal Medicine.

La sconcertante tesi emerge da una ricerca condotta alle scuole di medicina della University of California di Los Angeles (UCLA) e della Harvard University in via di pubblicazione sul JGIM [1], in cui sono stati analizzati tutti i trial randomizzati pubblicati fra il 1 Giugno 2008 e il 30 Settembre 2010 sulle sei riviste scientifiche a più alto “impatto” in campo medico: The Lancet, New England Journal of Medicine, British Medical Journal, Journal of the American Medical Association, Annals of Internal Medicine, Archives of Internal Medicine.

Oltre alla deprecabile abitudine di riportare nell’abstract i soli valori percentuali senza alcun riferimento ai valori assoluti dai quali tali numeri derivano (44% dei 316 studi analizzati) – cosa che sicuramente non aiuta i lettori poco avvezzi alla “controprova” e quanti non possono accedere ai full text – i ricercatori di Harvard e UCLA hanno individuato e messo sotto accusa tre tipi di “misurazioni di outcome” che renderebbero difficoltosa l’interpretazione dei dati presentati nelle stesse versioni integrali delle pubblicazioni.

Eccoli di seguito elencati, come riportati in una nota stampa UCLA [2]:

1. Outcome surrogati (37% degli studi analizzati): si riferiscono ai “marcatori” intermedi, quali ad esempio una “medicazione cardiaca in grado di ridurre la pressione del sangue”, che può non essere un buon indicatore dell’impatto della medicazione su outcome clinici più importanti, quali gli infarti cardiaci;
2. Outcome composti (34%): consistono di outocme individuali multipli di importanza diseguale raggruppati insieme, quali “ospedalizzazioni e mortalità”, che rendono difficile la comprensione degli effetti del trattamento sui singoli outcome;
3. Mortalità specifica (27%): misura i decessi dovuti a una “causa specifica”, cosa che può ingannare in quanto anche se un tipo di trattamento riduce “un tipo di mortalità” potrebbe aumetare il rischio di morte per altra causa, in maniera uguale o superiore.

Ma “i pazienti hanno meno interesse a sapere se un trattamento può ridurre la pressione arteriosa, rispetto alla sua capacità di prevenire un infarto o un ictus o il rischio di una morte prematura, così come danno poco valore al fatto che può prevenire la morte per cause cardiache, quando poi può ad esempio aumentare in pari proporzione il rischio di morte per cancro”, dice Michael Hochman, in forza al Robert Wood Johnson Foundation Clinical Scholars Program della UCLA, fra gli autori della ricerca.

“I pazienti vogliono sapere invece, nel maggiore dettaglio possibile, quali sono gli effetti reali di un trattamento, cosa che può essere difficile quando molteplici indicatori di diversa importanza vengono aggregati in un unico fattore”, aggiunge Danny McCormick, di Cambridge Health Alliance e Harvard Medical School, autore principale dello studio.

In ultimo, i ricercatori avrebbero scoperto che “i trial che utilizzano outcome surrogati e valori riferiti alla mortalità specifica sono quelli con maggiore probabilità di essere finanziati commercialmente da una società farmaceutica”.

Numeri alla mano, si evince infatti che ben il 45% degli studi finanziati da società commerciali utilizzerbbero “endpoint surrogati”, contro il 29% degli studi con diversa tipologia di finanziamento; così come utilizzerebbero dati di “mortalità specifica” il 39% dei trial finanziati commercialmente, rispetto al 16% degli studi con diversa tipologia di finanziamento.

Che dire di più? Ci pensa Hockman, sottolineando – forte dei dati del suo studio – che “gli sponsor commerciali della ricerca potrebbero promuovere l’uso di outcome con maggiore probabilità di mostrare risultati favorevoli, perché è sicuramente più facile dimostrare che un prodotto commerciale ha un effetto benefico su un marker surrogato come la pressione arteriosa, che su un ‘hard outcome’ come un attacco di cuore: nella nostra analisi emerge chiaramente che gli studi basati su outcome surrogati hanno riportato molti più risultati positivi degli studi che hanno avuto come criterio valutativo outcome più importanti”.

Per capirci meglio, “il modo in cui sono presentati i risultati degli studi è importante, perché ha sicuramente un diverso effetto dire che un trattamento riduce il tuo rischio di infarto da due milionesimi a un milionesimo rispetto al dire che lo riduce del 50%; anche se entrambi i modi sono tecnicamente corretti, ragionare in termini percentuali può confondre le idee”, conclude McCormick.

Riviste scientifiche sotto attacco? Non è la prima volta, né sarà l’ultima… E c’è stato anche di peggio, metodologicamente parlando.

Nel 2009 un “semplice” dottorando del MIT, tale Edward Vul, volendo verificare le elaborazioni statistiche di una serie di studi pubblicati su riviste di grido come Nature e Science, promossi dagli autori come il corpus dottrinale delle cosiddette neuroscienze sociali, ha scoperto “errori grossolani” di calcolo tanto da parlare di “correlazioni voodoo” nel titolo del suo articolo, che ancor prima di vedere la luce è andato letteralmente a ruba fra i ricercatori di tutto il mondo (vedere Mozzoni M, “Neuroscienze sociali e neuroimmagine, correlazioni voodoo secondo il MIT; clima da resa dei conti nella comunità neuroscientifica internazionale”, BrainFactor, 19/03/2009).

Pigrizia o malafede? Chi può dirlo con certezza. In entrambi i casi sono picconate alla credibilità di una comunità scientifica sempre più convinta di poter svelare un giorno i misteri dell’umanità e risolverne come d’incanto tutti i problemi…

Nota a margine: Hochman e McCormick tengono a precisare di non avere percepito alcun finanziamento, “né esterno né interno”, per svolgere la loro ricerca.

Reference:

1. Michael Hochman, Danny McCormick, Endpoint Selection and Relative (Versus Absolute) Risk Reporting in Published Medication Trials, Journal of General Internal Medicine, doi: 10.1007/s11606-011-1813-7, 2011, online first
2. Enrique Rivero, Results of medication studies in top medical journals may be misleading to readers. UCLA-Harvard study highlights three types of confusing outcome measures, UCLA News, August 25, 2011