Uno degli esempi di come si possano stiracchiare i dati di una ricerca è dato dall'uso del concetto di placebo. Nel capitolo 5 di Migliora la tua intelligenza spiego in dettaglio due problemi legati all'analisi statistica dei dati. Sinteticamente, sono:

• la dimensione del campione (quanto meno numeroso è il campione scelto, quanto più ci si può aspettare che sia grande la deviazione dal comportamento della popolazione);
• l'incoerenza sperimentale (un campione è fra gli N possibili; ripetendo l'esperimento con un campione diverso si possono trovare risultati diversi!).

Entrambe le situazioni vengono usualmente usate nella pubblicazione di ricerche leggere ed è sorprendente che la comunità scientifica internazionale accetti la pubblicazione di lavori tutto sommato di nessuna utilità.

Effetto placebo? No, grazie!

Si supponga si studiare l'effetto di un farmaco X su una patologia. Molti medici sostengono che in un numero non trascurabile di patologie non si può escludere l'effetto placebo. Questa posizione va censurata: in effetti, un esperimento dove esiste un effetto placebo non è condotto in modo ottimale.

Una ricerca scientificamente corretta mostra un risultato nullo per il placebo. Se tale risultato non è nullo significa che le modalità di esecuzione o di rilevamento dei dati non sono ottimali.

Supponiamo per esempio di provare l'efficacia di una pistola Smith & Wesson 44 Magnum nel suicidio effettuato sparandosi alla tempia. Ammesso di trovarlo, come gruppo di controllo, usiamo un campione dotato di una pistola finta. Dubito che esista un effetto placebo per cui premendo il grilletto della pistola finta si spappoli la testa del soggetto.
Non è necessario ricorrere a un esempio così estremo; basta pensare a un veleno mortale e al suo antidoto: nessuno del gruppo di controllo cui è stato dato un placebo si salverebbe!
Morale: l'effetto placebo esiste solo per fare un grosso favore a chi deve arrivare a una conclusione avendo fra le mani una soluzione non ottimale. Infatti, servendosi del placebo, è possibile non partire proprio da zero.
Il mascheramento – Anziché limitarsi a valutare la differenza con il placebo,

una ricerca seria dovrebbe preoccuparsi di annullare il placebo, mascherandolo completamente.

Se per esempio voglio sapere se i figli aumentano la felicità della coppia, non posso fare questa domanda direttamente, ma faccio riempire alle coppie un questionario con tante domande, la domanda "quanti figli avete?" la metto "normalmente" nell'anagrafica in modo che passi inosservata, poi per esempio alla domanda 123 chiedo di giudicare il grado di felicità della propria vita. A questo punto il soggetto non pensa nemmeno lontanamente che io voglia correlare numero di figli e felicità e non c'è nessun condizionamento.
Purtroppo nella ricerca medica le tecniche di mascheramento spesso non vengono nemmeno considerate, anzi! Non c'è tempo e aumenterebbero i costi delle ricerche.
Non si maschera certo il placebo chiedendo al paziente "sta meglio", "ha avuto più o meno giornate negative da quando prende il farmaco" ecc.; è invece per esempio "mascherante" la misurazione di un parametro clinico di cui il paziente non conosce nemmeno il significato (ammesso che questo parametro clinico non fluttui normalmente nella popolazione!).
L'effetto placebo infatti funziona anche se si sa di prendere un farmaco inefficace. Un'equipe dell'Università di Harvard ha informato un gruppo di pazienti che le loro pillole non contenevano nessun principio attivo; dopo tre settimane, il 59% di loro ha dichiarato di sentirsi meglio contro il 35% del gruppo di controllo. Un esperimento che mette la parola fine a tutte le ricerche che prendono come parametro di miglioramento la "dichiarazione" del soggetto.
Dovrebbe essere chiaro che l'importanza del placebo varia al modo di condurre l'esperimento; nella ricerca medica sono state inventate modalità come il doppio cieco che vorrebbero far credere che si riesca ad arrivare all'effettiva realtà delle cose (per esempio il funzionamento di una terapia). L'esistenza di placebo anche in presenza di esperimenti condotti in doppio cieco rivela invece che si è ancora ben lontani dal valutare correttamente i risultati di un esperimento. Vediamo il perché.

Il trucco

Vediamo prima un caso doloso.
Sono un ricercatore che deve assolutamente pubblicare qualcosa.

1. Esamino il farmaco A che so dare una buona positività su placebo (a causa per esempio del tipo di patologia che tratta).
2. Faccio un bell'esperimento su due gruppi "randomizzati" opportunamente; gruppo A 22 positivi, gruppo B (placebo) 18 positivi; il farmaco batte il placebo con p=0,21 (in altri termini, la statistica mi dice che c'è ben il 21% di probabilità che il farmaco risulti migliore del placebo per puro caso). Non ci siamo, troppo incerto.
3. Ripeto l'esperimento: gruppo A 24 positivi, gruppo B 15 positivi; il farmaco batte il placebo con p=0,05. Pubblico la ricerca.
4. Il medico Mario Rossi legge la ricerca e si convince che "sicuramente" il farmaco funziona.

Occorre capire che, riguardo all'efficacia, sia il placebo che il farmaco hanno una loro curva di distribuzione, basta trovare l'esperimento in cui le due curve danno risultati in controtendenza e il gioco è fatto: il farmaco sembra funzionare. In ogni caso, questa scelta ha amplificato il reale funzionamento del farmaco. Senza questa consapevolezza è del tutto ingenuo pensare che

se il farmaco fa qualcosa più del placebo, funziona!

Lasciando perdere il dolo, è ovvio che la situazione soprariportata avviene normalmente anche solo "per colpa" del ricercatore che esegue UN solo esperimento (di solito per ovvi motivi di costi e di tempi), non valutando minimamente quali possano essere le distribuzioni del placebo e del farmaco (per esempio nel caso soprariportato eseguendo 10 volte l'esperimento si può scoprire che l'efficacia del placebo varia da un minimo di 8 a un massimo di 24).
Ovviamente il trucco del placebo è tanto più efficace quanto più il campione è piccolo perché all'incoerenza sperimentale si somma il problema della dimensione del campione (ammesso e non concesso che sia veramente randomizzato: se studio la popolazione "italiani", statisticamente, sarebbe necessario un sorteggio su tutta la popolazione, senza accontentarmi di volontari che "sembrano" rappresentativi della popolazione!).