I sondaggi (e i questionari, cioè le domande scritte od orali su cui si basano) sono spesso criticati per i risultati che ottengono, o dubbi (per non dire a volte assurdi) o palesemente di parte. Se il sondaggio risulta criticabile pur avendo rispettato tutte le indicazioni che la statistica dà per avere qualcosa di significativo, spesso si scopre che il suo tallone d’Achille sta nelle domande che vengono poste.
Per evitare che i dati raccolti siano poco veritieri, un buon sondaggio deve essere:
- completo (cioè esaurire tutte le risposte possibili, eventualmente proponendo anche l’astensione);
- equispaziato (per evitare l’effetto ancora);
- con un numero di categorie non eccessivo (per minimizzare l’avversione agli estremi).
Inoltre le domande non devono in qualche modo far convergere verso determinate risposte (occorre cioè evitare l’indirizzamento psicologico). Tralasciando casi dolosi, nei sondaggi l’indirizzamento psicologico può avvenire anche con la perfetta buona fede dell’intervistatore. Ben si comprende come un sondaggio che si limiti a chiedere: “sei felice?” (oppure “sei intelligente?”, “sei razzista?” ecc.) può provocare un numero eccessivo di risposte nella categoria che fa apparire l’intervistato come più positivo: l’intervistato risponde come “sarebbe meglio rispondere” (spersonalizzazione positiva).
Poiché la spersonalizzazione positiva diminuisce all’aumentare del numero delle categorie considerate (in altri termini, tutti sono propensi a darsi almeno la sufficienza, ma è minima la percentuale di chi si dà il massimo, pur essendone molto lontano), con un numero sufficientemente grande di categorie (ma non troppo grande, per evitare l’avversione agli estremi), il sondaggio diventa affidabile per le categorie estreme.
Per evitare l’indirizzamento psicologico si possono usare tecniche di mascheramento, per esempio sottoporre l’intervistato a molte domande apparentemente scorrelate.
Una tecnica di questo genere è stata per esempio usata da Robin Simon per verificare la relazione fra l’avere dei figli e la felicità; se pongo decine di domande, quella sul numero di figli, sulla loro età ecc. passa inosservata nella sezione anagrafica e l’intervistato non “sente” la correlazione con le domande sulla felicità nella sezione psicologica. Ovvio che se l’intervistato risponde che il periodo più felice della sua vita è stato fra i 20 e i 25 anni e che ha avuto il primo figlio a 26 è difficile credere che per lui “i figli migliorino la vita”. Con una domanda diretta, molto probabilmente, non avrebbe avuto il coraggio di ammettere che “la nascita del figlio ha peggiorato la sua vita”.
Le tecniche di mascheramento sono però molto pesanti perché di solito i questionari sono molto lunghi, pertanto ogni sondaggio che si basa su poche e dirette domande porta con sé il germe del dubbio, soprattutto quando la risposta dell’intervistato è in qualche modo psicologica: c’è cioè molta differenza fra il chiedere “ti piace X?” e “quante auto hai?”.
Ecco come Wikipedia tratta l’argomento sondaggi.