martedì, giugno 28, 2011

Retroactive facilitation (updated)

Qualche tempo fa, vi avevo raccontato di un articolo, apparso nel Journal of personality and social psychology riportava di alcuni effetti osservati in esperimenti di larga scala spiegabili solo con la precognizione. Ovviamente, ne era seguito un furioso dibattito. La mia obiezione 5) era:
Alcuni matematici olandesi hanno polemizzato col tipo di test statistici utilizzati da Bem, affermando che è necessario usare test più raffinati. Per prevenire questa obiezione, Bem ha utilizzato test statistici considerati standard nel campo della psicologia. Per cui la critica di Wagenmakers et al. è un po' a doppio taglio, perchè, se giusta, invaliderebbe più o meno tutta la ricerca nelle scienza sociali (e non solo) fatta negli ultimi 50 anni.
Ho continuato a seguire il dibattito per un po', e per questo ed altri motivi, ho cominciato a studiare un po' meglio le tecniche di inferenza Bayesiana.

Circa un mese fa è apparso un articolo in cui Rouder e Morey migliorano il metodo Bayesiano utilizzato precedentemente per realizzare meta-analisi dei dati raccolti da Bem. Il metodo utilizzato in quell'articolo, infatti, non teneva conto del fatto che tutti gli esperimenti di Bem andavano nella stessa direzione.

Armati di questo nuovo metodo, hanno rianalizzato i dati di Bem, trovando per uno dei 4 tipi di stimoli un fattore di Bayes di 40, che è "noteworthy", per citare gli autori, ma non sufficiente evidenza per effetti di precognizione, contraddicendo le conclusioni di Bem.

A che pro tutto questo discorso? Per prima cosa per motivarvi a leggere l'articolo di Rouder e Morey, che è molto chiaro riguardo i rischi dei test di verifica di ipotesi. In secondo luogo, per convincere gli scettici tra di voi (a buon intenditor...) che Bayes è superiore ai test di verifica di ipotesi, secondo i quali, adesso, dovremmo tutti credere all'ESP.

3 commenti:

Junkie ha detto...

http://xkcd.com/882/

delio ha detto...

peggio della statistica, solo l'economia aziendale.

(scherzo, mi rendo conto che è un lavoro orrendo ma che qualcuno deve pur farlo).

Lap(l)aciano ha detto...

@Junkie: grazie, bellissimo.

@delio: In realtà quando si comincia a capire come funziona l'inferenza Bayesiana tutto prende un aspetto molto più elegante e compatto. Per la statistica classica ti do' ragione...