Ieri ho letto su una rivista importante un articolo che si intitolava "Why most published research findings are false", che liberamente tradotto significa: per che cazzo la maggior parte delle scoperte scientifiche che vengono pubblicate sono false!?!?!
Non credo che chiunque lavori nel campo della ricerca bio-medica sia sorpreso da questa feroce critica alla produzione scientifica contemporanea. Già da diversi mesi rifletto su questo argomento con colleghi e amici perchè la realtà è che la maggior parte degli esperimenti non funzionano. E se poi ti sogni di prendere un articolo e ripetere un esperimento già pubblicato... beh, sei un illuso se speri che ti riesca senza problemi. Allora, per quanto evidente agli addetti ai lavori, tutti (...soprattutto gli addetti ai lavori...) dovrebbero inorridire davanti a tale spreco di soldi, energie e tempo!!! Anche perchè molto spesso i risultati di ricerche bio-mediche si traducono in farmaci che vengono immessi sul mercato... e poi ce li ciucciamo tutti!
Mi ricordo il fascino che avevano su di me la Biologia Molecolare, la Biochimica, l'Immunologia quando facevo i primi anni di università. La complessità dei meccanismi che agiscono quotidianamente in ognuna delle nostre cellule è da lasciare a bocca aperta! E' tutto così perfetto che sembra impossibile che possa funzionare... Fare ricerca e tentare di intelligere quello che accade in ogni istante nel nostro corpo credo sia il lavoro più bello del mondo. Bisogna tuttavia essere coscienti che un esperimento consiste nel tradurre una reazione chimica o un evento biologico in un grafico, una curva, un segnale luminoso o chi più ne ha più ne metta. Il progresso tecnologico permette ai ricercatori di avere sempre più metodologie a disposizione per rispondere a domande sempre più complesse. E onestamente alcune recenti tecniche sono, per quanto mi riguarda, opere di puro genio!
Così tre anni fa armata di curiosità, ideali e tanta ingenuità ho cominciato la mia esperienza nel mondo della ricerca prima come laureanda e poi come dottoranda, con il risultato che oggi mi sento totalmente inutile come scienziata e ricercatrice. Per molto tempo mi sono domandata se ero io che non ero in grado di fare scienza o se non ero abbastanza intelligente o altre masturbazioni mentali che il mio spirito di autolesionismo e di forte autocritica a volte si sbizzarisce ad inventare.
Guardando la situazione da un punto di vista un po' più ampio mi sono resa conto che ci sono un sacco di fattori che purtroppo contribuiscono a rendere la ricerca sempre meno scientifica!!
Potrei riassumere le cose che mi hanno più deluso della scienza fino a questo momento in pochi concetti:
- Competizione vs Collaborazione
- Significatività statistica vs onestà intellettuale
- Fondi, carriera e pubblicazioni
Ci sono settori della ricerca in cui decine e decine di gruppi di ricerca lavorano sullo stesso argomento. Nonostante le buone intenzioni che sono sicura animano la stragrande maggioranza dei ricercatori, nella scienza come in molti altri campi c'è la corsa a chi pubblica per primo un risultato o una scoperta. Ci sono persone che tengono per sè dati e protocolli per paura di perdere la proprietà intellettuale del proprio lavoro, cosa che capisco, ma fino ad un certo punto. A pensarci bene accostare la parola "proprietà" ad "intellettuale" mi suona sempre un po' strano. Lo scopo ultimo di quello che facciamo dovrebbere essere la conoscenza, non il prestigio personale.
Inoltre se decine di laboratori si pongono più o meno la stessa domanda è fuorviante concentrarsi sul singolo risultato di un gruppo di ricerca. La probabilità che ci sia un risultato positivo tra cento tentativi indipendenti non è nulla anche se l'ipotesi è falsa, e ciò può portare a conclusioni completamente sbagliate: Quello che conta davvero è la totalità degli esperimenti condotti, indipendentemente da chi li ha fisicamente eseguiti!!!!
L'attribuzione dei fondi di ricerca è probabilmente un capitolo a parte, ma è evidente che ci sono settori in cui i finanziamenti sono maggiori per semplici regole di mercato. Trovo indegno che molta della ricerca bio-medica debba sottostare agli interessi economici dei colossi farmaceutici, ma in effetti esistono anche fondi pubblici a cui un ricercatore può tentare di accedere. A parte le mie convinzioni personali, è comunque evidente che ci sono settori della ricerca molto caldi e settori dove meno persone sono coinvolte.
Se ci aggiungi che (...e traduco dall'articolo...) "molti studi universitari, apparentemente indipendenti, sono condotti per dare a medici e ricercatori qualificazioni accademiche. Questi conflitti non-economici possono portare a risultati riportati in maniera distorta e a interpretazioni. Inoltre ricercatori prestigiosi possono impedire la comparsa e la diffusione di risultati che confutano le loro stesse scoperte attraverso il meccanismo di peer-reviewing, condannando così il proprio settore a pepetuare falsi dogmi. Evidenze sperimentali sull'opinione di esperti dimostrano che è estremamente inattendibile."
Il peer-reviewing è un meccanismo abbastanza semplice per decidere se dei dati vengono pubblicati o meno da un giornale. Tu scrivi l'articolo, lo mandi ad un giornale e loro lo spediscono ad un esperto del settore che decide se i tuoi dati sono pubblicabili. L'articolo può essere rifiutato, accettato solo se verranno fatti esperimenti aggiuntivi oppure accettato direttamente. Io spero e voglio pensare che se ci sono dei bias a livello di peer-reviewing non sia fatto intenzionalmente, ma non mi sorprendono le forti dichiarazioni dell'articolo.
Per quanto riguarda le affermazioni sui progetti di ricerca che servono a dare qualificazioni accademiche agli studenti e alla quantità di stronzate che ci sono in letteratura, sono totalmente d'accordo. Attualmente ho la sensazione di lavorare ad un progetto su una proteina fantasma, e dopo due anni comincio a pensare che non esista. Ovviamente non ne sono sicura perchè "personaggi illustri hanno dimostrato la sua esistenza", da qui tutti i dubbi sulla mia validità scientfica. Fatto sta che all'inizio del terzo anno di PhD non ho alcun risultato. Come se non bastasse nel laboratorio dove sto lavorando è "tradizione" (...non trovo nessuna parola migliore per definirla!) che tutti i PhD student lavorino almeno 4 anni sul proprio progetto. Perchè? Perchè dopo 4 anni è più probabile avere delle pubbicazioni. L'ansia di pubblicare è qualcosa di reale, che si respira in ogni momento. A Cambridge era un po' diverso. Alcuni miei amici là hanno preso il loro PhD senza pubblicare nulla, cosa che trovo quantomeno normale vista la percentuale di riuscita degli esperimenti. E' ovvio che se durante il tuo PhD hai dei risultati straordinari, è più facile trovare lavoro dopo e la tua tesi è decisamente migliore, ma onestamente non ho voglia di sprecare altri due anni della mia vita a spendere una barca di soldi per tentare di capire come funziona una proteina che nemmeno sono sicura che esista! Altri dodici mesi credo siano più che sufficienti...spero solo che il mio capo sia accondiscentente e mi firmi la tesi alla fine del 2011.
Ho cercato qualche grafico su internet riguardo all'incremento esponenziale dei dati biologici e delle pubblicazioni negli ultimi anni, giusto per avere un miglior feeling della febbre da pubblicazioni che si vive...
Corollario 3: Maggiore è il numero e minore è la selezione delle interazioni investigate, meno è probabile che le scoperte scientifiche siano vere.
Corollario 4: Maggiore è la flessibilità nel design, nelle definizioni, nei risultati e nei metodi analitici di un campo scientifico, meno è probabile che le scoperte scientifiche siano vere.
Corollario 5: Maggiori sono gli interessi economici e non e i pregiudizi in un campo scientifico, meno è probabile che le scoperte scientifiche siano vere.
Corollario 6: Più un campo scientifico è attivo (con più equipe scientifiche coinvolte), meno è probabile che le scoperte scientifiche siano vere.
"Tradizionalmente, i ricercatori hanno guardato con eccitazione a grandi effetti altamente significativi, come ad un segno di importanti scoperte. Nella maggior parte delle moderne aree di ricerca, quando gli effetti sono grandi e altamente significativi è in realtà più probabile che siano segno di grandi bias. Questo dovrebbe indurre i ricercatori a pensare in modo critico e attento a cosa può essere andato storto coi loro dati, con le loro analisi e con i loro risultati"
Il peer-reviewing è un meccanismo abbastanza semplice per decidere se dei dati vengono pubblicati o meno da un giornale. Tu scrivi l'articolo, lo mandi ad un giornale e loro lo spediscono ad un esperto del settore che decide se i tuoi dati sono pubblicabili. L'articolo può essere rifiutato, accettato solo se verranno fatti esperimenti aggiuntivi oppure accettato direttamente. Io spero e voglio pensare che se ci sono dei bias a livello di peer-reviewing non sia fatto intenzionalmente, ma non mi sorprendono le forti dichiarazioni dell'articolo.
Per quanto riguarda le affermazioni sui progetti di ricerca che servono a dare qualificazioni accademiche agli studenti e alla quantità di stronzate che ci sono in letteratura, sono totalmente d'accordo. Attualmente ho la sensazione di lavorare ad un progetto su una proteina fantasma, e dopo due anni comincio a pensare che non esista. Ovviamente non ne sono sicura perchè "personaggi illustri hanno dimostrato la sua esistenza", da qui tutti i dubbi sulla mia validità scientfica. Fatto sta che all'inizio del terzo anno di PhD non ho alcun risultato. Come se non bastasse nel laboratorio dove sto lavorando è "tradizione" (...non trovo nessuna parola migliore per definirla!) che tutti i PhD student lavorino almeno 4 anni sul proprio progetto. Perchè? Perchè dopo 4 anni è più probabile avere delle pubbicazioni. L'ansia di pubblicare è qualcosa di reale, che si respira in ogni momento. A Cambridge era un po' diverso. Alcuni miei amici là hanno preso il loro PhD senza pubblicare nulla, cosa che trovo quantomeno normale vista la percentuale di riuscita degli esperimenti. E' ovvio che se durante il tuo PhD hai dei risultati straordinari, è più facile trovare lavoro dopo e la tua tesi è decisamente migliore, ma onestamente non ho voglia di sprecare altri due anni della mia vita a spendere una barca di soldi per tentare di capire come funziona una proteina che nemmeno sono sicura che esista! Altri dodici mesi credo siano più che sufficienti...spero solo che il mio capo sia accondiscentente e mi firmi la tesi alla fine del 2011.
Ho cercato qualche grafico su internet riguardo all'incremento esponenziale dei dati biologici e delle pubblicazioni negli ultimi anni, giusto per avere un miglior feeling della febbre da pubblicazioni che si vive...
...e sarei veramente curiosa di sapere che faccia ha la curva delle pubblicazioni se gurdiamo il numero di articoli per anno dal 2005 ad oggi!! 300 mi sembrno così pochi...
Vorrei concludere con i sei corollari pubblicati nell'articolo e un'apologia dello spirito critico:
Corollario 1: Più gli studi condotti in un campo di ricerca sono piccoli, meno è probabile che le scoperte scientifiche siano vere.
Corollario 2: Più piccolo è l'effetto che si cerca di investigare in un campo scientifico, meno è probabile che le scoperte scientifiche siano vere.
Corollario 3: Maggiore è il numero e minore è la selezione delle interazioni investigate, meno è probabile che le scoperte scientifiche siano vere.
Corollario 4: Maggiore è la flessibilità nel design, nelle definizioni, nei risultati e nei metodi analitici di un campo scientifico, meno è probabile che le scoperte scientifiche siano vere.
Corollario 5: Maggiori sono gli interessi economici e non e i pregiudizi in un campo scientifico, meno è probabile che le scoperte scientifiche siano vere.
Corollario 6: Più un campo scientifico è attivo (con più equipe scientifiche coinvolte), meno è probabile che le scoperte scientifiche siano vere.
"Tradizionalmente, i ricercatori hanno guardato con eccitazione a grandi effetti altamente significativi, come ad un segno di importanti scoperte. Nella maggior parte delle moderne aree di ricerca, quando gli effetti sono grandi e altamente significativi è in realtà più probabile che siano segno di grandi bias. Questo dovrebbe indurre i ricercatori a pensare in modo critico e attento a cosa può essere andato storto coi loro dati, con le loro analisi e con i loro risultati"
No comments:
Post a Comment