Posts contrassegnato dai tag ‘R&D’

1Life sciences and social sciences are producing an ever-increasing number of unreliable results, as suggested by the disturbingly low reproducibility of their published experiments.

The problem is as follows.

The possibility for third-party researchers to replicate a scientific study published by others, is one of the founding pillars of science. If you remove the replicability constraint, then no differentiation is possible between real science and fake science.

In some fields, such as epidemiology or large clinical trials or huge particle-accelerator physics experiments, it becomes foolishly impractical (e.g., expensive) to replicate experiments entirely. In these cases a lower-level control strategy is applied, called reproducibility: data sets and computer code, produced by and employed for conducting the experiment, are made available to others for verifying published results and carrying out alternative analyses.

About ten years ago, Stanford professor John Ioannidis noted that, increasingly, biomedical research experiments were becoming irreproducible (“Why most published research findings are false”, PLoS Medicine, 2005): if you studied a published experiment and set out to analyse its data, you would seldom come up with the same conclusions as the original authors.

This consciousness grew within the scientific community, with Ioannidis becoming one of the most quoted authors, until it made it to the New York Timesin 2014. From then on, the dirty little secret was no longer concealable.

Today, scientific repositories like Nature maintain lists of best practices and publish special issues on reproducible research.

The problem of social-science and life-science research (think of the grandiose studies to explore the effects of a new drug or medical procedure) having become largely irreproducible has been attributed to the combination of three causes.

One is the complexity of the experiments, often entailing the scrutiny of large samples of living individuals (humans or other animals), each representing in itself a complex organism. The second factor is the publish-or-peril atmosphere that dominates academia, infusing a sense of urgency in spreading results sometimes long before the author(s) herself is confident on their validity.

The third factor being blamed is what we could call the “data science myth”: the idea that as long as I have a huge set of useful data taken from the real world, someway or another I am bound to find a routine that will run over it and infer some logical result.

One example of such fallacy that has gained much attention of late is the abuse of p-values, a kind of inferential statistics from which researchers… infer much more than would be allowed by logic. As an example, p-value statistics can tell us if a drug does differentiate from placebo: however it does not tell us if the drug produces the intended effects, and more statistical tests are necessary to reach such conclusion. On the contrary, pharma studies often draw conclusions from the p-test only.

These distortions concern disciplines ranging from medicine to sociology, from economics to biology. In one semi-serious study aimed at debunking the mythology of p values, listening to music by the Beatles was found to make undergraduates younger; in another, eating chocolate helped people to lose weight. All supported by robust P values

This has become so serious that in 2016 the American Statistical Association has issued a warning, explaining why too often the P-value measurement strategy is abused.

However this is not going to be easy. People with mathematical-logic backgrounds who have happened to work side-by-side with colleagues from social or life sciences, have sometimes found certain inference subtleties to go unappreciated. In fact, statistics is one of mathematics’ most difficult domains, if not the toughest, and it often challenges hard-science folks too, not excluding mathematicians.

And there is more. «Decisions that are made earlier in data analysis have a much greater impact [than P value analysis] on results — from experimental design to batch effects, lack of adjustment for confounding factors, or simple measurement error. Arbitrary levels of statistical significance can be achieved by changing the ways in which data are cleaned, summarized or modeled». Or, to state it in one of my favorite mottos: If tortured long enough, data will confess anything…

This reproducibility crisis is a symptom of the data-science myth/abuse: the idea that we can automatically infer conclusions from data, which causes a declining attention on the mechanisms of logic.

Ultra-powerful Artificial Intelligence software contributes to consolidate such myth. DeepBlue showed long ago that it could take all the logical steps necessary to beating a Chess grandmaster. AlphaGo demonstrates intuition by inferring a good Go move from a pattern-matching exercise. Watson infers the meaning of a human phrase using more or less the same strategy…

The extensive and now irreplaceable use of computers in fields such as computational biology and many others, may fool even very skilled humans, such as researchers, into thinking that the answer is in the data, always. And, of course, it’s Big.

Annunci

patents Nel 2015, l’Ufficio Europeo dei Brevetti ha ricevuto 160mila richieste da parte di aziende e istituzioni di tutto il mondo, soprattutto statunitensi, tedesche, giapponesi, olandesi, e svizzere.

La Svizzera è, da qualche anno, il paese che deposita il maggior numero di brevetti in rapporto al numero di abitanti. Stiamo parlando di 873 domande di brevetto per ogni milione, contro la media di 132 negli altri paesi europei.

Perché?

Perché in Svizzera c’è un efficace tessuto di innovazione, ma soprattutto perché ci sono tantissime grandi imprese -molte ma molte di più che, per esempio, in Italia (anche in valore assoluto e non solo in rapporto agli abitanti). Nel 2015 la sola Roche ha depositato in Europa 644 domande di brevetto; 563 la ABB; 410 la Nestlé; 369 la Novartis.

Naturalmente le domande di brevetto si correlano con la vivacità della ricerca & sviluppo, anche se non ne esauriscono i vari aspetti. E le grandissime imprese di contenuto tecnologico fanno molta R&D: la fanno in proprio, la fanno assorbendo le start-up più promettenti, la fanno foraggiando i dipartimenti universitari.

Infatti, come abbiamo già notato, nei paesi avanzati sono soprattutto le imprese, e non gli Stati, a fare R&D.

 

average-industry-income-per-academic-by-country-030316-large

Ecco un’altra di quelle classifiche internazionali che non vedrete mai pubblicate sui media italiani, perché non parla male dell’Italia, mentre da noi vanno a ruba solo quelle che ci denigrano, foss’anche a sproposito.

Si tratta di una ricerca svolta da Times Higher Education per calcolare quanti fondi di provenienza privata abbiano raccolto nel 2013 le principali università mondiali.

Il valore complessivo di ogni istituzione accademica è stato poi diviso per il numero dei docenti, così da poter paragonare tra loro le varie università indipendentemente dalla loro dimensione.

Times Higher Education ha poi anche aggregato i dati per nazione: fondi di provenienza privata per docente nelle università del Paese a parità di potere d’acquisto, che è la Figura che vedete qui.

L’Italia si trova davanti a Finlandia, Austria, Uk, Francia, …

I dati mi quadrano pochissimo, come del resto quasi sempre in questi classificoni mondiali basati su questionari (come per esempio tutti gli University Rankings). Potrebbero essere afflitti da distorsioni dovute al numero dei dipendenti iscritti come docenti, oppure al calcolo della Purchasing power parity.

Comunque i giornalisti italiani, che sono incapaci di porsi questi dubbi metodologici e che infatti non se li pongono nel caso delle classifiche infauste, difficilmente daranno spazio a questa notizia, troppo italianofila per essere appetibile.

R&D PA

Un sacco di professoroni parlano della spesa in ricerca e sviluppo in questi giorni, e io in generale solidarizzo con loro perché vorrei che si facesse molta più R&D (e non solo in campo scientifico/tecnologico).

Però i professoroni, forse accecati dal tradizionale statalismo italico, potrebbero porgere meglio i loro argomenti, e comprendere più a fondo il problema, se si rendessero finalmente conto che nel mondo occidentale non è (purtroppo!) il Pubblico a fare più R&D: sono le imprese. Vedi grafica (dati 2013. Rosso+blu = 100. Fonti ISTAT – ONS – SCB – INSEE).

Quando vedete quelle liste in cui si evidenzia la spesa R&D in rapporto al PIL, e che i professoroni (e tutti i media insieme con loro) ricopiano acriticamente, i numeri vogliono dire “spesa in R&D del Governo, più spesa R&D delle Università, più spesa R&D del nonprofit, più spesa R&D delle aziende private = spesa R&D del Paese”. E la voce più pesante è sempre quella delle imprese.

In Italia ci sono poche grandi imprese, e il risultato è che da noi la PA gioca un ruolo maggiore che altrove.

E’ vero, peraltro, che la nostra PA sembra spendere poco rispetto al PIL: per esempio, il 30% in meno della Francia. Basterebbero 4 miliardi in più, e ci porteremmo al livello della Francia come spese PA. “Peccato”, tuttavia, che noi abbiamo la metà delle loro spese militari, le quali fanno molta R&D…

(Negli USA, la spesa R&D federale è pari allo 0,8% del PIL nel 2015, di cui il 50% in spesa R&D militare “esplicita”).

R&D chiacchierata

Pubblicato: 30 agosto 2014 da Paolo Magrassi in Uncategorized
Tag:, , , ,

Anche su Università e ricerca, in Italia solo discorsi di partigianeria, guelfi e ghibellini, in totale e rigoroso dispregio dei dati di fatto. Ne offro qui qualcuno utile, traendolo da un libro che scrissi nel 2011.

Se si sfoglia Measuring Innovation, A New Perspective (OECD, 2010), al paragrafo 5.1 “Reaping Returns From Innovation”, si trovano i tassi di partecipazione dei ricercatori dei vari Paesi ai 36mila papers più citati del periodo 2006-2008:

Usa 49%pic
GB 14%
Germania 12%
Francia 7%
Canada 7%
Cina 6%
Italia 5%
Olanda 5%
Giappone 5%
Australia 4%
[…]
India 2%
Brasile 1%
Russia 1%.

Per capirci, la classifica dice per esempio che in metà delle ricerche scientifiche più importanti compaiono ricercatori americani; italiani nel 5 percento; russi nell’1 percento. Eccetera.

Questi numeri sono sensibilmente influenzati (oltre che dalla lingua, che spiega il rango irrealisticamente basso di Russia e Giappone) dalle spese militari, che in R&D hanno un peso enorme e che in tutti i Paesi qui elencati tranne Olanda e Australia sono di almeno il 50% superiori alle nostre. Se, allora, dividiamo il numero di ricerche importanti per i quattrini profusi, scopriamo che gli italiani sono dietro, tra i grandi Paesi, solo a Gran Bretagna e Germania e davanti a Francia e Usa (mia elaborazione sulla medesima fonte).

Non siamo i migliori del mondo, come si legge a volte bizzarramente; dobbiamo rinnovare moltissimo del nostro sistema universitario, piagato da infrastrutture fatiscenti e da un corpo docente imboscato; dobbiamo far nascere più grandi aziende, che sappiano fare ricerca e innovazione. Ma non siamo neppure la feccia che si sente descrivere dagli sfascisti professionisti che cospicuamente abitano l’Italia.

 

 

Da un po’ di anni nutrivo tra me e me la sensazione che la ricerca scientifica medica procedesse un tantino alla carlona.

hd

Me lo suggerivano l’uragano di pubblicazioni fantasticamente superiore, nel numero, a tutte le altre discipline insieme, la frequenza e la portata dei capovolgimenti di fronte, l’occhiuto sostegno di Big Pharma, e la scarsa competenza con la quale sui journals medici si [mal]tratta la statistica. E non mi riferisco alle rivistacce per miserelli, ma anche ai più bei nomi.

Adesso, salta ufficialmente fuori che la maggioranza dei risultati scientifici in scienze della vita (non solo medicina) sarebbero irriproducibili, ossia trastulli onanistici non verificabili.

Speriamo che la notizia non trapeli oltre il circoletto degli aficionados (che però in Usa comprende adesso anche il NYT)! Se arrivasse da noi sui media, se ne servirebbero subito gli “stamina” e i Di Bella per avvalorare le loro pratiche scalcagnate.

Insisto nel ritenere che, per essere compresi, molti fenomeni socio-economici vadano collocati nella loro globalità, internazionalità, anziché solo esaminati con piglio provinciale.

Ad esempio, per quanto riguarda la ricerca (R&D), l’intero dibattito italiano si fonda sull’assunto granitico che in Italia se ne faccia poca e che ciò abbia un effetto deprimente sul Pil. Ora, a parte la dubbia liceità del sillogismo, della quale abbiamo già detto altrove, le cause della scarsa spesa R&D italiana (1,1% del Pil versus 2,7% in Usa, 1,9% in Francia e 1,7% Uk) non vengono mai esaminate e si dà per scontato che il Governo dovrebbe aprire il portafogli e distribuire miliardi ai Dipartimenti universitari (magari dimenticando che, un attimo prima, li si era definiti sgangherati e corrotti fino al midollo).

Eppure, è semplice. La spesa R&D italiana è molto più bassa che in quei paesi, perché (A) là ci sono molte grandi aziende e qui no; e (B) quelli sono paesi che devolvono alle spese militari risorse proporzionalmente maggiori.

A] Secondo le definizioni dell’UE (Enterprise and Industry, SBA Fact Sheets 2012), in Italia ci sono 2943 grandi imprese. In Uk 6132 e in Francia 4665 (lasciamo perdere, per pietà, gli Usa!). Ora, non solo le grandi imprese hanno la massa critica necessaria per condurre R&D  con collegamenti accademici e internazionali; ma, a differenza di quella di tante imprese medio-piccole, italiane e non, la loro spesa R&D non sfugge alla contabilità nazionale che porta alle statistiche che stiamo citando, e viene tutta registrata.

B] Secondo lo Stockholm International Peace Institute Yearbook 2013, l’Italia spende in spese militari l’1,7% del Pil; la Uk il 2,5% e la Francia il 2,3%. A giudicare dagli esiti, ossia dall’entità delle rispettive Forze armate e dalla quantità delle esportazioni, il peso dell’Italia ci appare addirittura sovrastimato in questi numeri: ma lasciamo perdere. Se Uk e F spendono il 40% in più di noi (e gli Usa il 259%), e se è vero com’è vero che il militare è il principale driver di R&D, le proporzioni sono chiare.

C’è, poi, il piagnisteo intorno ai giovani ricercatori che non trovano impiego.

Qui, occorre innanzitutto dire che l’Italia è un’odiosa gerontocrazia che penalizza proprio le persone più attive e produttive: in quasi tutte le discipline scientifiche, ma soprattutto in quelle hard, la produttività del giovane è fantasticamente più elevata di quella dell’anziano. E’ pertanto da considerarsi scellerata e masochistica la nostra pervicace propensione a coccolare ricercatori e dirigenti di ricerca anziani, ai danni di quelli giovani.

Però, al contempo, c’è anche il fenomeno globale da considerare. Senza vedere quello, non possiamo capire.

Ebbene, risulta che i ricercatori giovani sono in crisi occupazionale in quasi tutti i paesi occidentali. In Usa, il Bureau of Labor Statistics ha calcolato che a dicembre 2010 ben 360mila tra laureati e dottorati vivevano di assistenza sociale. Addirittura in Finlandia, insieme a Israele forse il paese più R&D-oriented del mondo, il problema della disoccupazione intellettuale di alto livello si è affacciato.

Ora: il sapere che un fenomeno si sta manifestando ovunque non ci rende più felici. Ma di sicuro potrebbe aiutarci a comprenderlo. O no?