ChatGPT come coautore di paper scientifici: si può fare?

  • Daniela Ovadia
  • Uniflash
L'accesso ai contenuti di questo sito è riservato agli operatori del settore sanitario italiano L'accesso ai contenuti di questo sito è riservato agli operatori del settore sanitario italiano

La notizia che alcuni scienziati hanno inserito OpenAI (il consorzio che ha sviluppato alcuni sistemi di intelligenza artificiale tra cui Chat GPT) tra gli autori di paper scientifici ha suscitato immediate reazioni sia da parte della comunità dei ricercatori sia da quella degli editori di riviste peer reviewed (1). In realtà Chat GPT non è la prima intelligenza artificiale (IA) a diventare co-autrice di un paper scientifico: già l’anno scorso è comparso su un sito di preprint un paper scritto anche dal bot GPT-3, un precursore del sistema che in queste settimane sta incuriosendo e preoccupando molti produttori di contenuti, dai giornalisti agli scienziati (2).

E non è nemmeno il più curioso tra gli autori, dato che la cronaca della produzione scientifica annovera tra i coautori di paper scientifici diversi animali e personaggi inventati dai nomi buffi o ironici, a partire da un caso iconico, quello del fisico americano William Hoover che inserì tra i coautori di alcuni suoi lavori il collega Stronzo Bestiale (espressione che Hoover aveva sentito per caso durante un suo viaggio in Italia) (3).

 

Le responsabilità dell’autore

Perché dunque tanta agitazione per quella che sembra una evoluzione in gran parte attesa della tecnologia? La risposta sta nella definizione di autore di un paper scientifico, frutto di anni di valutazioni nell’ambito dell’etica della ricerca scientifica e dei molti casi di frode scientifica, alcuni dei quali (quelli più eclatanti) basati su dati totalmente inventati (4). Le frodi scientifiche a volte sono state commesse solo da alcuni partecipanti alla ricerca ma la presenza di diversi autori ha reso complesso attribuire a ciascuno di essi una responsabilità precisa. Per questa ragione la norma oggi accettata è che tutti gli autori di un paper scientifico sono responsabili di ogni sua parte, e sono tenuti al controllo reciproco. Vi sono alcune eccezioni a questa regola (come i grandi consorzi che firmano i trial clinici con migliaia di nomi), mitigate dalla sempre più comune richiesta di specificare, in fondo a ciascun paper, quale è stato il contributo fattuale di ciascun autore, indipendentemente dalla sua posizione nella lista dei coautori.

 

I requisiti di authorship

Nella più recente versione delle linee guida che dal 1979 sono state aggiornate una ventina di volte, l’International Committee of Medical Journal Editors (ICMJE, Comitato internazionale degli editori di riviste mediche) raccomanda di basare le valutazioni in tema di authorship su quattro criteri. Per figurare tra gli autori, occorre:

  • aver dato un contribuito sostanziale alla concezione o al disegno del lavoro, oppure all’acquisizione, analisi o interpretazione dei dati;
  • aver abbozzato l’articolo o averlo rivisto criticamente, aggiungendo importanti contenuti intellettuali;
  • aver dato l’approvazione finale della versione da pubblicare;
  • aver accettato di essere chiamato a rispondere di tutti gli aspetti del lavoro, assicurando che le questioni relative all’accuratezza o all’integrità di ogni parte del lavoro siano adeguatamente indagate e risolte .

Sebbene si tratti di regole applicate soprattutto nel settore biomedico, sono state estese anche ad altre discipline attraverso istituzioni come il Committee on Publication Ethics (5).

 

Uno strumento da menzionare

Tornando a ChatGPT e ai sistemi generativi (in grado cioè di generare testi sulla base delle complesse leggi che governano il linguaggio naturale), il loro utilizzo appare in contrasto con la maggior parte delle regole che definiscono il diritto a chiamarsi autore, in primis quella di assumersi la responsabilità per i risultati ottenuti. Ed è questa la direzione che le varie companies editoriali stanno prendendo: dopo la presa di posizione di Nature, che ha deciso di non accettare l’IA come autore, anche altre riviste come JAMA hanno seguito la stessa strada (6).

Ciò non si significa che lo strumento non si possa utilizzare: è ammesso ma va menzionato come tale, nella sezione dedicata alle metodologie con cui si è condotto lo studio, come si fa per qualsiasi strumento.

I problemi non sono però terminati, in particolare in settori in cui l’accuratezza delle informazioni è cruciale.

“La comunità dell'editoria accademica ha subito segnalato preoccupazioni per il potenziale uso improprio di questi modelli linguistici nelle pubblicazioni scientifiche” scrivono gli autori dell’editoriale su JAMA. “Alcuni hanno fatto degli esperimenti ponendo a ChatGPT una serie di domande su argomenti controversi o importanti (per esempio, se le vaccinazioni infantili causano l'autismo), oltre a specifiche domande tecniche ed etiche legate alla pubblicazione. I risultati hanno mostrato che le risposte testuali di ChatGPT alle domande, pur essendo per lo più ben scritte, sono difficilmente distinguibili e non aggiornate, false o inventate, prive di riferimenti accurati o completi e, peggio ancora, con prove inventate e inesistenti a sostegno delle affermazioni fatte”.

Inoltre i testi generati affidandosi alle informazioni già pubblicate potrebbero rientrare nella definizione di plagio scientifico, anche se gli strumenti come Chat GPT sono in grado di ricreare il testo con una variabilità tale da non poter essere rilevati dai normali software antiplagio, ma solo da quelli che gli stessi creatori stanno mettendo a disposizione in questi giorni.

D’altronde “OpenAI riconosce alcuni limiti del modello linguistico, tra cui quello di fornire risposte plausibili ma errate o insensate, e che il recente rilascio fa parte di un'implementazione iterativa aperta destinata all'uso umano, all'interazione e al feedback per migliorarlo”. In sostanza, dicono gli esperti, il modello non è pronto per essere usato come fonte di informazioni affidabili in assenza di una accurata supervisione e revisione umana, per lo meno nel settore della medicina.

 

Problemi etici più ampi

Vi sono però altre questioni etiche sulle quali la comunità scientifica dovrà riflettere, dal momento che lo strumento non potrà che migliorare nel tempo. Per esempio uno strumento del genere potrebbe colmare il gap linguistico esistente tra gli scienziati di madrelingua inglese e tutti gli altri, facilitando la pubblicazione di ricerche condotte e scritte in altre lingue.

D’altro canto esiste un oggettivo problema di sovraproduzione di contenuti scientifici, tale da rendere quasi impossibile per un esperto seguire le evoluzioni del proprio settore disciplinare e non si vede perché la comunità degli scienziati dovrebbe promuovere uno strumento che aumenta la velocità e quantità dei paper, mentre potrebbe essere interessata se permettesse di fare una scienza di migliore qualità e di maggiore significatività statistica. Infine, il perfezionamento di questi strumenti potrebbe derubricare la capacità di scrivere un paper scientifico da requisito essenziale per fare scienza a competenza accessoria, esaltando le abilità di verifica dei dati e della struttura dei testi, al fine di mantenere integra la responsabilità umana su questi prodotti dell’intelletto.

Nel frattempo, tutti coloro che hanno in programma un articolo scritto con l’ausilio dell’intelligenza artificiale dovrebbero seguire le raccomandazioni che gli editori hanno condiviso in questi giorni:

  • le sezioni create con l’IA devono essere appropriatamente evidenziate e la metodologia usata per generarle deve essere spiegata nel paper stesso (includendo anche il nome e la versione del software utilizzato, nel nome della trasparenza);
  • la submission di paper interamente prodotti mediante IA, in particolare se si tratta di revisioni sistematiche della letteratura, è fortemente scoraggiata, anche per via della immaturità del sistema e della sua tendenza a perpetuare i bias statistici e di selezione presenti nelle istruzioni del creatore del sistema, a meno che non si tratti di studi indirizzati proprio a valutare l’affidabilità di tali sistemi (obiettivo che deve ovviamente essere esplicitato nell’articolo stesso);
  • la generazione di immagini e il loro utilizzo in paper scientifici è scoraggiata perché contraria alle norme di etica delle pubblicazioni scientifiche, a meno che tali immagini non siano esse stesse l’oggetto dell’indagine.