Paper deluge nella robotica: cause, limiti degli LLM e riforme

La crescita delle pubblicazioni scientifiche è diventata un problema pratico per chi lavora in robotica. Il fenomeno è noto come paper deluge: una quantità di articoli così grande che è difficile leggerli e giudicarli tutti. Alcuni ricercatori hanno provato a leggere un intero sottocampo in un anno, e alcuni esperti ne hanno discusso in un panel pubblico. Ne escono numeri, limiti degli strumenti di intelligenza artificiale e proposte per cambiare la visibilità della ricerca.

Come il paper deluge si traduce in lavoro non letto

Nel 2024, IEEE ha pubblicato 46.968 articoli etichettati “robotics” o “automation”, un numero riferito dai ricercatori che hanno misurato la crescita, che rappresenta solo una parte della letteratura totale. I partecipanti a uno studio focalizzato su learning from demonstration hanno cercato di rendere pratico il problema: hanno individuato 347 articoli pertinenti pubblicati nel 2024 e li hanno letti con occhio umano. Solo 69, cioè il 20% dei 347, sono stati giudicati davvero notevoli, una soglia che indica quanto sia raro che un lavoro sposti davvero la conoscenza consolidata.

La difficoltà pratica è chiara per chi deve decidere dove investire tempo o soldi. I ricercatori hanno osservato che alcuni articoli presentano cambi di etichetta senza avanzare sostanzialmente. I ricercatori hanno anche osservato che metriche come download o citazioni non corrispondono sempre al valore reale. Un altro dato che pesa sull’organizzazione del lavoro è la velocità di pubblicazione. I membri del panel riferiscono che le sottomissioni sono cresciute tra il 2023 e il 2024. Le sottomissioni sono aumentate del 26% nel 2023 e del 31% nel 2024, e il tempo tra sottomissione e pubblicazione si è ridotto del 50%. La velocità di pubblicazione è aumentata mentre il tempo per leggere è diminuito.

“Notability should be judged against the state of the art, not against the newest vocabulary”, hanno riassunto i relatori, richiamando l’attenzione su etichette che mascherano contributi marginali.

LLM e automazione delle revisioni: cosa possono e cosa non possono fare

Gli strumenti automatici, e in particolare i grandi modelli linguistici, promettono di ridurre il carico meccanico del lavoro di lettura. Nel progetto di lettura su learning from demonstration, gli autori hanno usato script e LLM per estrarre dati quantitativi e generare riassunti rapidi. Gli LLM sono utili per sintetizzare testi e compilare tabelle di riferimento, dicono i ricercatori, perché trasformano settimane di lavoro in ore per compiti ripetitivi come trovare riferimenti o creare mappe concettuali.

Ma il vantaggio tecnico ha limiti concreti. Nadia Figueroa e colleghi hanno evidenziato tre tipi di errore degli LLM: primo, citazioni false; secondo, riferimento reale ma descrizione sbagliata del contenuto; terzo, somiglianze inventate tra lavori diversi. Il rischio non è solo un riferimento sbagliato: è la creazione di una finta comprensione che può spingere chi legge a fidarsi di confronti errati. In altre parole, un sommario automatico può presentare un campo come più coerente e avanzato di quanto sia realmente.

Gli esperti hanno avvertito che il pericolo non è la velocità degli LLM, ma l’outsourcing del giudizio critico.

Incentivi, visibilità e possibili riforme per il paper deluge

Il panel ha discusso anche le cause strutturali del deluge. Greg Dudek ha sottolineato il fenomeno della “salami slicing”: dividere un lavoro ampio in fette piccole per ottenere più articoli. Questo avviene perché studenti e ricercatori hanno bisogno di pubblicazioni per lauree e carriere. Il sistema premia quantità più che integrazione delle idee, hanno detto i relatori, e questo aumenta il rumore nella letteratura.

Per mettere ordine, sono state proposte misure pratiche. Una proposta è sviluppare un motore di ricerca che valorizzi il parere delle riviste e delle conferenze. I lavori valutati in sede di peer review emergeranno più facilmente rispetto ai preprint non revisionati. Un’altra idea è introdurre modelli di pubblicazione che separino tipi diversi di contributo: ricerca fondamentale, sistemi applicativi, dataset, prove sperimentali. Renaud Detry ha spiegato che riconoscere il tipo di lavoro aiuta a valutare meglio il contributo e a evitare confronti inappropriati tra cose diverse. Diversificare le vie di pubblicazione aiuta a leggere meglio la letteratura.

Infine, è emersa una proposta radicale: pubblicare prima su archivi aperti e usare una valutazione pubblica, con identità verificate, per assegnare visibilità e validazione. Shigeki Sugano ha detto che in quel modello i giornali non decidono cosa esiste, ma certificano qualità. I relatori hanno però avvertito dei rischi. Popolarità e gioco di prestigio possono distorcere l’attenzione, e una piattaforma senza filtri potrebbe essere affollata da contenuti di bassa qualità.

La domanda aperta è se la robotica, che richiede integrazione tra percezione, controllo, manipolazione, apprendimento e sicurezza, possa resistere a una specializzazione estrema. Se la crescita delle pubblicazioni proseguirà ai ritmi osservati, gli esperti stimano circa 70.000 articoli contenenti la parola “robotics” nel 2025. I ricercatori troveranno sempre più difficile mantenere una visione d’insieme. Scegliere cosa leggere diventerà una decisione strategica, non solo tecnica.

Fonti:

• Surviving the paper deluge: a one-year study in learning from… | robohub.org
• Surviving the paper deluge: Notes from an ICRA panel on publishing… | robohub.org