L’anno scorso l’azienda cinese DeepSeek ha lanciato una versione del suo modello linguistico di grandi dimensioni.Credito: Koshiro K/Alamy
Un modello linguistico di grandi dimensioni costruito in Cina chiamato DeepSeek-R1 sta entusiasmando gli scienziati come rivale accessibile e aperto ai modelli di “ragionamento” come o1 di OpenAI.
Questi modelli generano risposte passo dopo passo, in un processo analogo al ragionamento umano. Ciò li rende più abili rispetto ai modelli linguistici precedenti nel risolvere problemi scientifici e potrebbe renderli utili nella ricerca. I test iniziali di R1, rilasciati il 20 gennaio, mostrano che le sue prestazioni in determinati compiti di chimica, matematica e programmazione sono alla pari con quelle di o1, cosa che ha entusiasmato i ricercatori quando è stata rilasciata da OpenAI a settembre.
“Questo è assurdo e totalmente inaspettato”, ha scritto su X Elvis Saravia, ricercatore di intelligenza artificiale e co-fondatore della società di consulenza sull’intelligenza artificiale DAIR.AI con sede nel Regno Unito.
R1 si distingue per un altro motivo. DeepSeek, la start-up di Hangzhou che ha creato il modello, lo ha rilasciato come “open-weight”, il che significa che i ricercatori possono studiare e sviluppare l’algoritmo. Pubblicato con licenza MIT, il modello può essere liberamente riutilizzato ma non è considerato completamente open source, perché i suoi dati di addestramento non sono stati resi disponibili.
“L’apertura di DeepSeek è davvero notevole”, afferma Mario Krenn, leader dell’Artificial Scientist Lab presso l’Istituto Max Planck per la scienza della luce a Erlangen, in Germania. In confronto, o1 e altri modelli costruiti da OpenAI a San Francisco, California, incluso il suo ultimo lavoro o3, sono “essenzialmente scatole nere”, dice.
Le allucinazioni dell’intelligenza artificiale non possono essere fermate, ma queste tecniche possono limitarne i danni
DeepSeek non ha reso noto il costo completo della formazione R1, ma addebita agli utenti circa un trentesimo del costo di esecuzione di o1. L’azienda ha anche creato mini versioni “distillate” di R1 per consentire ai ricercatori con una potenza di calcolo limitata di giocare con il modello. Un “esperimento costato più di 300 sterline con o1, costa meno di 10 dollari con R1”, afferma Krenn. “Si tratta di una differenza drammatica che avrà sicuramente un ruolo nella sua futura adozione”.
Modelli di sfida
R1 fa parte di un boom dei modelli linguistici cinesi di grandi dimensioni (LLM). Nato da un hedge fund, DeepSeek è emerso da una relativa oscurità il mese scorso quando ha rilasciato un chatbot chiamato V3, che ha sovraperformato i principali rivali, nonostante fosse costruito con un budget ridotto. Gli esperti stimano che il noleggio dell’hardware necessario per addestrare il modello sia costato circa 6 milioni di dollari, rispetto ai 60 milioni di dollari per il Llama 3.1 405B di Meta, che utilizzava 11 volte le risorse di calcolo.
Parte del buzz attorno a DeepSeek è che è riuscito a creare R1 nonostante i controlli sulle esportazioni statunitensi che limitano l’accesso delle aziende cinesi ai migliori chip per computer progettati per l’elaborazione dell’intelligenza artificiale. “Il fatto che provenga dalla Cina dimostra che l’efficienza con le proprie risorse conta più della semplice scala di calcolo”, afferma François Chollet, ricercatore di intelligenza artificiale a Seattle, Washington.
I progressi di DeepSeek suggeriscono che “il vantaggio percepito (gli) Stati Uniti una volta si è ridotto in modo significativo”, ha scritto su X Alvin Wang Graylin, un esperto di tecnologia a Bellevue, Washington, che lavora presso l’azienda di tecnologia immersiva HTC con sede a Taiwan. i paesi devono perseguire un approccio collaborativo per costruire un’intelligenza artificiale avanzata invece di continuare con l’attuale approccio della corsa agli armamenti senza vittorie”.
Catena di pensieri
Gli LLM si addestrano su miliardi di campioni di testo, suddividendoli in parti di parole chiamate “token” e apprendendo modelli nei dati. Queste associazioni consentono al modello di prevedere i token successivi in una frase. Ma gli LLM sono inclini a inventare fatti, un fenomeno chiamato “allucinazione”, e spesso hanno difficoltà a ragionare sui problemi.
