Man mano che i modelli linguistici crescono in complessità e vengono sempre più utilizzati, aumenta anche la necessità di meccanismi che consentano a questi modelli di imparare a comportarsi in modi utili, sicuri ed eticamente allineati.
È in questo contesto che Deepseek, una giovane azienda cinese fondata nel 2023, ha compiuto un passo coraggioso e promettente con lo sviluppo di Deepseek-GRM-27B: un modello di ricompensa di prossima generazione che potrebbe ridefinire l’apprendimento per rinforzo nei sistemi di intelligenza artificiale.
Questo articolo esplora in modo approfondito l’approccio innovativo di Deepseek, le sue tecniche chiave, nonché il suo potenziale impatto tecnico e strategico.
Cosa sono i modelli di ricompensa e perché sono importanti?
Nel campo del apprendimento per rinforzo (RL), un modello di ricompensa è la componente che determina quali azioni sono desiderabili per un agente AI.
Questo agente interagisce con l’ambiente, prende decisioni e, a seconda del modello di ricompensa, riceve segnali positivi (premi) o segnali negativi (punizioni), permettendogli di imparare a comportarsi in modo ottimale nel tempo.
Ad esempio, un robot può imparare a raccogliere oggetti con precisione ricevendo punti ogni volta che lo fa correttamente. Nelle applicazioni più sofisticate, come gli assistenti conversazionali, i premi si basano su criteri quali utilità, chiarezza o soddisfazione dell’utente.
Il problema è che le preferenze umane sono sottili, mutevoli e spesso soggettive. I metodi tradizionali, come l’apprendimento per rinforzo con feedback umano (RLHF), tentano di catturare queste preferenze valutando manualmente le risposte.
Sebbene questo sia stato utile (modelli come ChatGPT e Claude utilizzano RLHF), è anche un processo costoso, lento e non scalabile.
L’approccio dirompente di Deepseek
Deepseek propone una nuova architettura per i modelli di ricompensa che cerca di eliminare l’eccessivo affidamento alla supervisione umana senza sacrificare l’allineamento con i valori umani. Ciò si ottiene grazie a tre pilastri tecnici chiave:
Modellazione generativa della ricompensa (GRM)
GRM è una tecnica mediante la quale il modello impara a generare i propri principi di feedback. Invece di fare affidamento esclusivamente su dati etichettati dall’uomo, il modello può analizzare diverse risposte a un compito e dedurre, da solo, quale è più appropriata.
Ad esempio, se a un sistema viene chiesto di rispondere a una domanda medica, GRM può generare diverse opzioni, valutarle internamente e determinare quale soddisfa meglio criteri quali chiarezza, accuratezza e utilità. Pertanto, il modello agisce come giudice di se stesso, apprendendo in modo più autonomo ed efficiente.
Ottimizzazione critica auto-principata (SPCT)
L’SPCT integra il GRM con un meccanismo di autocritica. Ciò consente al modello di adattare dinamicamente i propri principi di valutazione. Se le risposte valutate come “buone” si rivelano nella pratica inadeguate, il modello rileva queste incoerenze e migliora i criteri di ricompensa.
Ciò non solo migliora l’adattabilità del sistema a nuovi contesti, ma riduce anche la necessità di aggiustamenti manuali, ottenendo un sistema più resiliente e scalabile.
Ridimensionamento al momento dell’inferenza
Un’innovazione meno comune ma molto significativa nella proposta di Deepseek è l’approccio di scala temporale dell’inferenza di cui abbiamo parlato in precedenza in “Advance in AI: Un percorso sempre più difficile e costoso?”
Invece di concentrare tutte le risorse computazionali durante la fase di addestramento, Deepseek propone di allocarle anche durante la fase di utilizzo (inferenza).
Ciò consente al modello di generare risposte più accurate e contestualizzate senza richiedere una riqualificazione. Questa tecnica è particolarmente utile per attività che richiedono adattabilità in tempo reale, come la moderazione dei contenuti o il supporto tecnico.
Deepseek-GRM-27B: Risultati e prestazioni
Il modello Deepseek-GRM-27B, con 27 miliardi di parametri, rappresenta il culmine di queste innovazioni. Secondo il documento tecnico pubblicato su arXiv con il titolo “Inference-Time Scaling for Generalist Reward Modeling” (arXiv:2504.02495), questo modello supera diversi concorrenti chiave.
- Nei test con decodifica greedy, ha ottenuto un punteggio di 69,9, superando il modello LLM-as-a-Judge (67,0).
- Nella votazione@32 con MetaRM, ha raggiunto 72,8, rispetto a 69,0 per Deepseek-PairRM-27B.
- Nei compiti di generalizzazione come RMB BoN, la differenza tra i diversi tipi di input era inferiore all’1%, dimostrando la sua versatilità.
Inoltre, rispetto a modelli di alto livello come GPT-4o (versione 2024-08-06), Deepseek-GRM-27B ha mostrato una capacità leggermente superiore di trasferire i principi di ricompensa a nuovi compiti, il che lo posiziona come un modello altamente riutilizzabile e adattabile.
Una doppia strategia: Web, open source e community
Deepseek non si concentra solo sull’innovazione tecnica, ma anche sull’accessibilità e sulla collaborazione.
L’azienda ha annunciato che le funzionalità GRM e SPCT verranno gradualmente integrate nella sua versione web, che consentirà agli utenti e alle aziende di accedere a modelli di ricompensa avanzati senza richiedere la propria infrastruttura.
Inoltre, Deepseek prevede di rilasciare i componenti chiave del suo modello come open source. Questa decisione apre le porte a ricercatori, laboratori accademici e startup per studiare, modificare e sfruttare queste tecnologie nei propri progetti.
In un ambiente dominato da iniziative proprietarie di grandi aziende tecnologiche, questo impegno verso l’open source rappresenta una boccata d’aria fresca per la comunità scientifica.
Implicazioni per il futuro dell’IA
Il lavoro di Deepseek non è solo un progresso tecnico: è una ridefinizione del modo in cui addestriamo e valutiamo i sistemi di intelligenza artificiale. Tra le sue implicazioni più rilevanti ricordiamo:
- Riduzione della dipendenza umana: automatizzando il feedback, le risorse vengono liberate e viene facilitata la formazione di modelli più ampi.
- Democratizzazione dell’accesso all’IA avanzata: Grazie al suo approccio open source e web, questi progressi saranno disponibili per attori al di fuori dei grandi centri di potere tecnologico.
- Maggiore sicurezza e allineamento: i modelli in grado di criticare e adattarsi riducono i rischi associati a pregiudizi, errori o comportamenti imprevisti.
- Accelerazione della ricerca scientifica: con sistemi più allineati e adattabili, attività come l’analisi dei dati o la formulazione di ipotesi potrebbero trarne notevoli vantaggi.
Grazie a tecniche come GRM, SPCT e al suo approccio innovativo all’inferenza, l’azienda non solo ha sovraperformato i suoi concorrenti nei benchmark, ma ha gettato le basi per un’intelligenza artificiale più allineata, autonoma e accessibile.
Integrando queste funzionalità nella sua piattaforma web e scommettendo sull’open source, Deepseek non cerca solo di essere leader a livello tecnico, ma anche di promuovere una comunità globale più collaborativa e inclusiva nello sviluppo dell’intelligenza artificiale.
This post is also available in: