{"id":26111,"date":"2025-04-11T17:10:03","date_gmt":"2025-04-11T15:10:03","guid":{"rendered":"https:\/\/comunicagenia.com\/blog\/il-team-di-deepseek-risolve-un-problema-fondamentale-dellintelligenza-artificiale\/"},"modified":"2025-04-11T17:10:03","modified_gmt":"2025-04-11T15:10:03","slug":"il-team-di-deepseek-risolve-un-problema-fondamentale-dellintelligenza-artificiale","status":"publish","type":"post","link":"https:\/\/comunicagenia.com\/it\/blog\/il-team-di-deepseek-risolve-un-problema-fondamentale-dellintelligenza-artificiale\/","title":{"rendered":"Il team di Deepseek risolve un problema fondamentale dell’intelligenza artificiale"},"content":{"rendered":"

Man mano che i modelli linguistici crescono in complessit\u00e0 e vengono sempre pi\u00f9 utilizzati, aumenta anche la necessit\u00e0 di meccanismi che consentano a questi modelli di imparare a comportarsi in modi utili, sicuri ed eticamente allineati<\/strong>.<\/p>\n

\u00c8 in questo contesto che Deepseek, una giovane azienda cinese fondata nel 2023, ha compiuto un passo coraggioso e promettente con lo sviluppo di Deepseek-GRM-27B: un modello di ricompensa di prossima generazione<\/strong> che potrebbe ridefinire l’apprendimento per rinforzo nei sistemi di intelligenza artificiale.<\/p>\n

Questo articolo esplora in modo approfondito l’approccio innovativo di Deepseek, le sue tecniche chiave, nonch\u00e9 il suo potenziale impatto tecnico e strategico.<\/p>\n

Cosa sono i modelli di ricompensa e perch\u00e9 sono importanti?<\/h2>\n

Nel campo del apprendimento per rinforzo<\/strong> (RL), un modello di ricompensa \u00e8 la componente che determina quali azioni sono desiderabili per un agente AI.<\/p>\n

Questo agente interagisce con l\u2019ambiente, prende decisioni e, a seconda del modello di ricompensa, riceve segnali positivi (premi) o segnali negativi (punizioni), permettendogli di imparare a comportarsi in modo ottimale nel tempo.<\/p>\n

Ad esempio, un robot pu\u00f2 imparare a raccogliere oggetti con precisione ricevendo punti ogni volta che lo fa correttamente. Nelle applicazioni pi\u00f9 sofisticate, come gli assistenti conversazionali, i premi si basano su criteri quali utilit\u00e0, chiarezza o soddisfazione dell’utente<\/strong>.<\/p>\n

Il problema \u00e8 che le preferenze umane sono sottili, mutevoli e spesso soggettive<\/strong>. I metodi tradizionali, come l\u2019apprendimento per rinforzo con feedback umano (RLHF), tentano di catturare queste preferenze valutando manualmente le risposte.<\/p>\n

Sebbene questo sia stato utile (modelli come ChatGPT e Claude utilizzano RLHF), \u00e8 anche un processo costoso, lento e non scalabile.<\/p>\n

L’approccio dirompente di Deepseek<\/h2>\n

Deepseek propone una nuova architettura per i modelli di ricompensa che cerca di eliminare l’eccessivo affidamento alla supervisione umana<\/strong> senza sacrificare l’allineamento con i valori umani. Ci\u00f2 si ottiene grazie a tre pilastri tecnici chiave:<\/p>\n

Modellazione generativa della ricompensa (GRM)<\/h3>\n

GRM \u00e8 una tecnica mediante la quale il modello impara a generare i propri principi di feedback<\/strong>. Invece di fare affidamento esclusivamente su dati etichettati dall\u2019uomo, il modello pu\u00f2 analizzare diverse risposte a un compito e dedurre, da solo, quale \u00e8 pi\u00f9 appropriata.<\/p>\n

Ad esempio, se a un sistema viene chiesto di rispondere a una domanda medica, GRM pu\u00f2 generare diverse opzioni, valutarle internamente e determinare quale soddisfa meglio criteri quali chiarezza, accuratezza e utilit\u00e0. Pertanto, il modello agisce come giudice di se stesso, apprendendo in modo pi\u00f9 autonomo ed efficiente.<\/p>\n

Ottimizzazione critica auto-principata (SPCT)<\/h3>\n

L’SPCT integra il GRM con un meccanismo di autocritica. Ci\u00f2 consente al modello di adattare dinamicamente i propri principi di valutazione<\/strong>. Se le risposte valutate come \u201cbuone\u201d si rivelano nella pratica inadeguate, il modello rileva queste incoerenze e migliora i criteri di ricompensa.<\/p>\n

Ci\u00f2 non solo migliora l\u2019adattabilit\u00e0 del sistema a nuovi contesti, ma riduce anche la necessit\u00e0 di aggiustamenti manuali, ottenendo un sistema pi\u00f9 resiliente e scalabile.<\/p>\n

Ridimensionamento al momento dell’inferenza<\/h3>\n

Un\u2019innovazione meno comune ma molto significativa nella proposta di Deepseek \u00e8 l\u2019approccio di scala temporale dell\u2019inferenza di cui abbiamo parlato in precedenza in \u201cAdvance in AI: Un percorso sempre pi\u00f9 difficile e costoso?\u201d<\/p>\n

Invece di concentrare tutte le risorse computazionali durante la fase di addestramento, Deepseek propone di allocarle anche durante la fase di utilizzo (inferenza)<\/strong>.<\/p>\n

Ci\u00f2 consente al modello di generare risposte pi\u00f9 accurate e contestualizzate senza richiedere una riqualificazione. Questa tecnica \u00e8 particolarmente utile per attivit\u00e0 che richiedono adattabilit\u00e0 in tempo reale, come la moderazione dei contenuti o il supporto tecnico.<\/p>\n

Deepseek-GRM-27B: Risultati e prestazioni<\/h2>\n

Il modello Deepseek-GRM-27B, con 27 miliardi di parametri, rappresenta il culmine di queste innovazioni. Secondo il documento tecnico pubblicato su arXiv con il titolo \u201cInference-Time Scaling for Generalist Reward Modeling\u201d (arXiv:2504.02495), questo modello supera diversi concorrenti chiave.<\/p>\n

    \n
  • Nei test con decodifica greedy, ha ottenuto un punteggio di 69,9, superando il modello LLM-as-a-Judge (67,0).<\/li>\n<\/ul>\n
      \n
    • Nella votazione@32 con MetaRM, ha raggiunto 72,8, rispetto a 69,0 per Deepseek-PairRM-27B.<\/li>\n<\/ul>\n
        \n
      • Nei compiti di generalizzazione come RMB BoN, la differenza tra i diversi tipi di input era inferiore all’1%, dimostrando la sua versatilit\u00e0.<\/li>\n<\/ul>\n

        Inoltre, rispetto a modelli di alto livello come GPT-4o (versione 2024-08-06), Deepseek-GRM-27B ha mostrato una capacit\u00e0 leggermente superiore di trasferire i principi di ricompensa a nuovi compiti, il che lo posiziona come un modello altamente riutilizzabile e adattabile.<\/p>\n

        Una doppia strategia: Web, open source e community<\/h2>\n

        Deepseek non si concentra solo sull’innovazione tecnica, ma anche sull’accessibilit\u00e0 e sulla collaborazione.<\/p>\n

        L’azienda ha annunciato che le funzionalit\u00e0 GRM e SPCT verranno gradualmente integrate nella sua versione web, che consentir\u00e0 agli utenti e alle aziende di accedere a modelli di ricompensa avanzati<\/strong> senza richiedere la propria infrastruttura.<\/p>\n

        Inoltre, Deepseek prevede di rilasciare i componenti chiave del suo modello come open source<\/strong>. Questa decisione apre le porte a ricercatori, laboratori accademici e startup per studiare, modificare e sfruttare queste tecnologie nei propri progetti.<\/p>\n

        In un ambiente dominato da iniziative proprietarie di grandi aziende tecnologiche, questo impegno verso l\u2019open source rappresenta una boccata d\u2019aria fresca per la comunit\u00e0 scientifica.<\/p>\n

        Implicazioni per il futuro dell’IA<\/h2>\n

        Il lavoro di Deepseek non \u00e8 solo un progresso tecnico: \u00e8 una ridefinizione del modo in cui addestriamo e valutiamo i sistemi di intelligenza artificiale<\/strong>. Tra le sue implicazioni pi\u00f9 rilevanti ricordiamo:<\/p>\n

          \n
        • Riduzione della dipendenza umana:<\/strong> automatizzando il feedback, le risorse vengono liberate e viene facilitata la formazione di modelli pi\u00f9 ampi.<\/li>\n<\/ul>\n
            \n
          • Democratizzazione dell’accesso all’IA avanzata:<\/strong> Grazie al suo approccio open source e web, questi progressi saranno disponibili per attori al di fuori dei grandi centri di potere tecnologico.<\/li>\n<\/ul>\n
              \n
            • Maggiore sicurezza e allineamento:<\/strong> i modelli in grado di criticare e adattarsi riducono i rischi associati a pregiudizi, errori o comportamenti imprevisti.<\/li>\n<\/ul>\n
                \n
              • Accelerazione della ricerca scientifica:<\/strong> con sistemi pi\u00f9 allineati e adattabili, attivit\u00e0 come l’analisi dei dati o la formulazione di ipotesi potrebbero trarne notevoli vantaggi.<\/li>\n<\/ul>\n

                Grazie a tecniche come GRM, SPCT e al suo approccio innovativo all’inferenza, l’azienda non solo ha sovraperformato i suoi concorrenti nei benchmark, ma ha gettato le basi per un’intelligenza artificiale pi\u00f9 allineata, autonoma e accessibile.<\/p>\n

                Integrando queste funzionalit\u00e0 nella sua piattaforma web e scommettendo sull’open source, Deepseek non cerca solo di essere leader a livello tecnico<\/strong>, ma anche di promuovere una comunit\u00e0 globale pi\u00f9 collaborativa e inclusiva nello sviluppo dell’intelligenza artificiale.<\/p>\n","protected":false},"excerpt":{"rendered":"

                Man mano che i modelli linguistici crescono in complessit\u00e0 e vengono sempre pi\u00f9 utilizzati, aumenta anche la necessit\u00e0 di meccanismi che consentano a questi modelli di imparare a comportarsi in modi utili, sicuri ed eticamente allineati. \u00c8 in questo contesto che Deepseek, una giovane azienda cinese fondata nel 2023, ha compiuto un passo coraggioso e […]<\/p>\n","protected":false},"author":9,"featured_media":18235,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_uag_custom_page_level_css":"","_thinkrank_schema_form_data":"","_thinkrank_selected_schema_type":"","_thinkrank_additional_schemas":"","_thinkrank_canonical_url":"","_thinkrank_og_title":"","_thinkrank_og_description":"","_thinkrank_og_image":"","_thinkrank_twitter_title":"","_thinkrank_twitter_description":"","_thinkrank_twitter_image":"","_thinkrank_imported_from":"","_thinkrank_focus_keywords":[],"_thinkrank_focus_keyword":"","_thinkrank_robots_meta_enabled":0,"_thinkrank_robots_meta":"","_thinkrank_advanced_robots_meta":"","_thinkrank_exclude_from_search":0,"_thinkrank_exclude_from_archives":0,"_thinkrank_primary_category":0,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[716],"tags":[],"class_list":["post-26111","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-intelligenza-artificiale"],"uagb_featured_image_src":{"full":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2025\/04\/deepseek-resuelve-problema-fundamental-ia.jpg",1408,768,false],"thumbnail":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2025\/04\/deepseek-resuelve-problema-fundamental-ia-150x150.jpg",150,150,true],"medium":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2025\/04\/deepseek-resuelve-problema-fundamental-ia-300x164.jpg",300,164,true],"medium_large":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2025\/04\/deepseek-resuelve-problema-fundamental-ia-768x419.jpg",768,419,true],"large":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2025\/04\/deepseek-resuelve-problema-fundamental-ia-1024x559.jpg",1024,559,true],"1536x1536":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2025\/04\/deepseek-resuelve-problema-fundamental-ia.jpg",1408,768,false],"2048x2048":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2025\/04\/deepseek-resuelve-problema-fundamental-ia.jpg",1408,768,false]},"uagb_author_info":{"display_name":"marketing","author_link":"https:\/\/comunicagenia.com\/it\/blog\/author\/marketing\/"},"uagb_comment_info":0,"uagb_excerpt":"Man mano che i modelli linguistici crescono in complessit\u00e0 e vengono sempre pi\u00f9 utilizzati, aumenta anche la necessit\u00e0 di meccanismi che consentano a questi modelli di imparare a comportarsi in modi utili, sicuri ed eticamente allineati. \u00c8 in questo contesto che Deepseek, una giovane azienda cinese fondata nel 2023, ha compiuto un passo coraggioso e…","_links":{"self":[{"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/posts\/26111","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/comments?post=26111"}],"version-history":[{"count":0,"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/posts\/26111\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/media\/18235"}],"wp:attachment":[{"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/media?parent=26111"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/categories?post=26111"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/tags?post=26111"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}