Se un anno fa parlavamo di come i chip di Nvidia o le TPU di Google fossero il “cervello” della rivoluzione tecnologica, oggi ci rendiamo conto che un cervello senza memoria non può pensare.
L’Intelligenza Artificiale è passata dall’essere una promessa di futuro ad una realtà integrata nelle aziende, ma ha rivelato un collo di bottiglia critico: la crisi della memoria ad alta banda (HBM).
L’enorme volume di dati richiesto dall’IA generativa sta mettendo a dura prova la catena di approvvigionamento globale dell’hardware.
Il collo di bottiglia della memoria HBM e dei data center
- La fame di banda dei modelli LLM: Modelli con centinaia di miliardi di parametri richiedono che la memoria trasferisca dati ai chip di calcolo a velocità spaventose.
- Saturazione delle fabbriche di semiconduttori: La produzione mondiale di chip di memoria (HBM3e e HBM4) è già prenotata per anni dai grandi colossi dell’IA.
- Impatti su altri settori: La concentrazione delle risorse sull’IA sta aumentando i costi dell’hardware per la tecnologia di consumo, automobili ed elettronica di consumo.
Questa sfida costringe il settore a cercare modelli di IA più efficienti e nuove architetture di calcolo in grado di elaborare di più consumando meno risorse fisiche ed energetiche.
This post is also available in: