Immagina di voler assumere un copywriter per la tua agenzia di marketing. Hai due opzioni: il Candidato A, che ha un titolo accademico impeccabile ed ha preso un 10 in tutti i suoi esami teorici, e il Candidato B, che forse non ha così tanti diplomi, ma ha vinto gli ultimi dieci tornei di scrittura creativa davanti a un pubblico reale. Chi sceglieresti?
Nel mondo dell’Intelligenza Artificiale, ci sta succedendo qualcosa di simile. Per anni, ci hanno bombardato con sigle come MMLU o GPQA, esami statici in cui i modelli di IA prendono voti eccellenti.
Ma, per chi lavora nel “fango” del marketing quotidiano, quei voti ci dicono poco sul fatto che quell’IA ci aiuterà a scrivere un’e-mail che converta o a progettare una campagna brillante.
È qui che entrano gli “Hunger Games dell’IA”. Dimentica gli esami noiosi; ciò che oggi comanda è il rating ELO.
L’origine: Dalla scacchiera al tuo schermo
Il sistema ELO non è nato in un laboratorio della Silicon Valley. È stato creato negli anni ’60 da Arpad Elo, un fisico e maestro di scacchi che cercava un modo più giusto per misurare l’abilità relativa dei giocatori. Invece di dare un punteggio fisso, l’ELO è dinamico: i punti si vincono o si perdono “rubandoli” all’avversario dopo ogni partita.
Se un giocatore con molto rating perde contro un novizio, il sistema gli toglie moltissimi punti perché il risultato è stato una sorpresa. Se il favorito vince, sale appena, perché era ciò che ci si aspettava.
È una scala che non si satura mai e che ti dice sempre chi è il migliore in relazione agli altri in quel preciso momento.
Come funziona l’ “Arena” delle IA?
Sicuramente avrai sentito parlare di GPT-4o, Claude o Gemini. Ma come sappiamo qual è davvero il migliore per un utente comune? La risposta sta in piattaforme come la Chatbot Arena (LMSYS).
Immagina un colosseo digitale. Tu, come utente, lanci una domanda o un compito (un “prompt”). Due modelli di IA anonimi (chiamiamoli Modello A e Modello B) generano una risposta nello stesso momento. Tu le leggi e voti per quella che ti piace di più, senza sapere qual è l’una e qual è l’altra.
È un blind test di gusto, ma con algoritmi. Dopo migliaia di queste “battaglie”, si calcola un ranking ELO che riflette le preferenze reali degli umani. È una metrica “viva” che cattura ciò che gli esami statici ignorano: l’utilità reale, il tono e la capacità di connettersi con ciò che chiediamo.
Perché questo è oro colato per il Marketing
Se sei un CMO, un copywriter o uno stratega digitale, l’ELO dovrebbe essere la tua bussola per diverse ragioni di peso:
- È a prova di “trucchi”: Gli esami tradizionali (benchmark statici) sono facili da “addestrare” specificamente per essere superati, proprio come uno studente che memorizza le risposte di un esame degli anni precedenti. L’ELO è imprevedibile perché dipende da ciò che gli utenti reali chiedono ogni giorno.
- Riflette la “vibe” del contenuto: Nel marketing, non cerchiamo solo che l’informazione sia corretta; cerchiamo che suoni bene. L’ELO pondera quella soddisfazione umana che nessuna formula matematica può misurare da sola.
- Ti aiuta ad ottimizzare i costi: Per molti compiti di marketing, un modello più economico ma con un ELO competitivo può darti risultati quasi identici a quelli del leader di mercato.
L’ELO nel quotidiano delle aziende
Non credere che questo sia solo per i nerd della tecnologia. Aziende come Gong utilizzano già il sistema ELO in modo interno.
Invece di un ranking generale, usano l’ELO per misurare compiti specifici, come riassumere una chiamata di vendita o analizzare il sentiment di un cliente. Mettono a competere diversi modelli sui propri dati e rilasciano solo quello che vince la “battaglia” di efficienza.
Questo è il futuro del marketing operativo: non scegliere un’IA perché è la più famosa, ma perché ha dimostrato di essere la migliore sul ring della tua specifica esigenza.
Non tutto è perfetto: Le crepe del colosseo
Come in qualsiasi competizione, ci sono sfumature. L’ELO nell’IA ha i suoi limiti che dobbiamo conoscere:
- Il rumore dei giudici: Noi umani siamo soggettivi. A volte votiamo per la risposta che sembra più educata o che ha un formato più bello, anche se il contenuto è meno preciso.
- Non serve per tutto: Se hai bisogno di un’IA per programmare codice complesso o risolvere problemi matematici puri, l’ELO basato sui voti degli utenti può essere volatile. Lì è meglio fidarsi di metriche di verifica diretta, come i tassi di successo nell’esecuzione del codice.
- La trappola della novità: Il sistema presuppone che le abilità dei competitor siano stabili, ma l’IA si evolve ogni settimana. Un modello che oggi è il re dell’arena può rimanere obsoleto in un mese se non viene aggiornato il suo addestramento.
Chi vincerà la battaglia finale?
La differenza di qualità tra le IA più potenti è sempre minore, il che ci obbliga ad essere molto più selettivi. Il rating ELO ci toglie la benda del marketing delle grandi Big Tech e ci mostra chi sta davvero rendendo sotto pressione.
Per la vostra prossima campagna o per scegliere lo strumento che automatizzerà i vostri report, non guardate solo il nome dell’azienda che c’è dietro. Andate nell’ “Arena”, guardate i ranking ELO e scegliete il gladiatore che sa connettersi meglio con ciò di cui i vostri clienti hanno bisogno.
Alla fine, in questa competizione, i veri vincitori siamo noi: gli utenti che hanno a disposizione strumenti sempre più affinati e allineati con ciò che riteniamo di valore.
This post is also available in: