Cos’è un modello di AI?

Internet, i software e tutte queste cose digitali e meravigliose hanno quel non so ché di etereo, non fisico, impalpabile. Mandare una mail, fare una ricerca su internet, chiedere a ChatGPT di scriverci un pezzo di codice. Facile, veloce, senza alzarsi dalla sedia o staccarsi dal PC. Non ci sono operazioni fisiche, e in mano non ci rimane nulla.

Quindi, spesso ci dimentichiamo che dietro a tutta l’infrastruttura software e all’intelligenza artificiale esiste l’involucro fisico, che manda segnali, consuma acqua ed energia, ed è costruito con materiali più o meno rari.

Cos’è – materialmente – un sistema di AI? Gli algoritmi di AI sono dei file più o meno ingombranti che contengono i parametri del modello – ovvero tutti i numeri che il modello utilizza per interpretare i suoi input e trasformarli in un output. Per le reti neurali si parla di weights, pesi, organizzati in strutture matematiche simili a matrici.

I modelli semplici che ad esempio implementiamo per prevedere i guasti a partire dai dati industriali possono contenere dalle migliaia alle centinaia di migliaia di parametri, occupando qualche centinaio di kB o qualche MB sul disco. I modelli di intelligenza artificiale generativa possono arrivare a contenere triliardi di parametri, le versioni più ‘leggere’ ne contengono qualche miliardo e pesano Gb o TB.

Questo file viene aperto tutte le volte che si fa una previsione – inference – e per essere costruito ogni singolo parametro deve essere ottimizzato a partire da tonnellate di informazioni. Quella cosa dell’apprendimento, insomma. E dove vive questo modello? Beh, come ogni file, la dove è stato salvato. Che sia il vostro PC o un data centre in mezzo al nulla.

Più è ingombrante il modello, più potente dovrà essere il computer che lo ospita, con processori in grado di gestire sia l’allenamento che l’inferenza, e sistemi di memoria a breve e lungo termine in grado di processare quantità di dati sempre più ampie. Come il nostro PC, anche questi computer soffrono il caldo (oltre a scaldare molto!) per cui devono essere tenuti al fresco con sistemi di climatizzazione carrozzati. Questi computer girano nei centre o in luoghi simili, che quindi consumano un sacco di elettricità per tenere accesi hardware che ospitano il software e sistema di climatizzazione, e acqua.

Diamo i numeri

Avete presente quando il vostro genitore vi urlava dall’altra stanza Spegni le luci quando esci! ? O il suggerimento sulle scatole di dentifricio di chiudere l’acqua mentre ci si lava i denti per risparmiare acqua? Ecco, tenete a mente l’urgenza delle luci tenute accese quando non servono o dell’acqua aperta quando si può chiudere, che ci sarà utile.

La bolletta della luce

Ogni volta che facciamo una ricerca su Google, il consumo stimato di energia elettrica è di circa 0.3 Wh. Per consumare quanto una lampadina a LED (5W) accesa per un’ora, ci servono circa 15 ricerche. Fatta quella ricerca, probabilmente ne farò tra le tre e le sette in modo da raccogliere tutti i dettagli che servono. Quindi per affinare la ricerca, ho dimenticato accesa la lampada della cucina per poco meno di un’ora.

Se però facciamo la stessa domanda a ChatGPT nella versione GPT-4, consumerà da 1 a 10 Wh. Con una sola ricerca, consumiamo come una o due lampadine a LED accese per un’ora. Fatta quella domanda, probabilmente ne farò altre 5 o 10 per affinare la mia ricerca, e magari continuerò a fare domande e ricevere risposte man mano che emergono dettagli interessanti. Quindi per fare la stessa ricerca su ChatGPT, ho dimenticato accese le luci di un trilocale intero, per più di un’ora. Con buona pace delle mamme e dei papà preoccupati per la bolletta.

In base ai calcoli di Sajjad Moazeni, professore del dipartimento di elettronica della Washington University, considerando il numero di query quotidiane su ChatGPT nell’agosto del 2023, già allora il sistema di OpenAI consumava l’equivalente dell’energia consumata quotidianamente da 33.000 famiglie americane (le stime americane sono sempre un po’ americanocentriche). In termini energetici, questo equivale a 1 GWh al giorno.

Non solo. Tutti i sistemi di AI devono essere allenati. Più parametri ha il modello, più intensivo e lungo sarà l’allenamento. Secondo una stima dello stesso professore, per allenare GPT-3 è probabile che OpenAI abbia speso in bollette elettriche la stessa cifra totale spesa in un intero anno da 1000 famiglie, ovvero 10 GWh. Non male.

Modelli assetati

I sistemi di intelligenza artificiale generativa e la ricerca nel campo dell’AI non consumano solo elettricità. Microsoft nel suo Environmental Sustainability Report del 2022 ha registrato un aumento nei consumi di acqua da 4.7 milioni di metri cubi nel 2021 a 6.4 milioni di metri cubi nel 2022. La stessa quantità di acqua che passa sotto al ponte Vittorio Emanuele di Torino in un’ora abbondante. Secondo Shaolei Ren, ricercatore alla University of California, questo aumento del 36% è principalmente dovuto ai consumi dei data centre in cui si allenano e utilizzano i modelli oggetto di ricerca dal team di AI. In base agli studi pubblicati in un suo recente paper, il trend di consumi legato all’allenamento e utilizzo dei modelli di AI generativa porterà nel 2027 a consumi d’acqua quattro volte superiori a quelli dell’intera Danimarca, tra i 4.2 e i 6.6 miliardi di metri cubi l’anno.

L’AI consuma sempre uguale?

Il consumo di acqua ed elettricità è strettamente legato alle operazioni che fa un computer in fase di training e allenamento. E purtroppo il numero di operazioni per l’allenamento aumenta esponenzialmente con il numero di parametri. Per ogni nuovo peso, le operazioni di ottimizzazione in modalità backpropagation si moltiplicano. Il consumo di energia necessario per allenare una rete aumenta linearmente con il numero di operazioni, per cui una piccola rete ci metterà poca energia, una rete media ci metterà moltissima energia per essere allenata.

In aprile è stato pubblicato un paper in cui si introduce una nuova architettura, chiamata Kolmogorov-Arnold Networks che promette di rendere più efficienti e accurate le reti rispetto alla classica architettura MLP.

Inoltre, alcune architetture come le reti MoE (Mixture-of-Experts) rendono possibile diminuire i parametri combinando sezioni densamente connesse e specializzate in specifici task, senza collegare direttamente tutte le sezioni con parametri fitti.

In ogni caso, il training e in alcuni casi anche l’inferenza necessitano di molta energia per operare.

Cosa comporta?

Quando si parla del rischio dell’AI nell’amplificare problemi già esistenti come stereotipi e pregiudizi, si tende a concentrarsi sull’aspetto più legato all’interazione tra AI e uomo, a come l’AI si affiancherà (o sostituirà!) l’essere umano, e come ci dobbiamo attrezzare per orientare questi sviluppi su un binario etico. Benanti ha introdotto il concetto di algoretica per descrivere questo processo.

Tuttavia, ci dimentichiamo che prima ancora dell’impatto sulle nostre vite, l’AI sta già avendo un impatto a livello di sostenibilità: energia e acqua consumate dai data centre, dell’entità di città o nazioni. Consumi di cui però facciamo fatica a renderci conto perché non sono la luce del corridoio dimenticata accesa o l’acqua del rubinetto aperta.

Cosa possiamo fare?

Nel settore ci si sta interrogando su come minimizzare l’impatto energetico dell’AI. I sistemi di intelligenza artificiale ci stanno cambiando la vita, probabilmente in meglio, tuttavia è giusto ragionare su come diminuirne l’impronta carbonica. L’anno passato, IBM ha annunciato di aver creato un chip che emula il cervello umano e sembra avere un’efficienza migliore. Secondo un paper pubblicato in Nature Electronics questa tipologia di chip può gestire task di natural language processing con un’efficienza energetica fino a 14 volte più alta.

Nel frattempo, Google e Microsoft si sono impegnati per diminuire il loro impatto entro il 2030. Google ha promesso di rendere carbon-free tutti i suoi data centres, mentre Microsoft vuole rendere il suo indicatore di consumo idrico negativo, rifornendo un volume maggiore di acqua di quello consumato nei suoi interventi globali nelle aree a rischio siccità.

L’utilizzo del sistemi di AI rende i sistemi industriali e che consumano energia più efficienti, e può rendere realtà tecnologie ad oggi ancora tecnicamente difficili da rendere scalabili, come la fusione nucleare. E quindi, qual è il bilancio? Per ora, non ci sono fonti certe (potrei impegnarmi moltissimo e scriverci un articolo!). Nel frattempo, però, è giusto farsi le domande giuste e darsi delle linee guida. Ho provato a identificarne alcuni da tenere a mente mentre cerchiamo di capire l’impatto reale dell’AI nel mondo ed ecosistema che viviamo.

Nella vita quotidiana:

• Utilizzare i tool di AI generativa in modo responsabile. Nello stesso modo in cui tutti i giorni dobbiamo chiederci se è meglio l’auto, la bici o il treno per fare quella tratta, così dobbiamo allenarci ad avere la stessa sensibilità nei confronti dei tool AI.

Nella vita professionale:

• Chiedersi se ci sono alternative non basati su servizi di AI generativa per il task che stiamo per fare: un modello più piccolo è mooooolto meno impattante rispetto ad un modello più grande.
• Iniziare a dimensionare l’impatto dell’utilizzo dei tool di AI laddove è possibile, in modo da avere indicatori legati anche a quell’aspetto
• Provare a includere l’impatto dei sistemi di AI nell’analisi costo-beneficio, soprattutto quando si vuole usare LLM.
• Selezionare il modello privilegiando l’obiettivo e non la tecnologia. Non sempre il modello più grande è il migliore per quel task specifico (magari delta efficienza non ripaga delta impatto)