I numeri
Tra il 2018 e il 2022 sono state fatte diverse ricerche sul tasso di successo o fallimento di progetti di advanced analytics e AI. Tutti concordano nel dire che solo il 20-30% di questi progetti si rivelano in grado di portare benefici ed essere scalato.
Ma come mai?
Le ragioni non sono sempre intuitive, ma si possono identificare alcuni temi comuni. Vediamo quindi di esplorarli, cercando di capire come essere preparati e gestire al meglio le sfide che si potrebbero presentare.
Cadere in corsa o saltare l’ostacolo
Tech driven o business driven?
Vogliamo fare l’AI! Cosa potremmo sviluppare con l’AI?
Soluzioni che si basano solo sull’adozione della tecnologia nascono zoppe: non hanno visione rispetto all’impatto e non nascono per risolvere un problema o cogliere un’opportunità.
Questo tipo di soluzioni magari vengono portate avanti con slancio e motivazione nel progetto pilota, ma poi si arenano.
Per quanto d’ispirazione, i progetti che servono solo a testare una tecnologia sono destinati a naufragare.
Invece che concentrarsi sulla tecnologia, è necessario focalizzare i colli di bottiglia, le criticità di processo, o gli spunti di miglioramento.
Vale anche dirsi: voglio vedere se posso adottare l’AI, l’importante è non fermarsi lì! Bisogna fare il passo successivo di capire dove l’AI potrebbe essere un differenziale per avere un vantaggio competitivo.
A partire da questo, si progetta una soluzione che può garantire il raggiungimento dell’obiettivo.
Garbage in, garbage out
Spesso, identificato l’obiettivo, si esplorano i dati disponibili, e -sorpresa!- si scopre che:
- non ci sono
- ci sono ma solo martedì e giovedì
- dovrebbero esserci ma solo l’IT sa dove sono, ed è preso da altre 1200 cose più urgenti
- ci sono ma sono su 7 sistemi diversi e 4 di questi non dispongono del download automatico
- vengono registrati a mano da Francesco su una tabella excel stampata (Francesco uno di noi)
Sembra scontato, ma la disponibilità dei dati – non solo quelli di processo, ma anche quelli ambientali, di qualità, di manutenzione, di controllo…- è la base per lo sviluppo di sistemi di advanced analytics e AI.
I dati devono essere disponibili su tabelle o cose simili, con uno storico sufficiente (dai 3 ai 15 mesi a seconda delle applicazioni).
Se i dati non sono disponibili, è buona cosa prevedere un investimento per l’installazione di sensoristica, anche in questo caso inserito in un progetto che mira a migliorare un indicatore di business specifico.
Ah, ma questo sensore serviva?
L’approccio tipico dei data scientist è ‘butta tutto dentro e vediamo cosa succede‘. Il problema in industria è che ogni vettore dato è un sensore in campo, da manutenere e gestire. Insomma, un costo.
Se il modello è stato costruito con 273 vettori dato, necessiterà in ogni momento di tutti e 273 sensori funzionanti.
E se uno si rompe? O se è starato? E se magari è installato in un posto in cui per manutenerlo bisogna fermare l’impianto?
Eh, semplice. Si butta il modello…
Per le soluzioni di AI industriale, la progettazione e la selezione dei dati deve essere fatta tenendo sempre a mente che meno è meglio.
E’ meglio avere un modello con una recall del 92% che utilizza 12 parametri, al posto di un modello con una recall del 98% che ne utilizza 87.
Speciale menzione va poi al mantra correlation is not causation. I dati devono essere selezionati perché rappresentano una causa-effetto, non solo perché possono aumentare la performance del modello.
Non avevo chiesto questo…
The day before – Bravo team, hai definito l’obiettivo, implementato il modello, messo online la soluzione, e domani è il giorno della consegna! Certo, siete tutti al corrente che il sistema non fa esattamente quello che ha chiesto il cliente. Invece di prevedere un guasto, intercetta anomalie generiche. Ma d’altronde non si può fare di più. Il cliente capirà, giusto?
The day after – Sbagliato… Dopo mesi in cui l’hype si è alzato vertiginosamente ma il team ha preferito non condividere nulla, alla fine gli sviluppi hanno preso una tangente e le aspettative un’altra, per cui la consegna è stata un disastro e la soluzione deve essere riprogettata o rottamata.
Spesso le aspettative nelle soluzioni di AI industriale sono altissime – anche a fronte di dati non proprio brillanti. La cosa migliore è verificare in anticipo fino a dove ci si può aspettare di arrivare, e non promettere nulla di più.
Inoltre, in fase di sviluppo è buona norma coinvolgere il team di dominio. Uno – per verificare ipotesi e avanzamento lavori, due – per allineare le aspettative con quello che si sta costruendo per davvero.
In questo modo, si fa un po’ di sana formazione sull’AI, e si facilita adozione e miglioramento continuo, oltre che aiutare la buona riuscita del progetto.
AI, quanto mi costi
Return Of Investement, questo sconosciuto. E’ molto difficile calcolare il ritorno di investimento di una soluzione di AI industriale – moooooolto, fidatevi.
In compenso, calcolare il costo della soluzione e della sua manutenzione è più facile. E spesso i numeri che escono spaventano anche il più impavido investitore.
Infatti, moltissime opportunità sbiadiscono prima ancora di vedere la luce, perché non si riesce a comprendere il beneficio effettivo, in termini di guadagni, ma anche di costi evitati.
Per definire una stima chiara del ROI, sono necessari molti dati. Per esempio, ore dedicate alle attività che l’AI supporterà e automatizzerà in parte, oppure percentuale di miglioramento atteso di uno specifico indicatore. Esempi? Numero di guasti bloccanti, affidabilità o disponibilità di impianto, numero di asset mappati per giorno e così via.
Focalizzando questi possibili benefici diretti e indiretti, è più facile contestualizzare l’investimento. Poi, certo, partire da cose piccine aiuta! Un progetto pilota di poche decine di migliaia di euro sull’asset giusto può rendere molto più facile confermare il potenziale dell’AI per valorizzare i dati.
L’AI che non è immortale
Progetto finito, modello online, tutto sembra funzionare correttamente. Dopo qualche mese però il modello inizia a fare cilecca, fa previsioni sbagliate e fa perdere tempo alle persone in campo.
Allora qualcuno, un po’ piccato, chiede lumi al team che ha sviluppato la soluzione, e – surpresa – viene fuori che il modello deve essere manutenuto. COSA?
Manutenere il modello – ovvero riallenarlo, aggiornarlo, controllarlo nel tempo – è un costo che non sempre si considera. E se salta fuori dopo potrebbe essere difficile da spiegare (e farsi approvare!).
E quindi, niente, bella sperimentazione ma tutto sommato potrebbe non valerne la pena.
Sembra un controsenso, masoffermandosi a ragionare c’è una logica: qualsiasi cosa che crea valore all’azienda – definizione di asset – deve essere manutenuto per garantirne la performance nel tempo. Qualsiasi software deve essere compilato e controllato perché possa fare quello per cui è stato selezionato. Qualsiasi macchina deve essere pulita di tanto in tanto.
Perchè per l’AI – che è figa perchè può continuare ad imparare da nuovi dati – non dovrebbe valere lo stesso?
L’importante è cercare di chiarire il più possibile quanto costa mantenere la soluzione una volta online prima che venga sviluppata, e selezionare soluzioni che rendano semplice la gestione del ciclo vita dei modelli data-driven (si chiama mlops).
E quindi?
In sintesi, perché un progetto di AI abbia successo serve una congiunzione astrale tale per cui ogni step vada al suo posto.
Per garantire che i pianeti si allineino come si deve, è necessario stare attenti a questi sei aspetti:
- Progettare la soluzione perché risolva un problema, non per lo sfizio di fare l’AI
- Verificare che ci siano i dati giusti, e che siano di qualità
- Costruire la soluzione in modo che usi solo i dati necessari, perché ogni dato è un costo (lì dietro c’è un sensore!)
- Allineare le aspettative e coinvolgere il team di dominio nello sviluppo
- Identificare i benefici diretti e indiretti e valutare se ne vale la pena
- Tenere in considerazione che i modelli diventano un asset intangibile, per cui sono da prevedere costi per la gestione del ciclo vita del modello
E’ una buona cosa inoltre appoggiarsi ad una suite tecnologica (piattaforma infrastruttura, altro) che vi supporti nella gestione dei dati e dei modelli.
Pronti a partire con il prossimo progetto? 😉
