Human in the Loop: come l’uomo e l’AI collaborano

AI andn human

L’AI ci ruberà il lavoro!

Un’AI in attesa di fare il colloquio per rubarti il lavoro.

Siamo nel 2023, subito dopo il lancio di ChatGPT, e questa è la frase che sentiamo ripetere più spesso. La realtà però è un po’ diversa. Questo post non vuole esplorare le implicazioni etiche e operative dell’AI generativa, ma si vuole concentrare sulle modalità con cui l’AI diventerà – e sta già diventando – parte delle procedure operative in industria.

Collaborazione uomo-macchina: nuove potenzialità della fabbrica

Non è certo la prima volta che l’uomo e la macchina si trovano a collaborare: la rivoluzione industriale, con Ford prima e le linee automatiche poi, ha lastricato la strada ad un approccio integrato.

I went through this Ford engine plant about three years ago, when they first opened it. There are acres and acres of machines, and here and there you will find a worker standing at a master switchboard, just watching, green and yellow lights blinking off and on, which tell the worker what is happening in the machine.

Walter Reuters, 1956

Nel 1956 e fino ad oggi i robot e gli umani si affiancano nelle attività operative, ma i macchinari non sono studiati per garantire sicurezza e libertà di movimento alle persone – per quello ci sono procedure di sicurezza, barriere e DPI.

Cobots

L’introduzione delle macchine AI driven amplia le possibilità per questa collaborazione e cambia un po’ il panorama. Esiste tutto un ramo di macchinari 4.0, chiamati Cobots (Collaborative Robots), progettati per facilitare l’interazione tra macchine automatiche e operatori o operatrici specializzate. Questi, che sono bracci meccanizzati a sei assi, integrano una serie di sensori e sistemi per lavorare con le persone in sicurezza e senza barriere, per una collaborazione completa.

L’obiettivo di questi macchinari è unire le capacità di automazione, precisione e velocità delle macchine con la competenza di dominio, la flessibilità e la creatività tipiche dell’essere umano.

Rispetto ad un robot normale, i cobots sono più facili da installare e da spostare, efficienti anche sulle piccole quantità e programmabili da tablet o direttamente insegnando al macchinario il movimento che deve eseguire in modo che possa replicarlo.

I cobot sono molto utili per un upgrade di processo.

Ma se volessimo integrare le competenze dei nostri tecnici di manutenzione?

Approccio Human in the Loop: gli utenti che fanno i dati

Esiste un approccio utile per l’allenamento continuo dei modelli di machine learning, che coinvolge le persone nel processo grazie ad un modo semplice di interagire con le previsioni del modello. Questo approccio in industria potrebbe essere rischioso se si vuole applicare ai sistemi di controllo di processo, ma è perfetto per le applicazioni di manutenzione predittiva e di anomaly detection.

Nel settore della ricerca si utilizza la definizione di human in the loop per un numero molto ampio di situazioni – segnalo questa review di 50 pagine pubblicata nel 2022 per chi ha voglia di approfondire.

Noi, per semplicità, ci riferiremo all’approccio human in the loop nella sua accezione di Interactive Machine Learning, quando il modello fa delle previsioni e chiede all’esperto un parere.

Human‑in‑the‑loop machine learning: a state of the art

Questo approccio è utile in fase di training, anche se non è strettamente necessario in quanto i data scientist sono ancora in prima linea e possono etichettare il dataset a piacere.

Diventa però fondamentale durante l’industrializzazione, quando il modello viene liberato e, libero, fa le sue predizioni. Li infatti non ci sono più i data scientist ma gli esperti di dominio che si interfacciano con lui. In questa fase è importante avere un’interfaccia di feedback user friendly. In italiano, avere uno spazio in cui gli utenti possono rispondere alle previsioni del modello senza impazzire a cliccare su mille bottoncini diversi.

Vediamo due casi applicati a manutenzione predittiva e anomaly detection in cui la strategia human in the loop è molto utile, e qualche suggerimento per progettare l’interfaccia user friendly di cui sopra.

HitL per il retraining dei modelli

Abbiamo un modello di manutenzione predittiva che prevede lo stato della macchina e il modo di guasto, però nel dataset di allenamento avevamo un numero limitato di guasti da cui il modello ha potuto apprendere. Perciò, il modello è bravo, ma non bravissimo. In esecuzione, potrebbe avere una recall media su ogni modo di guasto del 78%.

Come utilizziamo l’approccio di interactive ML, o human in the loop nella nostra accezione semplificata, per riallenare il modello e fare sì che diventi più preciso?

L’interazione uomo-modello alla base del riallenamento

Semplice, diamo la possibilità all’utente di fare 4 cose:

  1. Confermare la predizione del modello quando effettivamente si riscontra il modo di guasto segnalato
  2. Correggere la previsione del modello nel caso in cui ci sia stata una segnalazione ma non sia stata riscontrato il modo di guasto segnalato
  3. Rigettare la previsione del modello quando c’è una previsione di modo di guasto, ma non si riscontra alcuna anomalia
  4. Integrare con un modo di guasto intercettato nel caso in cui il modello non lo abbia riconsociuto.
Approccio di interactive learning (semplicisticamente – Human in the loop) in cui l’AI fa una previsione, il tecnico la verifica, e il feedback è registrato per un futuro riallenamento.

Visto che i modelli di manutenzione predittiva hanno un orizzonte di previsione più o meno ampio, è buona cosa attendere che sia passato il tempo giusto prima di dire al modello che non ci ha azzeccato.

Un’altra attenzione è sulla possibilità del modello di riallenarsi in modalità continual learning: visto che cerchiamo di intercettare la condizione di preguasto, ma il feedback registra solo l’istante del guasto, serve comunque la supervisione di un data scientist in fase di aggiornamento.

HitL per l’upscaling dei modelli

Immaginiamoci ora un modello di anomaly detection, allenato per riconsocere anomalie generiche senza alcuna indicazione sull’effettivo modo di guasto.

Se in fase di industrializzaizone si prevede un’interfaccia in grado non solo di abilitare le quattro attività viste prima, ma anche la registrazione del modo di guasto specifico (o del ricambio utilizzato!), è possibile creare una colonna nuova del dataset con tutti i modi di guasto che prima non avevamo. Da qui, è facile allenare un modello più performante che è in grado di prevedere lo specifico modo di guasto e non solo l’anomalia.

Come non perdersi il team tecnico nel processo

Tra il dire e il fare c’è di mezzo il team tecnico che giustamente ha altre priorità per la testa rispetto all’educare uno stupido modello.

Perciò, è molto consigliato evitare di sovraccaricarlo con troppe informazioni o fargli perdere troppo tempo nell’interazione con il suddetto stupido modello.

Ecco quindi qualche suggerimento per fare sì che i tecnici possano dedicare il tempo giusto al feedback senza percepirlo come una perdita di tempo.

  • Progettate il modello in modo che non generi troppi falsi positivi, o segnalazioni troppo in anticipo rispetto al sintomo verificabile del guasto o dell’anomalia
  • Accorpate gli allarmi in una segnalazione unica: i modelli continueranno a produrre etichette di guasto o anomalia in modo continuo, è buona cosa predisporre un sistema esperto che accorpi le segnalazioni vicine.
  • Chiedete un feedback al giorno, per i sistemi che hanno tempi di evoluzione die guasti più lunghi di 3 o 4 giorni.
  • Predisponete un’interfaccia in cui registrare il feedback semplice e chiara, che in uno o due click registri l’indicazione
Midjourney progetta interfacce user friendly. Con montagne e manopole sopra.

Progettare la procedura di human in the loop in modo snello facilita l’adozione dei sistemi di AI, per cui non sottovalutate questo step!

Una piccolo passo per l’uomo, un grande passo per l’umanità

In sintesi: i robot sono tra noi, e possiamo insegnare loro a fare delle cose o predire meglio grazie alla nostra competenza di domnio. L’AI rende possibile (e anche abbastanza facile) questo trapaso nozioni, se è prevista un’interfaccia uomo-macchina alla portata dei tecnici.