Un sistema autonomo che non è in grado di spiegare le proprie decisioni rappresenta un rischio, soprattutto nei settori regolamentati. Se un modello mette in quarantena un lotto o chiude un'indagine, le persone devono poter comprendere il motivo. Devono essere in grado di contestare il ragionamento e annullare l'azione, se necessario.
Una buona governance definisce ciò che l'IA può fare autonomamente, ciò che richiede approvazione e ciò che non deve mai fare. Include inoltre la validazione dei modelli prima dell'uso, il monitoraggio per il rilevamento di derive nelle prestazioni e una chiara traccia di audit di ogni azione automatizzata. Questi controlli si allineano con il pensiero basato sul rischio presente negli standard internazionali di gestione della qualità e dell'IA ampiamente utilizzati.
Procedura Standard
- 1Classificare le decisioni in automatiche, soggette ad approvazione e proibite.
- 2Validare ogni modello rispetto a esiti storici noti prima della distribuzione.
- 3Registrare ogni azione automatizzata con i relativi input e ragionamenti.
- 4Monitorare regolarmente l'accuratezza del modello per rilevare derive.
- 5Rivedere e aggiornare i confini a intervalli pianificati.
Sintesi della Lezione
- ✓L'autonomia deve avere limiti espliciti stabiliti dalle persone.
- ✓La spiegabilità e le tracce di audit rendono difendibili le decisioni dell'IA.
- ✓I modelli necessitano di monitoraggio continuo poiché la loro accuratezza può degradarsi.