Un système autonome incapable d'expliquer ses décisions est une responsabilité, en particulier dans les secteurs réglementés. Si un modèle met un lot en quarantaine ou clôt une enquête, les personnes doivent pouvoir en comprendre la ranormen. Elles doivent pouvoir contester le ranormennement et annuler l'action si nécessaire.
Une bonne gouvernance définit ce que l'IA peut faire de manière autonome, ce qui nécessite une approbation, et ce qu'elle ne doit jamais faire. Elle couvre également la validation des modèles avant leur utilisation, la surveillance des dérives de performance et un historique complet de chaque action automatisée. Ces contrôles s'alignent sur la pensée basée sur les risques présente dans les normes internationales largement utilisées en matière de qualité et de gestion de l'IA.
Procédure standard
- 1Classer les décisions en trois catégories : automatique, nécessitant une approbation et interdite.
- 2Valider chaque modèle par rapport à des résultats historiques connus avant son déploiement.
- 3Enregistrer chaque action automatisée avec ses entrées et son ranormennement.
- 4Surveiller régulièrement la précision du modèle pour détecter les dérives.
- 5Revoir et mettre à jour les limites à intervalles planifiés.
Résumé de la leçon
- ✓L'autonomie doit avoir des limites explicites définies par les personnes.
- ✓L'explicabilité et les historiques d'audit rendent les décisions de l'IA défendables.
- ✓Les modèles nécessitent une surveillance continue, car leur précision peut se dégrader.