Um sistema autónomo que não consegue explicar as suas decisões representa um risco, especialmente em indústrias regulamentadas. Se um modelo coloca um lote em quarentena ou encerra uma investigação, as pessoas devem ser capazes de compreender o motivo. Devem poder questionar o raciocínio e reverter a ação, se necessário.
Uma boa governança define o que a IA pode fazer de forma autónoma, o que requer aprovação e o que nunca deve fazer. Abrange ainda a validação de modelos antes da sua utilização, a monitorização de desvios de desempenho e um registo de auditoria claro de cada ação automatizada. Estes controlos alinham-se com o pensamento baseado no risco, presente em normas internacionais amplamente utilizadas de gestão da qualidade e de IA.
Conceito-Chave
A autonomia confiável requer fronteiras de decisão claramente definidas, resultados explicáveis, modelos validados e um registo completo de cada ação automatizada.
Exemplo Prático
O sistema pode colocar automaticamente um lote suspeito em espera, mas a liberação ou o descarte desse lote requer sempre a aprovação de um engenheiro de qualidade qualificado, que possa consultar as evidências de suporte do modelo.
Procedimento Padrão
- 1Classificar as decisões em automáticas, sujeitas a aprovação e proibidas.
- 2Validar cada modelo com base em resultados históricos conhecidos antes da implementação.
- 3Registar cada ação automatizada com os seus dados de entrada e raciocínio.
- 4Monitorizar regularmente a precisão do modelo para deteção de desvios.
- 5Rever e atualizar as fronteiras em intervalos planeados.
Resumo da Lição
- ✓A autonomia deve ter limites explícitos definidos por pessoas.
- ✓A explicabilidade e os registos de auditoria tornam as decisões de IA defensáveis.
- ✓Os modelos necessitam de monitorização contínua, pois a sua precisão pode degradar-se.