Por se tratar de assunto em processo de regulamentação1 mundo afora e por seu considerável poder disruptivo a curto prazo, o uso da Inteligência Artificial (I.A.) gera incertezas igualmente consideráveis quanto às suas consequências positivas e negativas nos objetivos das organizações e nas mudanças em probabilidades de ocorrência de riscos já existentes.
Associados a essas incertezas, o caráter emergente, o nível de imprevisibilidade associado, a complexidade e o ritmo dos avanços das tecnologias de I.A. dificultam a transparência e a compreensão dos produtos e serviços delas provenientes. Paralelamente, a sociedade convive com o temor de que as aplicações de I.A. possam colocar em risco a segurança e até mesmo a vida dos seres humanos (ex. serviços essenciais interrompidos, panes em equipamentos autônomos, direitos humanos transgredidos, danos ambientais, dentre outros).
Sem dúvida alguma, há uma combinação de fatores na acelerada e complexa dinâmica da I.A. que torna a identificação, a análise, a medição, o tratamento e o monitoramento de riscos a ela inerentes tarefas extremamente desafiadoras; contudo, não impraticáveis.
Longe de querer esgotar um assunto tão complexo, o nosso objetivo, neste momento, é tão somente o de auxiliar nossas EFPC no processo de identificação de eventuais riscos inerentes ao desenvolvimento, produção, implantação e/ou uso de produtos, sistemas e/ou serviços que aplicam I.A. em suas operações.
Nesse sentido, o passo inicial proposto é a sondagem da existência de processos organizacionais na EFPC que estejam, de fato, utilizando recursos de I.A. em suas execuções. Esta sondagem pode ser realizada por meio de entrevistas ou da aplicação de questionários específicos, como o apresentado ao final deste artigo.
A título de informação, seguem exemplos de usos de I.A., mas não limitados a:
- assistentes de voz, algoritmos de redes sociais, reconhecimento facial etc;
- aplicações para criação de textos, imagens, vídeos, áudios etc (I.A. Generativa);
- aplicações de localização (GPS);
- sistemas conversacionais para interação com clientes (chatbots baseados em I.A.);
- algoritmos de organização de dados, reconhecimento de padrões e auto aprendizagem (Machine Learning); e
- equipamentos autônomos (veículos, drones etc).
Não é esperado, pelo menos no atual estágio, que o Sistema Fechado de Previdência Complementar se revele desenvolvedor e/ou utilizador em larga escala de produtos e serviços de I.A. Portanto, se o resultado da sondagem em sua EFPC demostrar que não há uso de Inteligência Artificial, por enquanto é “vida que segue”.
Mas uma vez constatada sua utilização é recomendável avaliar as seguintes situações, potenciais fontes de riscos, não limitadas a:
- Envolvimento das partes relacionadas
Ferramentas como I.A. Generativa e chatbots baseados em I.A. podem produzir impactos para partes interessadas, tais como colaboradores, participantes, patrocinadores, órgão regulador etc. É importante que as EFPC busquem o diálogo com seus diversos públicos envolvidos – interno e externo –, tanto para consultar e comunicar, quanto para incorporar feedback e promover conscientização. A negligência com relação a esse tipo de envolvimento pode trazer riscos de imagem e riscos legais. Convém que a gestão compreenda como as ferramentas de I.A. em uso se interagem com os padrões sociais das partes e quais seriam osimpactos no tocante a privacidade, liberdade de expressão, justiça, segurança, emprego, meio ambiente e direitos humanos em geral.
- Supervisão humana assegurando a conformidade
A supervisão humana é indispensável em processos de I.A. dada a necessidade de assegurar a integridade dos das operações. A esse respeito, deve-se assegurar: (a) validação dos sistemas de I.A. em uso, antes de levá-los a público; (b) testes sobre as bases de dados que alimentam os sistemas de I.A.; (c) revisão periódica de comandos; (d) monitoramento de respostas produzidas pela I.A.; e (e) obtenção e atuação com base em feekbacks das partes relacionadas, como forma de evitar respostas inconsistentes, injustas ou com vieses indesejáveis no atendimento ao público interno ou externo. A esse respeito, cabe a abertura de um parêntese importante. O que pode ser coletado, armazenado e processado deve estar supervisionado, dado que o uso de dados não autorizado ou indevidamente divulgado pode trazer efeitos altamente negativos para seus titulares e para a EFPC. A negligência com relação a esse processo pode trazer riscos operacionais, riscos de imagem e riscos legais. Convém que o uso da I.A. esteja formalmente descrito nos processos organizacionais para assegurar a verificação de conformidade em questão.
- Responsabilização
A utilização de I.A. pode alterar as práticas de responsabilização existentes na organização. Processos que antes eram executados por pessoas, às quais passavam a ser responsabilizadas pelas suas ações, agora passam a ser operados, parcial ou totalmente, por sistemas de I.A. Tais sistemas devem permitir a rastreabilidade de todas a ações e decisões tomadas, desde a sua concepção, utilização e até a sua manutenção. Estamos falando de uma questão potencialmente geradora de riscos operacionais e riscos legais.
- Aprendizado contínuo
A disponibilidade de sistemas de I.A. no mercado permite o uso imediato de aplicações sem que os usuários compreendam a tecnologia envolvida, suas restrições ou danos que seu o mau funcionamento pode provocar. Trata-se, como já mencionado, de uma tecnologia complexa que requer constante atualização por parte dos usuários. A negligência com relação a este processo pode trazer sérios riscos operacionais, riscos de imagem e riscos legais. Convém que os usuários de sistemas de I.A. tenham suficiente compreensão de seu funcionamento, com poderes de detecção e até correção de saídas errôneas, injustas ou com vieses não desejáveis.
Usando a própria I.A. para auxiliar o processo de identificação de seus riscos
Consulta sobre as 10 perguntas mais importantes que podem auxiliar na identificação de riscos relacionados ao uso da I.A. nos processos de uma organização, direcionada ao SuperchatGPT | ISO 31000.net, ferramenta de I.A. disponibilizada pela QSP – Centro da Qualidade, Segurança e Produtividade, produziu o seguinte resultado, observando as orientações da norma ABNT NBR ISO 23894:2023:
- Quais são os principais objetivos da organização ao utilizar a I.A. em seus processos?
- Quais são os possíveis impactos negativos que a I.A. pode ter nos indivíduos, grupos de indivíduos e na sociedade como um todo?
- Quais são os riscos específicos associados ao desenvolvimento, fornecimento ou uso de sistemas de I.A. na organização?
- Quais são as potenciais consequências se esses riscos identificados se materializarem?
- Qual é a probabilidade realista de ocorrência desses riscos identificados?
- Quais são os níveis de risco associados aos riscos de I.A. identificados?
- Quais são os critérios de risco estabelecidos pela organização para avaliar os riscos de I.A.?
- Quais são as opções de tratamento de riscos de I.A. disponíveis para a organização?
- Quais são os controles necessários para implementar as opções de tratamento de riscos de I.A. escolhidas?
- Quais são os controles de referência fornecidos no Anexo A da norma ABNT NBR ISO 23894:2023 que podem ser aplicados para mitigar os riscos de I.A.?
Por agora, vamos nos concentrar, portanto, na identificação dos riscos. Como próximos passos, teremos a análise, a medição, o tratamento e o monitoramento das ameaças e oportunidades dessa tecnologia.
Questionário Proposto
O objetivo deste questionário é auxiliar o processo de identificação de eventuais riscos inerentes ao desenvolvimento, produção, implantação e/ou uso de produtos, sistemas e/ou serviços que utilizam I.A. na EFPC.
A sua área desenvolve, produz, implanta ou utiliza produtos, sistemas e/ou serviços que utilizam I.A.?
Sim
Não
Em caso afirmativo, cite nome da aplicação, finalidade e frequência de uso.
A equipe técnica da sua área recebeu ou está recebendo treinamento específico relacionado com I.A.?
Sim
Não
Em caso afirmativo, informe nome do profissional, curso, data e carga horária.
Foram levantados e registrados potenciais impactos3 para as partes interessadas (público interno)?
Sim
Não
Foram levantados e registrados potenciais impactos2 para as partes interessadas (público externo)?
Sim
Não
Foram criados canais de comunicação com as partes interessadas para:
a) Comunicar danos e/ benefícios:
Sim
Não
b) Promover conscientização:
Sim
Não
c) Incorporar feedback:
Sim
Não
O uso de I.A. em sua área está formalizado em normativos internos?
Sim
Não
A responsabilização pelo uso da I.A. e seus impactos está formalmente atribuída?
Sim
Não
Existe procedimento permanente e formalizado de revisão do material produzido pela I.A.?
Sim
Não
Há evidências de testes realizados para averiguação da confiabilidade do sistema de I.A.?
Sim
Não
Há armazenamento de dados gerados pelo sistema de I.A. permitindo consulta e rastreabilidade?
Sim
Não
*Antônio Carlos Bastos d’Almeida é Gerente de Riscos, ARGR e DPO da Forluz. Coordenador da Comissão Regional Leste de Governança e Riscos da Abrapp.
Notas:
[1] No Brasil, por exemplo, Comissão Parlamentar do Senado discutia, por ocasião da elaboração deste artigo, texto de Projeto de Lei para regulamentação do uso da Inteligência Artificial.
[2] Verificar se os impactos podem prejudicar seres humanos, negar serviços essenciais (que, se interrompidos, colocariam em risco a vida, a saúde ou a segurança pessoal) ou infringir os direitos humanos (ex.: por meio de tomada de decisão automatizada injusta ou viesada) ou contribuir para danos ambientais ou de continuidade.
