O que o erro da IA no sistema de saúde do Quênia ensina sobre governança corporativa?

Monica Miglio Pedrosa

Quando assumiu a presidência do Quênia, em 2022, William Ruto prometeu ampliar o acesso da população à saúde reformulando o modelo nacional de seguro de saúde. A proposta era a de utilizar inteligência artificial para calcular quanto cada família poderia pagar, para que este valor fosse proporcional à sua real capacidade financeira, garantindo que ninguém ficasse sem atendimento. No entanto, a iniciativa, apresentada como uma forma de tornar as contribuições mais justas, acabou produzindo o efeito oposto.

Uma investigação liderada pela jornalista especializada em dados Purity Mukami, revelou que o sistema superestimava a renda das famílias mais pobres e subestimava a dos grupos de maior renda. Os dados que alimentavam o modelo eram coletados por voluntários vinculados ao programa do governo, que visitavam as residências e preenchiam um questionário com informações sobre o material usado no telhado da casa, o número de filhos, a posse de animais, o acesso à eletricidade e outras características da moradia. O objetivo era estimar a capacidade financeira, já que cerca de 83% da força de trabalho do país não tem renda fixa ou emprego formal.

Purity apresentou o caso durante debate promovido pela Abraji (Associação Brasileira de Jornalismo Investigativo) em evento pré-Congresso nesta terça-feira, 30 de junho. Segundo ela, as distorções faziam com que famílias pobres precisassem escolher entre comprar comida ou pagar o seguro, ou pacientes gravemente doentes deixavam de receber atendimento porque não conseguiram quitar a contribuição exigida. Famílias extremamente vulneráveis chegaram a receber cobranças equivalentes a 20% de sua renda.

A investigação, conduzida por Purity e jornalistas do Africa Uncensored, em colaboração com Lighthouse Reports e The Guardian, mostrou ainda que o cálculo do valor a ser pago funcionava como uma caixa-preta. As famílias não tinham clareza sobre os critérios que pesavam na decisão e, por isso, tinham pouca capacidade de questionar os resultados.

Lições de governança corporativa

O exemplo do Quênia serve de alerta para empresas que incorporam inteligência artificial em processos cada vez mais críticos do negócio. Em muitos casos, algoritmos já influenciam decisões sobre concessão de crédito, avaliação de risco, precificação, contratação de colaboradores e detecção de fraudes.

Para as empresas, o episódio reforça que a adoção de IA em processos críticos exige uma governança compatível com o impacto das decisões que ela passa a influenciar. Cinco princípios de governança devem ser priorizados:

1) Qualidade e representatividade dos dados

Os dados que alimentam um modelo não são neutros. A escolha de quais variáveis entram no sistema já carrega uma hipótese sobre o que deve ser medido. No Quênia, características como tipo de telhado, acesso à eletricidade e posse de bens foram usadas para estimar renda, mas esses sinais não capturavam com precisão a real capacidade financeira das famílias. Para empresas, a lição é que dados mal escolhidos podem transformar correlações frágeis em decisões de negócio com alto impacto.

2) Transparência e explicabilidade

Modelos de IA não podem se tornar caixas-pretas para a própria organização. Se uma empresa não consegue explicar, em nível adequado, por que um algoritmo tomou determinada decisão, também terá dificuldade para auditá-la, corrigi-la e defendê-la diante de clientes, reguladores ou do conselho de administração.

3) Auditoria e monitoramento contínuo

Implantar um modelo é apenas o início do processo. A governança exige métricas, testes periódicos e revisões constantes para verificar se os resultados continuam coerentes com os objetivos do negócio e não estão produzindo efeitos indesejados ou ampliando vieses.

4) Supervisão humana

Nem toda decisão deve ser integralmente delegada a um algoritmo. Quanto maior o impacto sobre clientes, colaboradores ou parceiros, maior precisa ser o nível de supervisão humana. No ambiente corporativo, isso significa definir quais decisões podem ser automatizadas, quais exigem revisão humana e quais devem permanecer sob responsabilidade direta da liderança.

5) Responsabilidade compartilhada

Decisões tomadas por inteligência artificial não devem ficar restritas à área de tecnologia. Modelos que impactam clientes, colaboradores ou resultados financeiros precisam ser acompanhados também pelas áreas de negócio, jurídico, compliance, risco e, em muitos casos, pelo próprio conselho de administração. Quanto maior o impacto da decisão automatizada, maior deve ser o envolvimento da liderança em sua supervisão.