Equidade & Viés

O que “Equidade e Viés (Fairness & Bias)” Significa em IA (AI)

Equidade e viés em IA é a prática de medir e mitigar resultados injustos entre grupos e contextos. Em aprendizado de máquina (machine learning), “viés” normalmente se refere a erros ou disparidades sistemáticas — não ao trade-off viés/variância (bias/variance tradeoff) da estatística — enquanto “equidade” se refere a julgamentos normativos sobre quais resultados são aceitáveis.

Equidade não é uma única métrica nem uma propriedade puramente técnica de um modelo. É um objetivo sociotécnico (socio-technical) que depende de:

  • Quem é afetado (usuários, não usuários, pessoas sujeitas à decisão)
  • Qual decisão está sendo tomada (empréstimos, contratação, moderação, triagem médica)
  • Quais danos importam (negação de oportunidade, policiamento excessivo, estereotipagem, riscos de segurança)
  • Quais restrições se aplicam (lei, política, valores organizacionais, viabilidade)

Dois sistemas com acurácia (accuracy) idêntica podem diferir drasticamente em equidade dependendo do contexto de implantação (deployment context), de decisões humanas a jusante e de ciclos de retroalimentação (feedback loops).

Para aprofundamentos sobre fontes e definições, veja:

Por que Problemas de Equidade Surgem

Problemas de equidade comumente surgem de uma combinação de dados, escolhas de modelagem e estrutura do mundo real.

Fontes comuns de injustiça

  • Viés histórico: Decisões passadas (ex.: contratação discriminatória) são registradas como “verdade de base”, então o modelo as aprende.
  • Viés de representação: Alguns grupos são subamostrados ou estão ausentes, levando a pior desempenho (ex.: conjuntos de dados de imagens médicas enviesados por tom de pele).
  • Viés de medição: Rótulos são proxies imperfeitos (ex.: “prisão” como proxy de “crime” reflete práticas de policiamento).
  • Viés de agregação: Um único modelo global se ajusta a padrões da maioria, mas falha em subpopulações minoritárias.
  • Atributos proxy: Mesmo que atributos protegidos (protected attributes) (raça, gênero) sejam excluídos, atributos correlacionados (CEP, nomes) podem recriá-los.
  • Ciclos de implantação/retroalimentação: Saídas do modelo influenciam dados futuros (policiamento preditivo (predictive policing) aumentando patrulhas → mais incidentes registrados).
  • Mudança de distribuição (distribution shift): Um modelo que era “suficientemente equitativo” durante a avaliação pode se tornar injusto quando populações, políticas ou ambientes mudam.

“Equidade pela ignorância” não é suficiente

Remover atributos sensíveis raramente resolve equidade porque:

  • Proxies permanecem.
  • O modelo pode inferir a pertença a grupos a partir de padrões.
  • Você ainda não consegue medir disparidades sem rótulos de grupo (ou sem estimativa cuidadosa).

Conceitos-Chave: Grupos, Indivíduos e Contexto

Grupos protegidos e interseccionalidade (intersectionality)

A equidade frequentemente é avaliada ao longo de atributos protegidos (ex.: sexo, raça, status de deficiência, idade). Mas danos frequentemente ocorrem em interseções (ex.: “mulheres negras”), então análises devem incluir subgrupos interseccionais quando viável. Isso aumenta a incerteza estatística, tornando importantes intervalos de confiança (confidence intervals) cuidadosos e verificações de suficiência de dados.

Equidade individual vs equidade de grupo

Dois enquadramentos amplos de equidade:

  • Equidade de grupo (group fairness): Resultados agregados semelhantes entre grupos (ex.: taxas de falso negativo semelhantes).
  • Equidade individual (individual fairness): Indivíduos semelhantes devem receber resultados semelhantes (mais difícil — requer uma noção de similaridade específica da tarefa).

A maior parte do trabalho prático de equidade em aprendizado de máquina foca em equidade de grupo porque ela é mensurável com conjuntos de dados padrão, mas a equidade individual pode ser crucial em cenários de alto impacto.

Contexto importa: a mesma métrica pode estar certa ou errada

Exemplo: Um modelo de triagem hospitalar pode priorizar igualdade de oportunidade (equal opportunity) (taxas de verdadeiro positivo iguais) porque deixar de identificar um paciente doente é pior do que triagens em excesso. Um modelo de crédito pode priorizar evitar taxas de negação sistematicamente mais altas para grupos protegidos e garantir calibração (calibration) para evitar estimativas de risco enganosas.

Medindo Equidade: O que Avaliar

A medição de equidade normalmente começa com avaliação desagregada (disaggregated evaluation): calcular desempenho e resultados por grupo e, então, comparar.

Etapa 1: Desagregar resultados e erros

Para um classificador binário (binary classifier) que prevê (\hat{Y}) com rótulo verdadeiro (true label) (Y), avalie por grupo (A):

  • Taxa de resultado (outcome rate): (P(\hat{Y}=1 \mid A=a))
  • Taxas de erro: taxa de falso positivo (false positive rate, FPR), taxa de falso negativo (false negative rate, FNR)
  • Valores preditivos (predictive values): precisão/PPV, NPV
  • Calibração: se os escores previstos significam a mesma coisa entre grupos

Isso é uma base para muitas métricas formais (veja Métricas de Equidade).

Etapa 2: Escolher definições de equidade alinhadas aos danos

Definições comuns (informais):

  • Paridade demográfica (demographic parity) (paridade estatística (statistical parity)):
    As taxas de previsão positiva são iguais entre grupos.
    Útil quando a decisão não deve depender de pertença a grupo em agregado, mas pode ser inadequada se as taxas base diferirem por razões legítimas ou se os rótulos refletirem inequidade estrutural.

  • Igualdade de oportunidade:
    As taxas de verdadeiro positivo são iguais entre grupos.
    Frequentemente usada quando deixar de identificar indivíduos qualificados/eligíveis é o principal dano (ex.: solicitantes de empréstimo qualificados).

  • Odds equalizadas (equalized odds):
    Tanto TPR quanto FPR são iguais entre grupos.
    Mais forte do que igualdade de oportunidade; pode reduzir a acurácia geral.

  • Paridade preditiva (predictive parity) (precisão igual (equal precision)):
    A precisão é igual entre grupos.
    Às vezes desejada quando uma previsão positiva aciona intervenções custosas.

  • Calibração (dentro dos grupos):
    Para uma pontuação de risco (risk score) (s), pessoas com a mesma pontuação devem ter taxas de resultado semelhantes entre grupos.
    Importante para ferramentas de avaliação de risco.

Um fato crucial: em geral, você não consegue satisfazer todas elas ao mesmo tempo quando as taxas base diferem e o modelo é imperfeito. É por isso que equidade é uma escolha de projeto, não um checklist.

Etapa 3: Quantificar incerteza

Métricas de equidade podem ser ruidosas, especialmente para subgrupos menores. Use:

  • Intervalos de confiança (re-amostragem bootstrap (bootstrap) é comum)
  • Limiares mínimos de tamanho amostral por grupo
  • Recortes por tempo (para detectar deriva)
  • Planos de avaliação pré-registrados em ambientes de alto impacto

Exemplo prático: computando métricas básicas por grupo

A seguir, um exemplo mínimo em estilo Python (Python-style) (usando NumPy) para calcular a diferença de paridade demográfica e a diferença de igualdade de oportunidade:

import numpy as np

def rates(y_true, y_pred):
    # y_true, y_pred are 0/1 arrays
    tp = np.sum((y_true == 1) & (y_pred == 1))
    fp = np.sum((y_true == 0) & (y_pred == 1))
    tn = np.sum((y_true == 0) & (y_pred == 0))
    fn = np.sum((y_true == 1) & (y_pred == 0))
    tpr = tp / (tp + fn) if (tp + fn) else np.nan
    fpr = fp / (fp + tn) if (fp + tn) else np.nan
    pr  = np.mean(y_pred)  # P(y_pred=1)
    return {"TPR": tpr, "FPR": fpr, "PR": pr}

def group_fairness(y_true, y_pred, group):
    # group is 0/1 indicating two groups for simplicity
    m0 = group == 0
    m1 = group == 1
    r0 = rates(y_true[m0], y_pred[m0])
    r1 = rates(y_true[m1], y_pred[m1])

    demographic_parity_diff = r1["PR"] - r0["PR"]
    equal_opportunity_diff = r1["TPR"] - r0["TPR"]
    equalized_odds_diff = max(abs(r1["TPR"] - r0["TPR"]), abs(r1["FPR"] - r0["FPR"]))

    return {
        "group0": r0, "group1": r1,
        "DP_diff": demographic_parity_diff,
        "EOpp_diff": equal_opportunity_diff,
        "EOdds_max_diff": equalized_odds_diff,
    }

Em sistemas reais, você também vai querer: tratamento de múltiplos grupos, grupos interseccionais, intervalos de confiança e tratamento cuidadoso de rótulos de grupo ausentes/incertos.

Mitigando Injustiças: Onde Intervir

Estratégias de mitigação frequentemente são agrupadas por quando atuam no pipeline de aprendizado de máquina (ML pipeline).

Pré-processamento (pre-processing) (intervenções no nível de dados)

Objetivo: reduzir viés antes do treinamento.

Abordagens comuns:

  • Reamostragem / reponderação: aumentar o peso de grupos ou resultados sub-representados.
  • Limpeza de rótulos e auditorias de medição: investigar se os rótulos codificam processos enviesados (ex.: avaliações de “potencial de liderança”).
  • Revisão de atributos: remover atributos proxy “vazados” apenas se isso não ocultar disparidades na avaliação.
  • Aumento de dados / coleta direcionada: coletar mais dados para grupos com baixo desempenho em vez de depender de correções sintéticas.
  • Aprender representações justas (learning fair representations): transformar atributos para reduzir informação de grupo preservando o sinal da tarefa.

Prós: frequentemente simples e independentes do modelo.
Contras: pode ser limitado se o rótulo subjacente já for enviesado ou se contexto importante estiver ausente.

Durante o processamento (in-processing) (intervenções no momento do treinamento)

Objetivo: incorporar objetivos de equidade diretamente na otimização.

Abordagens comuns:

  • Termos de regularização (regularization terms): adicionar penalidade por disparidade (ex.: penalizar diferenças de TPR).
  • Otimização restrita (constrained optimization): maximizar acurácia sujeita a restrições de equidade.
  • Desenviesamento adversarial (adversarial debiasing): treinar um preditor enquanto um adversário tenta prever o atributo protegido a partir da representação do modelo; otimizar para impedir isso.
  • Aprendizado sensível a custos (cost-sensitive learning): atribuir custos diferentes a tipos diferentes de erro por grupo.

Essas abordagens exigem especificação cuidadosa: qual definição de equidade, quais grupos e como trocar acurácia por disparidade.

Fundamentos relacionados: objetivos de treinamento e restrições se conectam de perto a Descida do Gradiente e práticas de otimização de modelos.

Pós-processamento (post-processing) (após o treinamento)

Objetivo: ajustar saídas sem retreinar o modelo.

Abordagens comuns:

  • Limiares específicos por grupo: escolher limiares de decisão por grupo para equalizar TPR/FPR ou atender a restrições de política.
  • Calibração e mapeamento de escores: ajustar probabilidades previstas para serem calibradas dentro dos grupos.
  • Opção de rejeição / encaminhamentos (reject option / deferrals): encaminhar casos incertos para revisão humana, potencialmente reduzindo danos quando a confiança é baixa.

Prós: pode ser aplicado a modelos existentes.
Contras: pode levantar preocupações legais/de política (uso explícito de atributos protegidos) e pode ser frágil sob mudança de distribuição.

Intervenções organizacionais e de produto (frequentemente as mais importantes)

Muitas falhas de equidade não são resolvidas ajustando um modelo:

  • Mudar a política de decisão: ex.: usar aprendizado de máquina como apoio à decisão, não como um sistema de negação automática.
  • Introduzir apelações e reparação (recourse): fornecer aos usuários um caminho para contestar ou melhorar resultados.
  • Revisão com humano no loop (human-in-the-loop): mas garantir que revisores sejam treinados e que o processo seja auditado quanto a viés.
  • Acesso e usabilidade: garantir que o sistema funcione para pessoas com deficiências, conectividade limitada ou diferenças de idioma.
  • Transparência e documentação: cartões de modelo (model cards), documentação de dados e explicações voltadas ao usuário (veja Explicabilidade/Interpretabilidade).
  • Controles de governança: revisões de risco, aprovações, planos de monitoramento (veja Governança, Risco, Conformidade).

Exemplos Práticos

Exemplo 1: Aprovação de empréstimos (decisão binária com uma pontuação de risco)

Um banco usa um modelo para prever risco de inadimplência e aprovar empréstimos.

Possíveis problemas de equidade:

  • Se aprovações históricas favoreceram certos bairros, os rótulos de treinamento refletem oportunidade desigual.
  • CEP é um forte proxy para raça/status socioeconômico.

Medição:

  • Comparar taxas de falso negativo (candidatos qualificados negados) entre grupos.
  • Verificar calibração: “10% de risco de inadimplência” significa 10% para todos os grupos?

Mitigações:

  • Melhorar a qualidade dos dados (ex.: incorporar sinais alternativos de crédito com cuidado).
  • Usar restrições durante o treinamento para reduzir lacunas de TPR.
  • Oferecer reparação: explicar passos acionáveis para melhorar elegibilidade, evitando orientação enganosa ou impossível.

Exemplo 2: Triagem de currículos na contratação (problema de ranqueamento (ranking problem))

Um modelo ranqueia candidatos para revisão por recrutadores.

Equidade não é só sobre “taxa positiva”; é sobre quem aparece no top-K.

Medição:

  • Representação no top-K por grupo.
  • Diferenças entre grupos em métricas de ranqueamento e análise de erros (ex.: candidatos qualificados ranqueados mais abaixo).

Mitigações:

  • Auditar rótulos (decisões passadas de contratação podem refletir viés).
  • Usar rubricas estruturadas de avaliação em vez de rótulos subjetivos.
  • Considerar processos híbridos: o modelo sugere, humanos decidem com responsabilização e registro (logging).

Exemplo 3: Predição de risco médico (viés de rótulo e assimetria de danos)

Um hospital prediz “custo futuro de saúde” para alocar gestão de cuidados.

Problema:

  • Custo é um proxy para necessidade. Se alguns grupos historicamente receberam menos cuidado, podem ter custos menores apesar de maior carga de doença.

Medição:

  • Comparar resultados usando verdade de base clínica (se disponível), não apenas custo.
  • Avaliar falsos negativos por grupo (pacientes de alta necessidade não identificados).

Mitigações:

  • Redefinir a variável-alvo (predizer risco clínico, não custo).
  • Coletar rótulos melhores, validar em desfechos clínicos.

Equidade sob Mudança de Distribuição e Ciclos de Retroalimentação

A equidade pode degradar ao longo do tempo devido a:

  • Mudanças de política (novas regras de elegibilidade)
  • Mudanças populacionais (nova demografia de usuários)
  • Adaptação adversarial (burlar sistemas)
  • Ciclos de retroalimentação (o modelo muda o mundo que ele mede)

Passos práticos:

  • Monitorar métricas de equidade continuamente (não apenas no lançamento).
  • Adicionar detecção de deriva (drift detection) e revalidação periódica.
  • Usar avaliação em modo sombra (shadow mode) antes de trocar modelos.
  • Conduzir auditorias periódicas com análises de subgrupos atualizadas.

Isso se sobrepõe a preocupações de confiabilidade em Robustez e Segurança, já que mudança de distribuição e comportamento adversarial podem afetar tanto segurança quanto equidade.

Equidade em IA Generativa (generative AI) e Modelos de Linguagem Grandes (large language models, LLMs)

Para sistemas generativos (texto/imagem), equidade frequentemente envolve:

  • Amplificação de estereótipos: associar ocupações a gêneros, etnias etc.
  • Toxicidade e assédio: danos desiguais direcionados a grupos protegidos.
  • Variação de dialeto e idioma: pior desempenho em dialetos não padrão ou idiomas com poucos recursos.
  • Utilidade desigual: assistentes que funcionam bem para alguns usuários, mas falham para outros (acentos na fala, contexto cultural).

Abordagens de medição:

  • Conjuntos de prompts projetados para testar estereótipos, toxicidade e recusas.
  • Avaliação desagregada por dialeto/idioma e menções demográficas.
  • Avaliações humanas com avaliadores diversos e rubricas claras.

Mitigações:

  • Curadoria e filtragem de dados com análise cuidadosa de viés.
  • Ajuste por instruções (instruction tuning) / otimização por preferências (preference optimization) com diretrizes sensíveis à equidade (relacionado a Alinhamento e Segurança).
  • Camadas de segurança de pós-processamento — mas verificar se elas não bloqueiam conteúdo benigno em excesso para certos grupos.

Um Fluxo de Trabalho Prático de Equidade (Ponta a Ponta)

Um processo comumente eficaz se parece com isto:

  1. Definir a decisão e o modelo de danos
    • Quem pode ser prejudicado, e como?
    • Quais erros importam mais (falsos positivos vs falsos negativos)?
  2. Identificar grupos e contextos relevantes
    • Grupos protegidos, recortes interseccionais, contextos regionais/de idioma
  3. Auditar dados e rótulos
    • Rótulos são proxies enviesados? A cobertura é adequada?
  4. Estabelecer métricas de base
    • Desempenho desagregado + pelo menos uma métrica de disparidade alinhada aos danos
  5. Selecionar mitigações
    • Pré-, durante ou pós-processamento + mudanças de produto/política
  6. Validar com incerteza
    • Intervalos de confiança, testes de estresse e checagens de overfitting a restrições de equidade
  7. Documentar decisões
    • Qual definição foi usada, quais trade-offs foram aceitos e por quê
  8. Monitorar após a implantação
    • Deriva, ciclos de retroalimentação e regressão em métricas de equidade
  9. Fornecer reparação e responsabilização
    • Apelações, supervisão humana e propriedade/ownership clara

Armadilhas Comuns e Como Evitá-las

  • Otimizar uma única métrica: É possível “burlar” paridade demográfica enquanto piora danos reais. Use múltiplas visões (taxas de erro, calibração, utilidade).
  • Ignorar taxas base e viés de rótulo: Se rótulos refletem inequidade estrutural, paridade nesses rótulos pode codificar injustiça.
  • Deixar passar grupos interseccionais: “Paridade de gênero” pode esconder disparidades para subgrupos raciais específicos.
  • Não ter plano de monitoramento: Equidade não é estável; precisa ser mantida.
  • Tratar equidade como puramente técnica: Incentivos organizacionais, experiência do usuário e governança frequentemente dominam os resultados.

Relação com o Kit de Ferramentas de IA Responsável (Responsible AI Toolkit)

Equidade e viés se conectam fortemente a outros tópicos de IA Responsável:

Principais Conclusões

  • Equidade é dependente do contexto: é necessário definir danos, partes interessadas e restrições.
  • Métricas de equidade podem entrar em conflito; escolher uma envolve um trade-off explícito, não uma decisão puramente técnica.
  • Mitigação eficaz geralmente é multicamadas: dados + modelagem + política de implantação + governança.
  • Monitoramento e reparação contínuos são essenciais; equidade não é uma avaliação única.

Se você quiser se aprofundar em definições e medição, continue com Métricas de Equidade e, para causas-raiz e intervenções por estágio do pipeline, veja Viés em Dados vs Viés em Modelos.