Proveniência e Autenticidade

Visão geral: dois problemas relacionados

“Proveniência e autenticidade” cobre duas questões que frequentemente são confundidas:

  1. Este conteúdo foi gerado por IA (AI-generated) (ou editado por IA (AI-edited))?
    Isso é principalmente um problema forense (forensic) e estatístico: buscamos sinais que sugerem que um modelo generativo (generative model) foi usado.

  2. De onde veio este conteúdo e ele foi alterado?
    Isso é um problema de proveniência (provenance) e criptografia (cryptography): queremos afirmações verificáveis sobre origem, histórico de edição e integridade.

Um ponto-chave: a detecção pode ser sugestiva; a proveniência pode ser verificável — mas apenas se o conteúdo for capturado e distribuído com metadados (metadata) e assinaturas confiáveis.

Este artigo se conecta de perto a Proveniência de Conteúdo (Alto Nível) e Marcação d’água, e complementa tópicos de governança como Governança, Risco, Conformidade e tópicos de segurança como Robustez e Segurança.

Conceitos centrais e definições

Autenticidade

Na prática, “autenticidade” costuma agrupar várias propriedades:

  • Integridade: os bytes que você recebeu são os mesmos bytes que foram produzidos/assinados (sem adulteração).
  • Atribuição: quem o criou (pessoa, organização, dispositivo ou sistema).
  • Contexto: quando/onde/como foi criado (tempo, dispositivo, software, etapas de edição).
  • Intenção (às vezes): se foi rotulado como sintético, satírico, reencenado etc.

Proveniência

Proveniência é a história de um conteúdo — sua origem e transformações ao longo do tempo. Um sistema forte de proveniência busca oferecer:

  • Cadeia de custódia (chain of custody): uma sequência de afirmações assinadas descrevendo a captura e as edições.
  • Rastreabilidade (traceability): capacidade de rastrear o conteúdo até uma identidade ou dispositivo de origem.
  • Auditabilidade (auditability): capacidade de terceiros verificarem as alegações.

Identificação vs. verificação

  • Identificação (“É IA?”) geralmente depende de evidências probabilísticas e pode estar errada.
  • Verificação (“Este arquivo veio de X e permaneceu inalterado?”) pode ser checada criptograficamente — se o ecossistema oferecer suporte a isso.

O que pode dar errado (a “lacuna analógica (analog hole)”)

Mesmo uma criptografia perfeita pode ser contornada se alguém:

  • reproduzir um vídeo em uma tela e regravá-lo,
  • tirar uma captura de tela,
  • redigitar o texto,
  • recodificar mídias com ferramentas que removem metadados.

Isso importa porque a proveniência é mais forte quando é ponta a ponta, da captura ao consumo.

Modelo de ameaça: contra o que você está se defendendo

Uma estratégia realista de proveniência/autenticidade começa com adversários e suas capacidades:

  • Repostadores de baixo esforço: compartilham conteúdo de IA sem rotular; removem metadados por acidente.
  • Editores maliciosos: cortam/colam vídeo, adicionam áudio sintético ou removem marcações d’água.
  • Falsificadores sofisticados: imitam metadados de câmera, fabricam capturas de tela como “prova” ou ajustam finamente (fine-tune) geradores para driblar detectores (detectors).
  • Insiders: usam indevidamente chaves legítimas de assinatura ou publicam conteúdo “autêntico” enganoso.

Isso se sobrepõe ao pensamento adversarial de Robustez e Segurança: assuma que atacantes se adaptam quando defesas se tornam comuns.

Como identificar conteúdo gerado por IA (sinais práticos)

Nenhum sinal isolado é definitivo. Na prática, você combina pistas do conteúdo, metadados, detectores baseados em modelos, e evidências de proveniência.

1) Texto: heurísticas e limitações

Pistas comuns (mas frágeis)

  • Estilo excessivamente consistente: tom uniforme, poucas idiossincrasias, fraseado genérico.
  • Alta fluência + baixa fundamentação: afirmações confiantes sem referências verificáveis.
  • “Suavidade” distribucional (distributional “smoothness”): menos erros de digitação, menos saltos abruptos de assunto do que rascunhos humanos típicos (embora humanos modernos também editem).
  • Estrutura tipo template: padrões retóricos repetidos (“Primeiramente… Em segundo lugar… Em conclusão…”).

Essas pistas falham quando:

  • um humano edita texto de IA (comum),
  • um humano escreve em estilo formal e polido,
  • um modelo é instruído a ser bagunçado ou pessoal.

Detectores estatísticos para texto

Muitos detectores funcionam estimando se é provável que um texto venha de um modelo de linguagem (language model) (por exemplo, via padrões de perplexidade (perplexity)). Problemas:

  • Falsos positivos: inglês não nativo, escrita técnica e boilerplate podem parecer “de modelo”.
  • Falsos negativos: paráfrase, tradução ou edição leve podem derrotar a detecção.
  • Dependência do modelo: detectores ajustados para uma família de modelos podem não generalizar.

Conselho prático: trate resultados de detecção de IA em texto como evidência fraca a menos que você também tenha artefatos de proveniência (metadados assinados, logs de ferramentas etc.).

2) Imagens: artefatos forenses e checagens de contexto

Artefatos visuais (cada vez mais sutis)

Historicamente, indícios comuns incluíam:

  • mãos/dentes/joias incorretos,
  • reflexos/sombras inconsistentes,
  • texto deformado.

Geradores modernos reduzem esses problemas, então considere verificações mais robustas:

  • Consistência de iluminação e geometria: os realces se alinham com as fontes de luz? as linhas de perspectiva batem?
  • Plausibilidade semântica: a sinalização contém palavras reais? os logotipos estão corretos?
  • Artefatos de repetição: repetição sutil de textura em cabelo/folhagem.

Checagens baseadas no fluxo de trabalho

  • Busca reversa de imagens (reverse image search): encontre ocorrências anteriores; verifique se a imagem “de última hora” existia meses atrás em outro contexto.
  • EXIF e histórico do arquivo: marca/modelo da câmera vs metadados de “exportação de ferramenta de IA” (frequentemente ausentes em repostagens).

Ferramentas comumente usadas:

  • exiftool para metadados de imagem
  • visualizadores de “credenciais de conteúdo (content credentials)” de plataforma (se presentes)

3) Áudio e vídeo: deepfakes, edições e armadilhas de compressão

Pistas no áudio

  • prosódia, padrões de respiração ou timing não naturais,
  • erros de fonemas em nomes/palavras raras,
  • incompatibilidade entre acústica do ambiente e o cenário.

Pistas no vídeo

  • problemas de sincronização labial (menos comuns agora),
  • artefatos na borda do rosto (também melhorando),
  • incompatibilidade de contexto: uniformes incorretos, encenação errada do evento, timestamps inconsistentes.

Compressão (compression) importa: plataformas sociais recodificam vídeos de forma agressiva, o que pode destruir sinais forenses e marcações d’água, e também introduzir artefatos que confundem detectores.

4) Detecção baseada em classificador (classifier-based detection) (para todas as modalidades)

Detectores modernos de “conteúdo gerado por IA” frequentemente usam classificadores supervisionados (supervised classifiers) treinados em exemplos sintéticos vs reais. Principais ressalvas:

  • Mudança de distribuição (dataset shift): novos modelos e ferramentas de edição rapidamente invalidam detectores antigos.
  • Pós-processamento (post-processing): redimensionamento, recorte, filtros ou recodificação podem reduzir a precisão.
  • Evasão adversarial (adversarial evasion): atacantes podem otimizar conteúdo para evitar detectores (uma dinâmica conhecida em Robustez e Segurança).

Boa prática: use detectores como triagem, não como prova final; sempre registre confiança, versão do modelo e limiares usados.

Estabelecendo a proveniência do conteúdo (como a verificação realmente funciona)

A detecção pergunta “com o que isso se parece?”. A proveniência pergunta “o que podemos provar sobre seu histórico?”.

1) Primitivos criptográficos (a base)

A maioria dos sistemas de proveniência se apoia em:

  • Hashes (hashes) (por exemplo, SHA-256): uma impressão digital dos bytes do conteúdo.
  • Assinaturas digitais (digital signatures): um criador assina um hash usando uma chave privada; qualquer pessoa pode verificar com a chave pública.
  • ICP/PKI (Public Key Infrastructure): vincula chaves públicas a identidades do mundo real via certificados.
  • Carimbo de tempo (time-stamping): prova que uma assinatura existia em (ou antes de) um determinado momento.

Conceitualmente:

  1. Compute h = SHA256(file_bytes)
  2. Compute sig = Sign(private_key, h)
  3. Publish (h, sig, certificate, metadata) alongside the content

Se o conteúdo mudar sequer um bit, o hash muda e a verificação falha.

2) Metadados assinados e “credenciais de conteúdo” (por exemplo, no estilo C2PA (C2PA-style))

Uma abordagem comum é embutir ou anexar um manifesto assinado descrevendo:

  • dispositivo/software de captura,
  • operações de edição (recorte, ajustes de cor, preenchimento generativo),
  • identidades das ferramentas/organizações envolvidas,
  • links para ativos externos (quando apropriado),
  • declarações de política (por exemplo, “gerado por IA” ou “editado por IA”).

Essa é a ideia central por trás de ecossistemas tipo C2PA (cobertos em alto nível em Proveniência de Conteúdo (Alto Nível)): asserções padronizadas e assinadas de proveniência que viajam com o conteúdo.

Limitação prática: muitas plataformas removem metadados, ou usuários fazem captura de tela/repostam, quebrando a cadeia.

3) Marcação d’água (sinais no nível do conteúdo)

A marcação d’água embute um sinal no próprio conteúdo (pixels, forma de onda de áudio ou padrões de tokens para texto). Ela pode persistir mesmo quando metadados são removidos, mas tem trade-offs:

  • pode ser removida ou degradada por transformações,
  • pode introduzir mudanças de qualidade,
  • a detecção pode exigir chaves proprietárias ou detectores proprietários,
  • adversários podem “lavar” o conteúdo ao regerar ou ao fazer edição pesada.

Veja Marcação d’água para modelos de ameaça e limitações.

4) Captura segura e atestação de dispositivo (device attestation)

Para mídias de alto risco (jornalismo, documentação de direitos humanos, evidência legal), a proveniência é mais forte quando a captura é assinada na origem:

  • o dispositivo cria uma declaração assinada no momento da captura,
  • as chaves são armazenadas em hardware seguro (por exemplo, enclave seguro (secure enclave)/tipo TPM),
  • metadados de captura (tempo, GPS, lente, pipeline do sensor) são incluídos,
  • edições subsequentes são anexadas como etapas assinadas.

Isso se assemelha a um modelo de cadeia de suprimentos (supply-chain model) para mídia: a confiança começa em uma raiz conhecida (dispositivo/fabricante ou app credenciado).

5) Logs de sistema e proveniência do lado do modelo (para organizações)

Quando o conteúdo é produzido por um sistema de IA que você opera, a proveniência também pode vir de logs internos de auditoria (internal audit logs), por exemplo:

  • hashes de prompt (prompt) e configuração,
  • identificadores de versão do modelo (model version identifiers),
  • fontes de recuperação (retrieval sources) para sistemas de geração aumentada por recuperação (retrieval-augmented generation, RAG),
  • chamadas de ferramentas e artefatos intermediários,
  • checkpoints de revisão humana e aprovações.

Isso se cruza com documentação e controles de Governança, Risco, Conformidade: logs devem ser retidos, ter controle de acesso e respeitar privacidade.

Exemplos práticos

Exemplo 1: verificando a integridade de um arquivo com um hash (bloco básico)

Você não consegue provar “quem o criou” apenas com um hash, mas consegue provar se um arquivo mudou.

# Create a SHA-256 fingerprint
sha256sum statement.pdf > statement.pdf.sha256

# Later: verify integrity (should output "OK")
sha256sum -c statement.pdf.sha256

Isso é útil para fluxos internos (por exemplo, garantir que um documento de política não foi alterado), mas não estabelece autoria sem assinaturas e vinculação de identidade.

Exemplo 2: assinando e verificando um hash (proveniência conceitual)

Usando OpenSSL para assinar o hash de um arquivo:

# Hash the file
sha256sum photo.jpg | awk '{print $1}' > photo.hash

# Sign the hash with a private key (RSA example)
openssl dgst -sha256 -sign private_key.pem -out photo.sig photo.hash

# Verify with the public key
openssl dgst -sha256 -verify public_key.pem -signature photo.sig photo.hash

Isso verifica que quem quer que controle private_key.pem assinou o hash. Para que isso tenha significado, você deve gerenciar:

  • segurança de chaves (evitar roubo/uso indevido),
  • emissão de certificados (quem é o signatário?),
  • revogação (e se uma chave for comprometida?).

Exemplo 3: um fluxo de trabalho de redação combinando proveniência + detecção

Uma abordagem prática e em camadas:

  1. Ingestão: exigir arquivos originais, não capturas de tela; preservar originais em um arquivo write-once.
  2. Checar credenciais: procurar manifestos assinados / credenciais de conteúdo; verificar assinaturas.
  3. Forense: executar análise de mídia e detectores de IA como triagem; anotar confiança e artefatos.
  4. Corroboração: comparar com fontes independentes (outras filmagens, testemunhas, registros públicos).
  5. Publicar: anexar proveniência quando possível; explicitar incerteza quando não.

Isso está alinhado com “defesa em profundidade (defense in depth)”, uma estratégia comum em Alinhamento e Segurança e em domínios de segurança.

Construindo uma estratégia de proveniência (o que fazer na prática)

Para indivíduos e educadores

  • Prefira fontes primárias (uploads originais, canais oficiais).
  • Seja cético com conteúdo que:
    • não tem contexto (sem tempo/local/fonte),
    • provoca emoção forte (“isca de indignação”),
    • tem bordas cortadas ou múltiplas re-publicações.
  • Use verificações simples:
    • busca reversa de imagem/vídeo,
    • inspeção de metadados (quando disponível),
    • corroboração com múltiplas fontes independentes.

Para equipes de produto e plataformas

  • Ofereça UI para proveniência:
    • exibir credenciais assinadas quando presentes,
    • mostrar o que é conhecido/desconhecido (não exagerar nas alegações).
  • Preservar e transmitir metadados quando viável:
    • evitar remover manifestos de autenticidade durante upload/processamento,
    • se houver recodificação, reanexar proveniência verificável como uma asserção da plataforma.
  • Apoiar recursos e auditorias:
    • manter logs de decisões de detectores,
    • monitorar falsos positivos/negativos por demografia/idioma (relacionado a Equidade e Viés).

Para empresas adotando IA generativa (generative AI)

  • Estabelecer “linhagem de conteúdo (content lineage)” para saídas de IA:
    • registrar versão do modelo, hashes de templates de prompt de sistema, configurações de segurança (safety settings),
    • registrar fontes de dados para geração aumentada por recuperação,
    • incluir etapas de aprovação humana para conteúdo voltado ao público externo.
  • Definir política de rotulagem (labeling policy):
    • o que conta como “gerado por IA” vs “assistido por IA”?
    • quando você deve divulgar?
  • Tratar proveniência como um controle no seu programa de governança:
    • políticas de retenção (retention policies), controles de acesso (access controls), resposta a incidentes (incident response) para comprometimento de chave (key compromise)
      (veja Governança, Risco, Conformidade).

Armadilhas comuns e equívocos

“Este detector diz 99% IA, então está provado”

Alta confiança não equivale a prova. Detectores podem errar com confiança sob mudança de distribuição ou pós-processamento. Trate como um sinal, não como um veredito.

“Sem marcação d’água significa que é humano”

Ausência de evidência não é evidência de ausência. Muitos modelos não aplicam marcação d’água; muitas plataformas destroem marcações d’água; muitas marcações d’água são opcionais.

“Uma credencial assinada prova que a história é verdadeira”

Uma assinatura prova quem assinou o quê, não se o conteúdo é verdadeiro ou representativo. Uma foto real pode ser enganosa (data errada, contexto errado), e uma cena encenada pode ser capturada de forma autenticamente registrada.

“Proveniência resolve desinformação”

A proveniência ajuda a estabelecer origem e integridade, mas desinformação pode vir de fontes autênticas. Proveniência é necessária, mas não suficiente.

Avaliação: como medir sistemas de autenticidade

Ao implementar sistemas de proveniência e detecção, avalie:

  • Robustez: sobrevive a redimensionamento, recorte, recodificação, capturas de tela?
  • Segurança: atacantes conseguem forjar credenciais ou roubar chaves de assinatura?
  • Cobertura: que fração do conteúdo carrega proveniência verificável?
  • Usabilidade: usuários entendem o que os indicadores significam?
  • Impacto de erro: o que acontece quando você rotula conteúdo real como falso (ou vice-versa)?
  • Privacidade: manifestos vazam informação sensível (localização, IDs de dispositivo, identidades)?

Direções emergentes (o que vem a seguir)

  • Adoção mais ampla de credenciais de conteúdo assinadas e melhor suporte de plataforma para preservá-las.
  • Abordagens híbridas (hybrid approaches): marcação d’água + manifestos assinados + atestações de plataforma (platform attestations).
  • Divulgação padronizada para edições por IA (por exemplo, “preenchimento generativo usado”, “voz clonada”) com semântica consistente.
  • Melhor proveniência para sistemas de IA: logs e atestações que vinculem saídas a versões de modelo, configurações de segurança e aprovações — sem vazar prompts ou dados pessoais.

Resumo

  • Identificar conteúdo gerado por IA é um exercício probabilístico: use múltiplos sinais (forense, detectores, contexto).
  • Estabelecer proveniência é um exercício de verificação: use assinaturas criptográficas, captura segura e metadados padronizados e assinados.
  • A abordagem mais confiável é em camadas: proveniência quando possível, detecção quando necessário e governança para gerenciar chaves, logs e divulgação.

Para se aprofundar, veja Proveniência de Conteúdo (Alto Nível) para conceitos de metadados assinados e Marcação d’água para abordagens baseadas em incorporação e modelos de ameaça.