O que uma trilha de auditoria séria contém
Seis coisas. Um identificador estável para cada etapa, para ela poder ser citada depois. O horário em que a etapa rodou, capturado na hora, e não preenchido depois. A ferramenta que rodou e o agente que a chamou. As entradas exatas e o resultado salvo, em uma codificação fixa. Um resumo sobre o resultado salvo que qualquer pessoa pode recalcular. E a posição da etapa na ordem do trabalho, para uma etapa que falta aparecer como lacuna. Para um trabalho inteiro, a trilha se fecha sob um único registro sobre esse conjunto ordenado exato.
Como auditar as ações de um agente
Trabalhe a partir do registro que o agente deixou enquanto rodava, e não do resumo dele depois. Para cada etapa, abra o recibo da etapa, confira que o resultado salvo ainda bate com o resumo dele e compare o que a etapa devolveu com o que a etapa seguinte presumiu. Confira as posições em busca de lacunas, porque uma etapa que nunca rodou aparece como posição faltando, e não como uma história lisa. No Zambo, cada chamada de ferramenta salva esse recibo quando roda, um trabalho se fecha sob um único registro, e qualquer etapa pode ser conferida de novo, de graça.
Os limites, sem rodeio
A trilha mostra o que foi registrado, em ordem, e prova que o registro salvo não foi alterado desde que foi salvo. Ela não prova que as ações foram sensatas, que a resposta estava certa ou que o resumo do agente foi justo. O que muda é a discussão: em vez da sua palavra contra a deles, os dois lados olham o mesmo registro, inclusive a etapa que deu errado, porque etapas que falharam e foram recusadas são registradas do mesmo jeito que as que deram certo.
Quanto custa
Conferir um recibo é sempre grátis e não pede conta. Rodar trabalho com registro: 20 chamadas grátis por dia, e depois o Day Pass de $0,99 por 24 horas. O Zambo Pass sai por $29 por 30 dias, em um único pagamento, ou $290 por 365 dias, e $19 por 30 dias para quem tem $ZAMBO. Comece em zambo.dev/add.
Perguntas, com resposta
O que é uma trilha de auditoria de agente de IA?
É o registro ordenado e conferível do que um agente fez, do que ele produziu, e se o registro salvo ainda bate com o que foi salvo. Cada etapa de um trabalho é salva como um recibo verificável quando roda, em ordem, e o trabalho inteiro se fecha sob um único registro, então qualquer pessoa com o link pode conferir qualquer etapa depois, sem conta e sem confiar em quem rodou o agente.
Qual é a diferença entre uma trilha de auditoria e um log?
Um log diz o que o sistema imprimiu. Ele é escrito pelo sistema que está sendo conferido, muitas vezes resumido ou escrito depois, vive dentro do console do operador, e ler um log significa confiar em quem registra. Uma trilha de auditoria é feita para outra pessoa conferir depois: cada entrada é salva na hora em que roda, com as entradas exatas e o resultado salvo, carrega um resumo que um estranho pode recalcular, e fica onde quem confere pode abrir. O log pede confiança no sistema; a trilha pede que você confira o registro.
Uma trilha de auditoria pode provar que meu agente de IA fez o trabalho corretamente?
Não, e uma trilha honesta nunca afirma isso. A trilha mostra o que foi registrado, em ordem, e prova que o registro salvo não foi alterado desde que foi salvo. Ela não prova que as ações foram sensatas, que a resposta estava certa ou que o resumo do agente foi justo. O que muda é a discussão: em vez da sua palavra contra a deles, os dois lados olham o mesmo registro, inclusive a etapa que deu errado.
Como eu audito as ações de um agente de IA?
Trabalhe a partir do registro que o agente deixou enquanto rodava, e não do resumo dele depois. Para cada etapa, abra o recibo verificável da etapa, confira que o resultado salvo ainda bate com o resumo dele e compare o que a etapa devolveu com o que a etapa seguinte presumiu. No Zambo, cada chamada de ferramenta salva esse recibo quando roda, um trabalho se fecha sob um único registro, e qualquer etapa pode ser conferida de novo, de graça, no verificador público.
Por quanto tempo uma trilha de auditoria de agente de IA deve ser guardada?
Pelo menos enquanto o trabalho puder ser contestado, e mais onde uma regra fixa um piso. Para sistemas de IA de alto risco sob a Lei de IA da União Europeia, o Artigo 19 pede que os fornecedores guardem os logs gerados automaticamente sob seu controle por pelo menos seis meses, e o Artigo 26, parágrafo 6, fixa o mesmo piso para quem implanta. Recibos são registros de texto pequenos, então guardar uma trilha por anos custa pouco. O dia caro é aquele em que a trilha é necessária e não existe.