Damos à IA um trabalho simples: tentar quebrar o Didit

No Didit, red teaming de IA significa usar agentes de inteligência artificial (IA) para desafiar nossos fluxos de verificação de identidade em um ambiente de staging. Estudamos as tentativas e seus resultados para encontrar fraquezas, ajudar a detectar bots realizando a verificação e entender onde os usuários reais encontram dificuldades.

Damos aos agentes acesso ao nosso código fonte e pedimos que encontrem uma maneira de passar pelas verificações em staging. Eles tentam documentos falsificados, feeds de câmera injetados e jornadas automatizadas através de fluxos de trabalho reais. Observamos o que acontece, investigamos os resultados e usamos o que aprendemos para melhorar o sistema.

Também usamos este trabalho para ajudar a detectar bots realizando a verificação e para entender o comportamento do usuário. Ver como a automação se move através de um fluxo nos ajuda a fazer perguntas melhores sobre fraude e sobre a experiência da pessoa do outro lado da tela.

Principais aprendizados

Teste a jornada completa. Documentos falsificados, feeds de câmera artificiais e ações automatizadas desafiam diferentes partes de um fluxo de verificação.

Investigue o que aconteceu. Um agente que afirma ter encontrado um bypass precisa ser verificado com evidências reproduzíveis.

Aprenda com o comportamento. O tempo e as tentativas podem adicionar contexto sobre a automação, ao mesmo tempo em que revelam onde usuários legítimos precisam de ajuda.

Torne as descobertas úteis. O trabalho continua através de investigação, correções e verificações do efeito em pessoas reais.

A responsabilidade por trás da tela

A TechCrunch relatou uma suspeita de violação em um provedor de verificação.

Para nós, a responsabilidade começa com o que as pessoas confiam a uma empresa de verificação. Um escaneamento de passaporte contém seu nome, fotografia e outras informações de identificação. Uma selfie é um registro do seu rosto. Você pode redefinir uma senha depois que ela vaza. Você não pode redefinir seu rosto.

Essa responsabilidade vai além de decidir se um documento parece genuíno ou se uma pessoa está presente. Inclui os serviços que processam a solicitação, as permissões em torno dos dados e as pessoas que operam o sistema. Uma verificação forte no início de uma jornada não pode compensar uma fraqueza em outro lugar.

É por isso que queremos desafiar nossas suposições enquanto ainda temos a chance de agir sobre o que encontramos.

O que realmente pedimos aos agentes para fazer

Um teste normal começa com um resultado esperado. Um teste adversarial começa com um objetivo que o sistema deve impedir.

Para verificação de identidade, isso pode significar ter um documento falsificado aceito ou tentar fazer com que um rosto gravado passe como uma pessoa presente. Pode significar sondar como o sistema responde quando um cliente automatizado se move através de um fluxo de maneira inesperada.

O agente pode inspecionar o código, interagir com o fluxo de trabalho e ajustar sua próxima tentativa com base na resposta. Isso nos dá uma maneira útil de explorar suposições que um conjunto fixo de casos de teste pode perder.

Na filmagem que acompanha, os agentes carregam documentos de amostra, fornecem feeds de câmera artificiais e trabalham através das etapas de verificação em staging. A câmera se afasta de uma tela para uma parede dessas gravações para que você possa ver a gama de atividades.

Para informações sobre mídia manipulada, consulte nosso guia para ataques e detecção de deepfake.

A parede é uma visualização do trabalho. Cada resultado ainda precisa ser verificado em relação à evidência subjacente. Um agente dizendo que encontrou um bypass não o torna um.

Nossa abordagem inclui modelos de fronteira e modelos abertos com menos restrições nas tarefas que tentarão. Queremos uma cobertura útil de comportamento adversarial, incluindo tentativas que um modelo poderia, de outra forma, recusar explorar. A disposição do modelo em tentar um ataque não diz nada sobre se esse ataque teve sucesso. Essa é uma questão de engenharia que temos que verificar.

Como o trabalho nos ajuda a entender os bots

Um documento e uma selfie nos contam parte da história. A maneira como uma verificação acontece pode adicionar contexto.

Usamos esses exercícios para ajudar a detectar bots realizando a verificação e para aprender mais sobre o comportamento de bots. Executar a automação nós mesmos nos dá exemplos que podemos estudar, comparar e desafiar à medida que a automação muda.

Podemos examinar onde uma tentativa automatizada pausa, o que ela repete após um erro e se ela segue a mesma sequência a cada vez. Também podemos considerar se esse comportamento se encaixa no dispositivo e no contexto da sessão. Essas comparações ajudam a tornar uma investigação mais específica.

Estas são perguntas a serem investigadas, não regras que estabelecem fraude por si só. Um usuário rápido pode simplesmente saber o que fazer. Uma pessoa que tenta várias vezes pode ter pouca iluminação ou uma conexão não confiável. Alguém usando tecnologia assistiva pode interagir de forma diferente do padrão que um designer esperava.

A detecção útil de bots precisa levar em conta essa variação. Tempo, repetição e contexto do dispositivo precisam ser considerados juntamente com a evidência de verificação. Tratar uma ação incomum como prova de abuso pioraria a experiência para pessoas reais.

O mesmo trabalho nos ensina onde as pessoas encontram dificuldades

Estudar o comportamento também nos ajuda a fazer melhores perguntas sobre o produto. Uma nova tentativa pode apontar para um ataque, mas também pode apontar para uma instrução que era difícil de entender. Uma etapa de câmera abandonada pode significar que o usuário não conseguiu conceder permissão. Uma captura falha pode refletir brilho, um documento danificado ou um dispositivo que precisa de uma abordagem diferente.

O teste automatizado nos permite explorar como o fluxo responde a essas situações. Entender o que as pessoas reais experimentam exige olhar também para o comportamento do usuário. Um não pode substituir o outro.

Juntos, eles nos ajudam a separar um controle que está fazendo um trabalho útil de atritos que merecem investigação. O objetivo é dificultar o abuso, ao mesmo tempo em que ajuda usuários legítimos a concluir a verificação com instruções claras e um caminho sensato para se recuperar quando algo dá errado.

Uma descoberta tem que mudar algo

O valor de um exercício é o que acontece após a tentativa.

Uma fraqueza suspeita precisa de um caso reproduzível. Um engenheiro precisa entender qual controle estava envolvido e se a evidência apoia a alegação. Se uma correção for necessária, a tentativa original precisa ser executada novamente contra a mudança.

Também precisamos verificar o que essa mudança faz aos usuários legítimos. Um controle que rejeita mais ataques rejeitando mais pessoas criou outro problema para resolver.

Essa é a disciplina que queremos que este trabalho apoie: tentar, observar, investigar, melhorar e testar novamente. A animação mostra as tentativas. O trabalho por trás delas é o que importa.

Nós também podemos ser hackeados

Qualquer um pode ser hackeado, inclusive nós. Testes contínuos não eliminam essa possibilidade. Isso nos dá mais oportunidades de descobrir uma fraqueza e fazer algo a respeito.

Construímos infraestrutura de identidade e prevenção de fraude porque acreditamos que as pessoas devem ser capazes de provar quem são online com confiança. Nossa visão de humanizar a internet na era da IA depende de conquistar essa confiança na prática.

Isso significa entender como os atacantes se comportam, prestar atenção onde os usuários reais encontram dificuldades e ser honesto sobre o que nossas evidências podem nos dizer.

Um apelo aos líderes técnicos em nossa indústria

O risco cibernético é sistêmico na verificação de identidade. Dependemos de serviços conectados, integrações e pessoas, e a confiança em jogo vai além de qualquer provedor. Uma falha em uma empresa pode prejudicar indivíduos e enfraquecer a confiança em toda a indústria.

Se você é um diretor de tecnologia, um líder de engenharia ou um líder de segurança nesta indústria, nós o encorajamos a levar essa responsabilidade muito a sério. Atribua aos trabalhos de segurança proprietários claros, tempo e orçamento. Desafie o fluxo de verificação, os sistemas que lidam com dados de identidade, o acesso que as pessoas têm e a resposta que sua equipe daria a um incidente. Revisite essas suposições à medida que a tecnologia e os ataques mudam.

A reportagem da semana passada deve ser um alerta para se preparar. Devemos usar essa reportagem para fortalecer nossas próprias defesas, compartilhar lições defensivas úteis de forma responsável e agir sobre fraquezas verificadas. Esperar até que nossa própria empresa seja afetada torna esse trabalho tarde demais.

Nós nos incluímos nessa responsabilidade. Nós também podemos ser hackeados, e precisamos continuar a merecer a confiança que as pessoas depositam em nós.

Nossa indústria precisa se aprimorar. As pessoas estão nos confiando sua identidade. Devemos a elas o trabalho.

Perguntas frequentes

O que o red teaming de IA envolve no Didit?

Damos aos agentes de IA acesso ao nosso código fonte e a um ambiente de staging, então pedimos que eles desafiem as verificações de verificação. Os exemplos neste artigo incluem documentos de amostra falsificados, feeds de câmera artificiais e jornadas automatizadas. Os engenheiros ainda precisam verificar o resultado de cada fraqueza suspeita.

Como isso ajuda a detectar bots realizando a verificação?

Executar a automação nós mesmos cria exemplos de comportamento de bot para estudar. Isso nos ajuda a examinar sequências, novas tentativas e contexto juntamente com a evidência de verificação. Um único sinal comportamental não estabelece que um usuário é um bot ou que ocorreu fraude.

A animação prova que o Didit impede todos os ataques?

Não. A animação é uma composição de gravações de staging com telas repetidas. Ela mostra o processo de teste, não um benchmark de detecção ou uma promessa de que todos os ataques falharão.

Este trabalho pode melhorar a experiência para usuários reais?

Sim, pode nos ajudar a investigar onde o fluxo de verificação se torna difícil. Ainda precisamos considerar o comportamento real do usuário juntamente com os testes automatizados, para que possamos distinguir controles de segurança úteis de problemas como instruções pouco claras ou acesso difícil à câmera.

Se você está construindo uma jornada de verificação, explore Verificação de Usuário Didit e leia a documentação de vivacidade. Você também pode ver os preços ou começar gratuitamente.