Nous confions une tâche simple à l'IA : tenter de pirater Didit

Chez Didit, le red teaming IA signifie l'utilisation d'agents d'intelligence artificielle (IA) pour mettre à l'épreuve nos flux de vérification d'identité dans un environnement de staging. Nous étudions les tentatives et leurs résultats pour trouver des faiblesses, aider à détecter les robots effectuant la vérification et comprendre où les utilisateurs réels rencontrent des difficultés.

Lancer l’animation du zoomMettre l’animation en pause

Nous donnons aux agents l'accès à notre code source et leur demandons de trouver un moyen de contourner les vérifications en staging. Ils essaient des documents falsifiés, des flux de caméra injectés et des parcours automatisés à travers des flux de travail réels. Nous observons ce qui se passe, étudions les résultats et utilisons ce que nous apprenons pour améliorer le système.

Nous utilisons également ce travail pour aider à détecter les robots effectuant la vérification et à comprendre le comportement des utilisateurs. Voir comment l'automatisation se déplace dans un flux nous aide à poser de meilleures questions sur la fraude et l'expérience de la personne de l'autre côté de l'écran.

Points clés à retenir

Tester l'ensemble du parcours. Les documents falsifiés, les flux de caméra artificiels et les actions automatisées mettent à l'épreuve différentes parties d'un flux de vérification.

Enquêter sur ce qui s'est passé. Une affirmation de contournement par un agent doit être vérifiée par des preuves reproductibles.

Apprendre du comportement. Le timing et les tentatives répétées peuvent ajouter du contexte sur l'automatisation, tout en révélant où les utilisateurs légitimes ont besoin d'aide.

Rendre les résultats utiles. Le travail se poursuit par l'enquête, les corrections et les vérifications de l'effet sur les personnes réelles.

La responsabilité derrière l'écran

TechCrunch a signalé une suspicion de violation de données chez un fournisseur de vérification.

Pour nous, la responsabilité commence par ce que les gens confient à une entreprise de vérification. Un scan de passeport contient votre nom, votre photographie et d'autres informations d'identification. Un selfie est un enregistrement de votre visage. Vous pouvez réinitialiser un mot de passe après une fuite. Vous ne pouvez pas réinitialiser votre visage.

Cette responsabilité ne se limite pas à décider si un document semble authentique ou si une personne est présente. Elle inclut les services traitant la demande, les autorisations concernant les données et les personnes qui exploitent le système. Un contrôle solide au début d'un parcours ne peut pas compenser une faiblesse ailleurs.

C'est pourquoi nous voulons remettre en question nos hypothèses tant que nous avons encore la possibilité d'agir sur ce que nous trouvons.

Ce que nous demandons réellement aux agents de faire

Un test normal commence par un résultat attendu. Un test offensif commence par un objectif que le système est censé empêcher.

Pour la vérification d'identité, cela pourrait signifier faire accepter un document falsifié ou essayer de faire passer un visage enregistré pour une personne présente. Cela pourrait signifier sonder la façon dont le système réagit lorsqu'un client automatisé se déplace dans un flux de manière inattendue.

L'agent peut inspecter le code, interagir avec le flux de travail et ajuster sa prochaine tentative en fonction de la réponse. Cela nous donne un moyen utile d'explorer des hypothèses qu'un ensemble fixe de cas de test pourrait manquer.

Dans les séquences d'accompagnement, les agents téléchargent des spécimens de documents, fournissent des flux de caméra artificiels et parcourent les étapes de vérification en staging. La caméra recule d'un écran à un mur de ces enregistrements afin que vous puissiez voir l'étendue de l'activité.

Pour plus d'informations sur les médias manipulés, consultez notre guide sur les attaques et la détection des deepfakes.

Le mur est une visualisation du travail. Chaque résultat doit encore être vérifié par rapport aux éléments de preuve disponibles. Le fait qu'un agent dise avoir trouvé un contournement ne le rend pas réel.

Dans un test en staging

Un agent agit, observe et ajuste son approche.

1. Essai2. Réponse3. Ajustement

Agent IA

Test chez Didit

Spécimen falsifié

→

Étape document

Flux caméra artificiel

→

Étape caméra

Actions automatisées

→

Parcours de vérification

←Le flux renvoie sa réponse à l’agent.

L’agent peut examiner le code source et choisir une entrée à tester en staging. Ces chemins montrent des points d’accès, pas des contournements réussis.

La réponse indique à l’agent ce qui s’est passé. Toute affirmation de contournement d’un contrôle exige encore une vérification indépendante.

L’agent examine la réponse et ajuste son prochain essai. Ce retour lui permet d’explorer des situations qui dépassent un cas de test fixe.

Une faiblesse soupçonnée déclenche une enquête.

Reproduire→Corriger si nécessaire→Retester

Vérifiez aussi l’effet sur les utilisateurs légitimes.

Notre approche inclut des modèles de pointe et des modèles ouverts avec moins de restrictions sur les tâches qu'ils tenteront. Nous voulons une couverture utile du comportement d’un attaquant, y compris les tentatives qu'un modèle pourrait autrement refuser d'explorer. La volonté du modèle d'essayer une attaque ne dit rien sur le succès de cette attaque. C'est une question d'ingénierie que nous devons vérifier.

Comment le travail nous aide à comprendre les robots

Un document et un selfie nous racontent une partie de l'histoire. La manière dont une vérification se déroule peut ajouter du contexte.

Nous utilisons ces exercices pour aider à détecter les robots effectuant la vérification et pour en apprendre davantage sur le comportement des robots. Exécuter directement l'automatisation nous donne des exemples que nous pouvons étudier, comparer et remettre en question à mesure que l'automatisation évolue.

Nous pouvons examiner où une tentative automatisée s'interrompt, ce qu'elle répète après une erreur et si elle suit la même séquence à chaque fois. Nous pouvons également considérer si ce comportement correspond au contexte de l'appareil et de la session. Ces comparaisons aident à rendre une enquête plus spécifique.

Ce sont des questions à examiner, et non des règles qui établissent la fraude à elles seules. Un utilisateur rapide peut simplement savoir quoi faire. Une personne qui réessaie plusieurs fois peut avoir un mauvais éclairage ou une connexion peu fiable. Quelqu'un utilisant une technologie d'assistance peut interagir différemment du modèle attendu par un concepteur.

Une détection utile des robots doit tenir compte de cette variation. Le timing, la répétition et le contexte de l'appareil doivent être considérés en même temps que les preuves de vérification. Traiter une action inhabituelle comme une preuve d'abus rendrait l'expérience pire pour les personnes réelles.

Le même travail nous apprend où les gens rencontrent des difficultés

L'étude du comportement nous aide également à poser de meilleures questions sur les produits. Une nouvelle tentative peut indiquer une attaque, mais elle peut aussi indiquer une instruction difficile à comprendre. Une étape de caméra abandonnée peut signifier que l'utilisateur n'a pas pu accorder l'autorisation. Une capture échouée peut refléter un éblouissement, un document endommagé ou un appareil nécessitant une approche différente.

Les tests automatisés nous permettent d'explorer comment le flux réagit à ces situations. Comprendre ce que les personnes réelles vivent nécessite également d'examiner le comportement des utilisateurs. L'un ne peut pas remplacer l'autre.

Ensemble, ils nous aident à distinguer un contrôle qui fait un travail utile d'une friction qui mérite une enquête. L'objectif est de rendre l'abus plus difficile tout en aidant les utilisateurs légitimes à effectuer la vérification avec des instructions claires et un chemin sensé pour récupérer en cas de problème.

Une découverte doit changer quelque chose

La valeur d'un exercice réside dans ce qui se passe après la tentative.

Une faiblesse suspectée nécessite un cas reproductible. Un ingénieur doit comprendre quel contrôle était impliqué et si les preuves étayent l'affirmation. Si une correction est nécessaire, la tentative originale doit être exécutée à nouveau par rapport au changement.

Nous devons également vérifier ce que ce changement fait aux utilisateurs légitimes. Un contrôle qui rejette plus d'attaques en rejetant plus de personnes a créé un autre problème à résoudre.

C'est la discipline que nous voulons que ce travail soutienne : tenter, observer, enquêter, améliorer et tester à nouveau. L’animation montre les tentatives. Le travail derrière elles est ce qui compte.

Nous pouvons aussi être piratés

Tout le monde peut être piraté, y compris nous. Les tests continus n'éliminent pas cette possibilité. Ils nous donnent plus d'opportunités de découvrir une faiblesse et d'y remédier.

Nous construisons une infrastructure pour la vérification d’identité et la prévention de la fraude parce que nous pensons que les gens devraient pouvoir prouver qui ils sont en ligne en toute confiance. Notre vision d'humaniser l'internet à l'ère de l'IA dépend de l'obtention de cette confiance dans la pratique.

Cela signifie comprendre comment les attaquants se comportent, prêter attention aux difficultés des utilisateurs réels et être honnête sur ce que nos preuves peuvent nous dire.

Un appel aux leaders techniques de notre industrie

Le cyber risque est systémique dans la vérification d'identité. Nous dépendons de services connectés, d'intégrations et de personnes, et la confiance en jeu dépasse tout fournisseur. Une défaillance dans une entreprise peut nuire aux individus et affaiblir la confiance dans l'ensemble de l'industrie.

Si vous êtes un directeur technique, un leader en ingénierie ou un leader en sécurité dans cette industrie, nous vous encourageons à prendre cette responsabilité très au sérieux. Désignez des responsables pour la sécurité, avec du temps et un budget pour agir. Remettez en question le flux de vérification, les systèmes qui gèrent les données d'identité, l'accès des personnes et la réponse que votre équipe apporterait à un incident. Revoyez ces hypothèses à mesure que la technologie et les attaques évoluent.

Le rapport de la semaine dernière devrait être un signal d'alarme pour se préparer. Nous devrions l'utiliser pour renforcer nos propres défenses, partager de manière responsable des leçons défensives utiles et agir sur les faiblesses vérifiées. Attendre que notre propre entreprise soit touchée, c’est agir trop tard.

Nous nous incluons dans cette responsabilité. Nous pouvons aussi être piratés, et nous devons continuer à mériter la confiance que les gens nous accordent.

Notre industrie doit se mobiliser. Les gens nous confient leur identité. Nous leur devons ce travail.

Questions fréquemment posées

Qu'implique le red teaming IA chez Didit?

Nous donnons aux agents d'IA l'accès à notre code source et à un environnement de staging, puis nous leur demandons de mettre à l'épreuve les vérifications. Les exemples de cet article incluent des spécimens de documents falsifiés, des flux de caméra artificiels et des parcours automatisés. Les ingénieurs doivent encore vérifier le résultat de chaque faiblesse suspectée.

Comment ce travail contribue à détecter les robots effectuant la vérification ?

Le fait de lancer directement des processus automatisés crée des exemples de comportement de robot à étudier. Cela nous aide à examiner les séquences, les tentatives répétées et le contexte en même temps que les preuves de vérification. Un seul signal comportemental n'établit pas qu'un utilisateur est un robot ou qu'une fraude a eu lieu.

L’animation apporte la preuve que Didit arrête toutes les attaques ?

Non. L’animation est un composite d'enregistrements de staging avec des écrans répétés. Elle montre le processus de test, et non un indice de référence de détection ou une promesse que chaque attaque échouera.

Ce travail peut améliorer l'expérience des utilisateurs réels ?

Oui, cela peut nous aider à enquêter sur les points où le flux de vérification devient difficile. Nous devons toujours prendre en compte le comportement réel des utilisateurs en même temps que les tests automatisés, afin de pouvoir distinguer les contrôles de sécurité utiles des problèmes tels que des instructions peu claires ou un accès difficile à la caméra.

Si vous construisez un parcours de vérification, explorez la vérification utilisateur de Didit et lisez la documentation sur la détection du vivant. Vous pouvez également voir les tarifs ou commencer gratuitement.