Damos a la IA una tarea sencilla: intentar vulnerar Didit

En Didit, el red teaming con inteligencia artificial significa usar agentes de inteligencia artificial para desafiar nuestros flujos de verificación de identidad en un entorno de pruebas. Estudiamos los intentos y sus resultados para encontrar debilidades, ayudar a detectar bots que realizan verificaciones y comprender dónde los usuarios reales tienen dificultades.

Damos a los agentes acceso a nuestro código fuente y les pedimos que encuentren una forma de superar las comprobaciones en el entorno de pruebas. Intentan documentos falsificados, transmisiones de cámara inyectadas y recorridos automatizados a través de flujos de trabajo reales. Observamos lo que sucede, investigamos los resultados y usamos lo que aprendemos para mejorar el sistema.

También usamos este trabajo para ayudar a detectar bots que realizan verificaciones y comprender el comportamiento del usuario. Ver cómo la automatización se mueve a través de un flujo nos ayuda a hacer mejores preguntas tanto sobre el fraude como sobre la experiencia de la persona al otro lado de la pantalla.

Puntos clave

Probar todo el recorrido. Documentos falsificados, transmisiones de cámara artificiales y acciones automatizadas desafían diferentes partes de un flujo de verificación.

Investigar lo que sucedió. Cuando un agente afirma haber eludido un control, hay que comprobarlo con pruebas reproducibles.

Aprender del comportamiento. El tiempo y los reintentos pueden añadir contexto sobre la automatización, al mismo tiempo que revelan dónde los usuarios legítimos necesitan ayuda.

Hacer que los hallazgos sean útiles. El trabajo continúa a través de la investigación, las correcciones y las comprobaciones del efecto en personas reales.

La responsabilidad detrás de la pantalla

TechCrunch informó de una sospecha de violación de datos en un proveedor de verificación.

Para nosotros, la responsabilidad comienza con lo que las personas confían a una empresa de verificación. Un escaneo de pasaporte lleva su nombre, fotografía y otra información de identificación. Una selfie es un registro de su rostro. Puede restablecer una contraseña después de que se filtre. No puede restablecer su rostro.

Esa responsabilidad va más allá de decidir si un documento parece genuino o si una persona está presente. Incluye los servicios que procesan la solicitud, los permisos relacionados con los datos y las personas que operan el sistema. Una comprobación sólida al inicio de un recorrido no puede compensar una debilidad en otro lugar.

Por eso queremos desafiar nuestras suposiciones mientras aún tenemos la oportunidad de actuar sobre lo que encontramos.

Lo que realmente pedimos a los agentes que hagan

Una prueba normal comienza con un resultado esperado. Una prueba adversaria comienza con un objetivo que el sistema debe prevenir.

Para la verificación de identidad, eso podría significar que se acepte un documento falsificado o intentar que un rostro grabado pase como una persona presente. Podría significar sondear cómo responde el sistema cuando un cliente automatizado se mueve a través de un flujo de manera inesperada.

El agente puede inspeccionar el código, interactuar con el flujo de trabajo y ajustar su siguiente intento basándose en la respuesta. Eso nos da una forma útil de explorar suposiciones que un conjunto fijo de casos de prueba podría pasar por alto.

En el metraje adjunto, los agentes suben documentos de muestra, proporcionan transmisiones de cámara artificiales y realizan los pasos de verificación en el entorno de pruebas. La cámara se aleja de una pantalla a una pared de esas grabaciones para que pueda ver el rango de actividad.

Para obtener información sobre medios manipulados, consulte nuestra guía sobre ataques y detección de deepfakes.

La pared es una visualización del trabajo. Cada resultado aún debe ser verificado con la evidencia subyacente. Que un agente afirme haber eludido un control no demuestra que lo haya conseguido.

Nuestro enfoque incluye modelos de vanguardia y modelos abiertos con menos restricciones en las tareas que intentarán. Queremos una cobertura útil del comportamiento adversario, incluidos los intentos que un modelo podría negarse a explorar. La disposición del modelo a intentar un ataque no dice nada sobre si ese ataque tuvo éxito. Esa es una cuestión de ingeniería que debemos verificar.

Cómo el trabajo nos ayuda a comprender los bots

Un documento y una selfie nos cuentan parte de la historia. La forma en que ocurre una verificación puede añadir contexto.

Utilizamos estos ejercicios para ayudar a detectar bots que realizan verificaciones y para aprender más sobre el comportamiento de los bots. Ejecutar la automatización nosotros mismos nos da ejemplos que podemos estudiar, comparar y desafiar a medida que la automatización cambia.

Podemos examinar dónde se detiene un intento automatizado, qué repite después de un error y si sigue la misma secuencia cada vez. También podemos considerar si ese comportamiento se ajusta al dispositivo y al contexto de la sesión. Estas comparaciones ayudan a que una investigación sea más específica.

Estas son preguntas para investigar, no reglas que establecen el fraude por sí solas. Un usuario rápido puede simplemente saber qué hacer. Una persona que reintenta varias veces puede tener poca iluminación o una conexión poco fiable. Alguien que usa tecnología de asistencia puede interactuar de manera diferente al patrón que esperaba un diseñador.

La detección útil de bots debe tener en cuenta esa variación. El tiempo, la repetición y el contexto del dispositivo deben considerarse junto con la evidencia de verificación. Tratar una acción inusual como prueba de abuso empeoraría la experiencia para las personas reales.

El mismo trabajo nos enseña dónde las personas tienen dificultades

Estudiar el comportamiento también nos ayuda a hacer mejores preguntas sobre el producto. Un reintento puede indicar un ataque, pero también puede indicar una instrucción difícil de entender. Un paso de cámara abandonado podría significar que el usuario no pudo otorgar permiso. Una captura fallida podría reflejar un resplandor, un documento dañado o un dispositivo que necesita un enfoque diferente.

Las pruebas automatizadas nos permiten explorar cómo responde el flujo a estas situaciones. Comprender lo que experimentan las personas reales requiere observar también el comportamiento del usuario. Uno no puede sustituir al otro.

Juntos, nos ayudan a separar un control que está haciendo un trabajo útil de la fricción que merece investigación. El objetivo es dificultar el abuso mientras se ayuda a los usuarios legítimos a completar la verificación con instrucciones claras y un camino sensato para recuperarse cuando algo sale mal.

Un hallazgo tiene que cambiar algo

El valor de un ejercicio es lo que sucede después del intento.

Una debilidad sospechada necesita un caso reproducible. Un ingeniero necesita comprender qué control estuvo involucrado y si la evidencia respalda la afirmación. Si se necesita una corrección, el intento original debe ejecutarse nuevamente contra el cambio.

También necesitamos verificar qué hace ese cambio a los usuarios legítimos. Un control que rechaza más ataques al rechazar a más personas ha creado otro problema que resolver.

Esa es la disciplina que queremos que este trabajo apoye: intentar, observar, investigar, mejorar y volver a probar. La animación muestra los intentos. El trabajo detrás de ellos es lo que importa.

También podemos ser hackeados

Cualquiera puede ser hackeado, incluyéndonos a nosotros. Las pruebas continuas no eliminan esa posibilidad. Nos dan más oportunidades para descubrir una debilidad y hacer algo al respecto.

Construimos infraestructura para la verificación de identidad y la prevención del fraude porque creemos que las personas deberían poder demostrar quiénes son en línea con confianza. Nuestra visión de humanizar internet en la era de la inteligencia artificial depende de ganarse esa confianza en la práctica.

Eso significa comprender cómo se comportan los atacantes, prestar atención a dónde los usuarios reales tienen dificultades y ser honestos sobre lo que nuestra evidencia puede decirnos.

Un llamado a los líderes técnicos de nuestra industria

El riesgo cibernético es sistémico en la verificación de identidad. Dependemos de servicios conectados, integraciones y personas, y la confianza en juego va más allá de cualquier proveedor. Un fallo en una empresa puede dañar a las personas y debilitar la confianza en toda la industria.

Si usted es un director de tecnología, un líder de ingeniería o un líder de seguridad en esta industria, le animamos a tomar esa responsabilidad muy en serio. Dé a la seguridad responsables definidos, tiempo y presupuesto. Desafíe el flujo de verificación, los sistemas que manejan los datos de identidad, el acceso que tienen las personas y la respuesta que su equipo daría a un incidente. Revise esas suposiciones a medida que la tecnología y los ataques cambian.

Los informes de la semana pasada deberían ser una llamada de atención para prepararse. Debemos usarlos para fortalecer nuestras propias defensas, compartir lecciones defensivas útiles de manera responsable y actuar sobre las debilidades verificadas. Esperar a que nuestra propia empresa se vea afectada sería actuar demasiado tarde.

Nos incluimos en esta responsabilidad. También podemos ser hackeados, y necesitamos seguir ganando la confianza que la gente deposita en nosotros.

Nuestra industria necesita dar un paso adelante. La gente nos confía su identidad. Tenemos la responsabilidad de hacer ese trabajo.

Preguntas frecuentes

¿Qué implica el red teaming con inteligencia artificial en Didit?

Damos a los agentes de inteligencia artificial acceso a nuestro código fuente y a un entorno de pruebas, luego les pedimos que desafíen las comprobaciones de verificación. Los ejemplos de este artículo incluyen documentos de muestra falsificados, transmisiones de cámara artificiales y recorridos automatizados. Los ingenieros aún deben verificar el resultado de cada debilidad sospechada.

¿Cómo ayuda esto a detectar bots que realizan verificaciones?

Ejecutar la automatización nosotros mismos crea ejemplos de comportamiento de bots para estudiar. Nos ayuda a examinar secuencias, reintentos y contexto junto con la evidencia de verificación. Una única señal de comportamiento no establece que un usuario sea un bot o que haya ocurrido un fraude.

¿La animación prueba que Didit detiene todos los ataques?

No. La animación es una composición de grabaciones del entorno de pruebas con pantallas repetidas. Muestra el proceso de prueba, no una evaluación del rendimiento de detección ni una promesa de que todos los ataques fallarán.

¿Puede este trabajo mejorar la experiencia para los usuarios reales?

Sí, puede ayudarnos a investigar dónde el flujo de verificación se vuelve difícil. Todavía necesitamos considerar el comportamiento real del usuario junto con las pruebas automatizadas, para que podamos distinguir los controles de seguridad útiles de problemas como instrucciones poco claras o acceso difícil a la cámara.

Si está construyendo un recorrido de verificación, explore Verificación de usuario de Didit y lea la documentación de prueba de vida. También puede ver los precios o empezar gratis.