Donem a la intel·ligència artificial una tasca senzilla: intentar trencar Didit
Així utilitzem agents d’IA per posar a prova Didit, estudiar bots i millorar l’experiència dels usuaris, amb una crida a reforçar la seguretat en tot el sector.
A Didit, el red teaming amb intel·ligència artificial significa utilitzar agents d'intel·ligència artificial per desafiar els nostres fluxos de verificació d'identitat en un entorn de prova. Estudiem els intents i els seus resultats per trobar punts febles, ajudar a detectar bots que realitzen la verificació i entendre on els usuaris reals tenen dificultats.
Reprodueix l’animació de zoomPausa l’animació
Donem als agents accés al nostre codi font i els demanem que trobin una manera de superar les comprovacions en l'entorn de prova. Proven documents falsificats, fluxos de vídeo de la càmera injectades i recorreguts automatitzats a través de fluxos de treball reals. Mirem què passa, investiguem els resultats i utilitzem el que aprenem per millorar el sistema.
També utilitzem aquest treball per ajudar a detectar bots que realitzen la verificació i entendre el comportament de l'usuari. Veure com l'automatització es mou a través d'un flux ens ajuda a fer millors preguntes sobre el frau i l'experiència de la persona a l'altra banda de la pantalla.
Punts clau
Prova tot el recorregut. Documents falsificats, fluxos de vídeo de la càmera artificials i accions automatitzades desafien diferents parts d'un flux de verificació.
Investiga què va passar. Un agent que afirma haver eludit el sistema s'ha de comprovar amb proves reproduïbles.
Aprèn del comportament. El temps i els reintents poden afegir context sobre l'automatització, alhora que revelen on els usuaris legítims necessiten ajuda.
Fes que les troballes siguin útils. El treball continua a través de la investigació, les correccions i les comprovacions de l'efecte en persones reals.
La responsabilitat darrere de la pantalla
TechCrunch va informar d'una sospita de bretxa en un proveïdor de verificació.
Per a nosaltres, la responsabilitat comença amb el que la gent confia a una empresa de verificació. Un escaneig de passaport conté el vostre nom, fotografia i altra informació d'identificació. Un selfie és un registre de la vostra cara. Podeu restablir una contrasenya després que es filtri. No podeu restablir la vostra cara.
Aquesta responsabilitat va més enllà de decidir si un document sembla genuí o si una persona està present. Inclou els serveis que processen la sol·licitud, els permisos al voltant de les dades i les persones que operen el sistema. Una comprovació forta al principi d'un recorregut no pot compensar una debilitat en un altre lloc.
Per això volem desafiar les nostres suposicions mentre encara tenim l'oportunitat d'actuar sobre el que trobem.
Què demanem realment als agents que facin
Una prova normal comença amb un resultat esperat. Una prova adversària comença amb un objectiu que el sistema hauria de prevenir.
Per a la verificació d'identitat, això podria significar que s'accepti un document falsificat o intentar que una cara gravada passi per una persona present. Podria significar investigar com respon el sistema quan un client automatitzat es mou a través d'un flux d'una manera inesperada.
L'agent pot inspeccionar el codi, interactuar amb el flux de treball i ajustar el seu següent intent segons la resposta. Això ens proporciona una manera útil d'explorar suposicions que un conjunt fix de casos de prova podria passar per alt.
En el metratge adjunt, els agents carreguen documents de mostra, proporcionen fluxos de vídeo de la càmera artificials i realitzen els passos de verificació en l'entorn de prova. La càmera s'allunya d'una pantalla a una paret d'aquests enregistraments perquè pugueu veure el rang d'activitat.
Per obtenir informació sobre mitjans manipulats, consulteu la nostra guia sobre atacs i detecció de deepfakes.
La paret és una visualització del treball. Cada resultat encara s'ha de comprovar amb l'evidència subjacent. Que un agent digui que ha trobat una elusió no la converteix en una.
Dins d’una prova en staging
Un agent actua, observa i ajusta l’intent.
L’agent pot examinar el codi font i triar una entrada per provar en staging. Aquests camins mostren punts d’accés, no controls superats.
La resposta informa l’agent del que ha passat. Afirmar que s’ha eludit un control encara requereix una verificació independent.
L’agent examina la resposta i ajusta el següent intent. Aquesta informació permet explorar més enllà d’un cas de prova fix.
Comprova també l’efecte en usuaris legítims.
El nostre enfocament inclou models d'avantguarda i models oberts amb menys restriccions en les tasques que intentaran. Volem una cobertura útil del comportament adversari, inclosos els intents que un model podria rebutjar explorar. La voluntat del model d'intentar un atac no diu res sobre si aquest atac va tenir èxit. Aquesta és una qüestió d'enginyeria que hem de verificar.
Com el treball ens ajuda a entendre els bots
Un document i un selfie ens expliquen part de la història. La manera com es produeix una verificació pot afegir context.
Utilitzem aquests exercicis per ajudar a detectar bots que realitzen la verificació i per aprendre més sobre el comportament dels bots. Executar l'automatització nosaltres mateixos ens proporciona exemples que podem estudiar, comparar i desafiar a mesura que l'automatització canvia.
Podem examinar on un intent automatitzat es pausa, què repeteix després d'un error i si segueix la mateixa seqüència cada vegada. També podem considerar si aquest comportament s'ajusta al dispositiu i al context de la sessió. Aquestes comparacions ajuden a fer que una investigació sigui més específica.
Aquestes són preguntes per investigar, no regles que estableixen el frau per si soles. Un usuari ràpid pot simplement saber què fer. Una persona que reintenta diverses vegades pot tenir poca il·luminació o una connexió poc fiable. Algú que utilitza tecnologia d'assistència pot interactuar de manera diferent del patró que esperava un dissenyador.
Una detecció útil de bots ha de tenir en compte aquesta variació. El temps, la repetició i el context del dispositiu s'han de considerar juntament amb l'evidència de verificació. Considerar una acció inusual com a prova d'abús empitjoraria l'experiència per a les persones reals.
El mateix treball ens ensenya on la gent té dificultats
Estudiar el comportament també ens ajuda a fer millors preguntes sobre el producte. Un reintent pot apuntar a un atac, però també pot apuntar a una instrucció que era difícil d'entendre. Un pas de càmera abandonat podria significar que l'usuari no va poder concedir permís. Una captura fallida podria reflectir enlluernament, un document danyat o un dispositiu que necessita un enfocament diferent.
Les proves automatitzades ens permeten explorar com el flux respon a aquestes situacions. Comprendre el que experimenten les persones reals requereix observar també el comportament de l'usuari. Un no pot substituir l'altre.
Junts, ens ajuden a separar un control que fa un treball útil de la fricció que mereix investigació. L'objectiu és dificultar l'abús alhora que ajudem els usuaris legítims a completar la verificació amb instruccions clares i un camí sensat per reprendre el procés quan alguna cosa va malament.
Una troballa ha de canviar alguna cosa
El valor d'un exercici és el que passa després de l'intent.
Una sospita de debilitat necessita un cas reproduïble. Un enginyer ha d'entendre quin control estava implicat i si l'evidència recolza l'afirmació. Si cal una correcció, l'intent original s'ha de tornar a executar contra el canvi.
També hem de comprovar què fa aquest canvi als usuaris legítims. Un control que rebutja més atacs rebutjant més persones ha creat un altre problema a resoldre.
Aquesta és la disciplina que volem que aquest treball recolzi: intentar, observar, investigar, millorar i tornar a provar. L’animació mostra els intents. El treball que hi ha darrere és el que importa.
També ens poden hackejar
Qualsevol pot ser hackejat, inclosos nosaltres. Les proves contínues no eliminen aquesta possibilitat. Ens donen més oportunitats de descobrir una debilitat i prendre mesures per corregir aquesta debilitat.
Construïm infraestructura per a la verificació d'identitat i la prevenció del frau perquè creiem que la gent hauria de poder demostrar qui són en línia amb confiança. La nostra visió d'humanitzar Internet en l'era de la intel·ligència artificial depèn de guanyar aquesta confiança a la pràctica.
Això significa entendre com es comporten els atacants, prestar atenció a on els usuaris reals tenen dificultats i ser honestos sobre el que les nostres proves ens poden dir.
Una crida als líders tècnics de la nostra indústria
El risc cibernètic és sistèmic en la verificació d'identitat. Depenem de serveis connectats, integracions i persones, i la confiança en joc va més enllà de qualsevol proveïdor. Una fallada en una empresa pot perjudicar les persones i debilitar la confiança en tota la indústria.
Si sou un director de tecnologia, un líder d'enginyeria o un líder de seguretat en aquesta indústria, us animem a prendre aquesta responsabilitat molt seriosament. Doneu al treball de seguretat propietaris clars, temps i pressupost. Desafieu el flux de verificació, els sistemes que gestionen les dades d'identitat, l'accés que tenen les persones i la resposta que el vostre equip donaria a un incident. Revisiteu aquestes suposicions a mesura que la tecnologia i els atacs canvien.
Les notícies de la setmana passada haurien de ser una crida d’atenció perquè ens preparem. L'hem d'utilitzar per enfortir les nostres pròpies defenses, compartir lliçons defensives útils de manera responsable i actuar sobre les debilitats verificades. Esperar fins que la nostra pròpia empresa es vegi afectada fa que aquest treball sigui massa tard.
Ens incloem en aquesta responsabilitat. També ens poden hackejar, i hem de seguir guanyant la confiança que la gent diposita en nosaltres.
La nostra indústria ha de fer un pas endavant. La gent ens confia la seva identitat. Els devem el treball.
Preguntes freqüents
Què implica el red teaming amb intel·ligència artificial a Didit?
Donem als agents d'intel·ligència artificial accés al nostre codi font i a un entorn de prova, i després els demanem que desafiïn les comprovacions de verificació. Els exemples d'aquest article inclouen documents de mostra falsificats, fluxos de vídeo de la càmera artificials i recorreguts automatitzats. Els enginyers encara han de verificar el resultat de cada sospita de debilitat.
Com ajuda això a detectar bots que realitzen la verificació?
Executar l'automatització nosaltres mateixos crea exemples de comportament de bots per estudiar. Ens ajuda a examinar seqüències, reintents i context juntament amb l'evidència de verificació. Un únic senyal de comportament no estableix que un usuari sigui un bot o que s'hagi produït frau.
L’animació demostra que Didit atura tots els atacs?
No. L’animació és una composició d'enregistraments de l'entorn de prova amb pantalles repetides. Mostra el procés de prova, no una referència de detecció ni una promesa que tots els atacs fallaran.
Pot aquest treball millorar l'experiència per als usuaris reals?
Sí, pot ajudar a investigar on el flux de verificació es torna difícil. Encara hem de considerar el comportament real de l'usuari juntament amb les proves automatitzades, de manera que puguem distingir els controls de seguretat útils de problemes com ara instruccions poc clares o accés difícil a la càmera.
Si esteu construint un recorregut de verificació, exploreu Verificació d'Usuaris de Didit i llegiu la documentació de liveness. També podeu veure els preus o començar de franc.
Articles relacionats
- Donem a la intel·ligència artificial una tasca senzilla: intentar trencar Didit
- Coneix el teu agent: per què cada plataforma LLM necessitarà verificació d'identitat (CA)
- Alerta A7 al Regne Unit: Xarxa per eludir sancions i superar controls KYC
- Codi de comerç de quatre dígits: la clau per al KYC de les memecoins
- Corea permet a un intercanvi de criptomonedes accedir a registres governamentals per a KYC en lloc de demanar documents
- La proposta de FinCEN sobre Banque Misr: un banc i 103 empreses fantasma