Deepfakes: tipus, detecció i defensa (CA)

Un deepfake és un mitjà sintètic o manipulat creat amb tècniques d'aprenentatge automàtic per fer que una persona sembli dir, fer o presentar alguna cosa que no va ocórrer. Els deepfakes poden alterar o generar imatges, vídeo i àudio; en els atacs d'identitat, poden suplantar una persona real, crear una persona sintètica, modificar proves d'identitat o introduir mitjans falsificats en un flux de verificació remota.

La defensa contra els deepfakes no és un detector únic. Les decisions fiables combinen la procedència dels mitjans, l'anàlisi forense, la captura de confiança, la detecció d'atacs de presentació, la vinculació d'identitats, els senyals del dispositiu i la xarxa, el context de la transacció i un procés d'escalada per a casos incerts.

Aspectes clau

• Deepfake és una categoria de mitjans, no un atac. Els intercanvis de cares, la recreació, la sincronització labial, la clonació de veu, les persones totalment generades i els documents alterats creen proves i riscos diferents.
• Els atacs de presentació i d'injecció són diferents. Un atac de presentació mostra un artefacte a un sensor real; un atac d'injecció insereix mitjans falsificats després o en lloc del sensor.
• La inspecció visual humana no és un control suficient. La compressió i els nous generadors esborren els artefactes coneguts, mentre que els mitjans genuïns també poden semblar inusuals.
• Les puntuacions de detecció són condicionals. Els resultats depenen del generador, l'atac, la ruta de captura, la compressió, la població, el llindar i l'entorn operatiu utilitzat en les proves.
• La verificació és més forta que la sola aparença. Una sol·licitud d'alt risc ha d'estar vinculada a una identitat, un dispositiu, un canal autenticat i un procés d'aprovació independent.

Què és un deepfake?

El terme combina “aprenentatge profund” (deep learning) i “falsificació” (fake). Originalment descrivia vídeos amb intercanvi de cares, però l'ús comú ara inclou imatges, vídeos i veus realistes generades o manipulades per IA. La qüestió definidora no és si cada píxel és generat. És si la manipulació computacional crea proves enganyoses d'identitat, parla, comportament o origen.

Els deepfakes pertanyen a la categoria més àmplia de mitjans sintètics. Els mitjans sintètics també tenen usos legítims en cinema, accessibilitat, educació, localització, privacitat i treballs creatius. El risc de seguretat apareix quan els mitjans s'utilitzen per fer una afirmació falsa, especialment una afirmació sobre qui està present, qui va autoritzar una acció o d'on provenen els mitjans.

Deepfake, cheapfake i identitat sintètica

• Deepfake: mitjans generats o manipulats amb mètodes d'aprenentatge automàtic per imitar o fabricar una persona, objecte o esdeveniment.
• Cheapfake: mitjans enganyosos produïts amb edició més senzilla, reetiquetatge, canvis de velocitat, retall selectiu o reutilització fora del seu context original.
• Identitat sintètica: una identitat construïda a partir d'atributs fabricats i reals. Pot utilitzar mitjans deepfake, però el registre d'identitat —no només els mitjans— és l'atac.
• Face morph: un retrat barrejat de dues o més persones, sovint per fer que el resultat s'assembli a múltiples identitats.
• Replay: mitjans genuïns o manipulats reproduïts en un sistema de captura. El contingut pot ser real mentre que l'afirmació de presència en viu és falsa.

Aquestes categories poden solapar-se. Un defraudador pot combinar un document robat, un retrat modificat, un intercanvi de cares en temps real, un proxy residencial i un compte compromès en un sol intent.

Quins tipus de deepfakes existeixen?

Tipus	Què canvia	Risc d'identitat típic	Capes de control útils
Intercanvi de cares	Una cara es mapeja sobre una altra persona	Suplantació en l'onboarding, trucades o recuperació de comptes	Captura de confiança, prova de vida, comparació facial, comprovacions d'injecció
Recreació facial	L'expressió, la postura o la mirada són impulsades per una altra font	Passar indicacions o imitar comportaments en viu	Pistes impredictibles, anàlisi temporal, integritat del sensor
Sincronització labial	El moviment de la boca s'altera per coincidir amb el nou àudio	Declaracions fabricades o suplantació de trucades	Coherència àudio-vídeo, procedència, confirmació independent
Clonació de veu	La parla se sintetitza en una veu objectiu	Enginyeria social de pagament o restabliment de credencials	Trucada de retorn, autenticació forta, doble aprovació, anàlisi d'àudio
Persona totalment generada	La imatge o el vídeo mostren una persona que no existeix	Comptes sintètics, perfils falsos, reclutament de mules	Proves d'identitat, comprovacions de base de dades, anàlisi de dispositius i xarxes
Manipulació de documents	El retrat, el text, el disseny o les característiques de seguretat s'alteren	Proves d'identitat falses	Validació de documents, captura de documents en viu, NFC o comprovacions de l'emissor
Face morph	Múltiples cares es barregen en un retrat	Un document pot semblar coincidir amb més d'una persona	Detecció de morph, referència de qualitat de l'emissor, revisió humana

Cap fila té un control únic perfecte. Un detector de cares no pot establir l'autenticitat del document. La procedència del contingut no pot provar la identitat real del signant. La prova de vida al sensor no detecta automàticament els mitjans injectats aigües avall.

Com es creen els deepfakes?

Els deepfakes moderns es poden produir amb diverses famílies de models. Els detalls tècnics difereixen, però el flux de treball pràctic sol incloure la recollida de fonts, l'aprenentatge de representacions, la generació, la composició i el postprocessament.

1. Es recull el material font

L'atacant recull imatges, vídeos o enregistraments de veu de l'objectiu. Entrevistes públiques, perfils socials, reunions de vídeo, documents filtrats i captures de verificació anteriors poden convertir-se en material font. Per a identitats totalment generades, el model crea un nou subjecte en lloc de copiar una persona.

2. El model aprèn o conserva les característiques d'identitat

Els sistemes d'intercanvi de cares codifiquen l'estructura i l'aparença facial, i després representen la identitat objectiu sobre un intèrpret font. Els sistemes de recreació transfereixen la postura o l'expressió. Els sistemes de veu aprenen les característiques de l'orador i generen parla a partir de text o d'una altra veu.

3. Es genera contingut sintètic

Les xarxes generatives adversàries, els autoencoders, els models de difusió i els sistemes de renderització neuronal poden contribuir. La família del model per si sola no diu als defensors quin artefacte romandrà; diferents dades d'entrenament i postprocessament produeixen diferents traces.

4. El resultat es compon i es corregeix

La barreja, la correcció de color, la il·luminació, la neteja d'àudio, la interpolació de fotogrames i la sincronització labial fan que la sortida sigui més coherent. Un defraudador pot afegir deliberadament desenfocament o compressió per amagar les traces del generador.

5. Es lliura el mitjà

El lliurament determina la superfície d'atac. Un fitxer es pot carregar, mostrar en una pantalla, imprimir, reproduir durant una videotrucada, encaminar-se a través d'una càmera virtual o injectar-se entre el component de captura i el servidor.

Aquest pas final és la raó per la qual una definició purament forense no és suficient per als sistemes d'identitat. La mateixa cara generada crea una amenaça diferent quan es publica públicament, es mostra a una càmera o s'injecta en un SDK de verificació.

Com s'utilitzen els deepfakes en els atacs d'identitat?

Atac de presentació

L'atacant presenta una foto, pantalla, màscara impresa, reproducció o un altre artefacte a la càmera legítima o al sensor biomètric. La norma ISO/IEC 30107 anomena el control en aquest límit de captura Detecció d'Atacs de Presentació (PAD). La detecció de vida és un subconjunt de PAD.

Atac d'injecció

L'atacant ignora o interfereix amb la captura esperada i introdueix mitjans falsificats en la ruta de processament. Exemples inclouen càmeres virtuals, emuladors, hooks, SDKs modificats, sol·licituds de xarxa manipulades o substitució de fitxers al costat del servidor.

NIST SP 800-63A-4 tracta la prevenció d'injeccions i la detecció de mitjans falsificats com a requisits diferents. Assenyala que la comparació biomètrica per si sola no impedeix els mitjans injectats i recomana controls que augmentin la confiança en el sensor de captura i el canal protegit.

Suplantació i enginyeria social

Un clon de veu o vídeo pot fer que una sol·licitud urgent sembli provenir d'un executiu, empleat, client, proveïdor o membre de la família. L'objectiu pot ser un pagament, un restabliment de credencials, una divulgació o una excepció de política. Aquí la millor defensa pot ser l'adherència al procés —com una ruta de trucada de retorn coneguda o una doble aprovació— en lloc d'intentar jutjar píxels en temps real.

La guia de resposta a deepfakes d'OWASP posa l'accent en processos de seguretat duradors, controls financers, procediments de verificació, conscienciació i resposta a incidents per sobre d'un enfocament estret en la detecció de defectes visuals.

Creació de comptes sintètics

Retrats generats, atributs fabricats, proves alterades, punts de contacte d'un sol ús i connexions de xarxa ofuscades es poden combinar per crear comptes que no corresponen a una persona genuïna. Els mitjans són només un senyal en un gràfic d'identitat i comportament més ampli.

Recuperació i re-vinculació de comptes

Si un flux de recuperació es basa en un selfie o una videotrucada, es poden utilitzar mitjans sintètics per prendre el control d'un compte existent o vincular un nou autenticador. La recuperació sovint mereix una garantia més forta que l'inici de sessió rutinari perquè pot reemplaçar els controls que normalment protegeixen el compte.

Com funciona la detecció de deepfakes?

La detecció de deepfakes pregunta si els mitjans van ser generats o manipulats. La verificació d'identitat pregunta si una persona és qui diu ser. Aquestes preguntes se superposen, però cap de les dues conté completament l'altra.

Procedència i credencials de contingut

La procedència registra informació sobre com es van crear i van canviar els mitjans. L'especificació de les credencials de contingut C2PA defineix una estructura a prova de manipulacions que pot vincular les afirmacions d'origen i edició a un actiu.

Una procedència vàlida pot augmentar la confiança en l'historial dels mitjans i el signant. L'absència de procedència no és prova de manipulació, i una procedència vàlida no garanteix que l'afirmació representada sigui certa. La procedència és un senyal positiu, no un detector universal.

Anàlisi forense espacial

Els models d'imatge poden inspeccionar la textura, els límits de barreja, la il·luminació, els reflexos, els patrons de freqüència, el soroll, la geometria i els artefactes del generador. Aquestes característiques poden funcionar bé en famílies d'atac conegudes i degradar-se quan el model, la càmera o la compressió canvien.

Anàlisi temporal i audiovisual

L'anàlisi de vídeo pot examinar la coherència entre fotogrames, el moviment, la postura, el flux òptic, els punts de referència facials, la sincronització de la parla i l'alineació àudio-vídeo. L'anàlisi de veu pot inspeccionar les traces espectrals, prosòdiques i de generació. L'ús en temps real afegeix estrictes restriccions de latència i qualitat.

Detecció d'atacs de presentació i prova de vida

PAD busca un intent d'enganyar el sensor de captura. La prova de vida passiva pot analitzar una captura sense demanar a l'usuari que realitzi una acció explícita. La prova de vida activa demana una resposta a una indicació o un desafiament.

PAD s'aplica al límit de captura. ISO/IEC 30107-3 tracta explícitament els atacs fora del dispositiu de captura biomètrica com a fora de l'abast. Un proveïdor que afirmi cobertura PAD hauria d'explicar per separat els controls d'injecció, càmera virtual, emulador i canal.

Integritat de la captura i atestació del dispositiu

Els controls de captura intenten establir que els mitjans provenen del sensor esperat, l'aplicació, l'estat del dispositiu i el canal protegit. Els senyals poden incloure la integritat del SDK, l'atestació del dispositiu, la detecció d'emuladors o càmeres virtuals, els esdeveniments de captura signats, les mesures anti-manipulació i la protecció de reproducció al costat del servidor.

Cap senyal de dispositiu és infal·lible. L'objectiu és fer que el lliurament falsificat sigui més difícil, detectable i costós, alhora que es preserva una ruta de recuperació per als usuaris genuïns en dispositius inusuals.

Vinculació d'identitat i proves

La comparació facial pot vincular una captura en viu a un retrat de confiança; la validació de documents pot provar la pròpia prova; la validació de bases de dades pot corroborar atributs. Aquests controls no classifiquen tots els mitjans sintètics, però redueixen el valor d'una cara convincent que manca d'un ancoratge d'identitat defensable.

Risc contextual i conductual

La reutilització del dispositiu, la inconsistència d'IP i ubicació, els viatges impossibles, els intents repetits, la velocitat, l'historial del compte, el context de la transacció i els gràfics de relacions poden exposar patrons que l'anàlisi de mitjans no detecta. Una puntuació de deepfake hauria de contribuir a una decisió de risc en lloc d'esborrar les altres proves.

Revisió humana i verificació independent

Els revisors necessiten els mitjans originals, les sortides del detector, els codis de raó, els detalls de la captura, l'historial del client i un pla de joc definit. Per a accions d'alt impacte, un canal de confiança independent —com una trucada de retorn a un número conegut o l'aprovació en un sistema autenticat— pot ser més fiable que un judici visual.

Què poden fer malament els detectors de deepfakes?

Fals negatiu

El detector classifica els mitjans manipulats com a genuïns. Aquesta és la fallada de seguretat que permet un atac.

Fals positiu

El detector classifica els mitjans genuïns com a manipulats. Això pot bloquejar un client real, provocar una revisió innecessària o afectar desproporcionadament certs dispositius i poblacions.

Desplaçament de domini

L'entorn de producció difereix del conjunt de proves: nous generadors, pipelines de càmera, còdecs, il·luminació, idiomes, dades demogràfiques o comportament d'atac. El programa d'avaluació de deepfakes GenAI del NIST se centra en proves adversàries i operacionalment rellevants precisament perquè el rendiment de referència acadèmic pot no transferir-se netament a la implementació.

Desajust de llindar

Cada puntuació es converteix en una decisió només després d'aplicar un llindar. Un llindar ajustat per al triatge forense pot ser incorrecte per a l'obertura instantània de comptes. La seguretat, la fricció de l'usuari, la capacitat de revisió manual i la pèrdua aigües avall influeixen en el punt d'operació.

Confusió d'abast

Un detector avaluat en imatges facials carregades pot no dir res sobre clons d'àudio, càmeres virtuals en temps real, morphs de documents o reproducció. Les etiquetes de producte s'han de reemplaçar per una matriu de cobertura atac per atac.

Com haurien d'avaluar els equips les defenses contra deepfakes?

Definiu primer el model d'amenaça

Enumereu l'acció protegida, la capacitat de l'atacant, el tipus de mitjà, la ruta de lliurament, els dispositius esperats, els ancoratges d'identitat disponibles i la conseqüència de l'error. "Detectar deepfakes" no és un requisit provable.

Demaneu una matriu de cobertura d'atacs

Pregunteu si les proves inclouen intercanvis de cares, recreació, sincronització labial, cares totalment generades, clons de veu, morphs, reproduccions impreses i de pantalla, càmeres virtuals, emuladors, manipulació de SDK i injecció d'API. Registreu quin control és responsable de cada atac.

Inspeccioneu les dades de prova

Cerqueu generadors no vistos, múltiples eines d'atac, usuaris genuïns, cobertura demogràfica, diferents càmeres, compressió, degradació de la xarxa i captura similar a la producció. Separeu els conjunts de desenvolupament, validació i prova. Pregunteu amb quina freqüència es refresca l'avaluació.

Reviseu les dues taxes d'error

Obteniu el comportament de falsos positius i falsos negatius al llindar d'operació, no només un titular de precisió. Demaneu intervals de confiança, recomptes de mostres, resultats per atac, anàlisi de subgrups i taxes de no resposta.

Proveu tot el recorregut

Avalueu l'SDK de captura, el transport, el backend, el motor de decisions, els webhooks, el comportament de reintent, la revisió manual i l'estat del compte. Un classificador de mitjans fort encara pot estar darrere d'una sol·licitud reproducible o un flux de recuperació insegur.

Executeu una implementació en ombra

Abans de bloquejar els clients, puntueu el trànsit de producció en mode ombra. Compareu els resultats del detector amb les conclusions del revisor, el frau confirmat, els reintents d'usuari, els casos de suport i les pèrdues aigües avall. A continuació, establiu accions graduals com permetre, augmentar, revisar, limitar la taxa o denegar.

Planifiqueu la deriva

Definiu la propietat per a la ingesta de nous atacs, exercicis d'equip vermell, actualitzacions de models, revisió de llindars, resposta a incidents i retrocés. Una prova de proveïdor única no pot cobrir un ecosistema de generadors canviant.

Errors comuns en la defensa contra deepfakes

Entrenar els usuaris a buscar falles visuals

Els parpellejos, les mans, les dents, la sincronització labial i els artefactes de vora poden ser pistes, però no són ni necessaris ni suficients. Un vídeo normal pot semblar estrany després de la compressió, i els nous generadors poden eliminar les pistes d'ahir.

Comprar una "puntuació de deepfake"

Una puntuació poques vegades cobreix tots els mitjans i rutes de lliurament. Requereix proves sobre l'abast del model, la cobertura d'atacs, les condicions de prova, els llindars i les compensacions d'errors.

Assumir que la prova de vida atura la injecció

La prova de vida pot ajudar al límit del sensor. Els atacs d'injecció s'orienten a la ruta al voltant o després d'aquest límit, de manera que també requereixen controls d'integritat de la captura i del canal.

Tractar l'absència de procedència com a prova de frau

Molts actius genuïns no tenen credencials de contingut. L'absència significa que el senyal de procedència no està disponible, no que els mitjans siguin falsos.

Rebutjar automàticament cada resultat incert

Els casos ambigus necessiten una escalada o revisió basada en el risc. La incertesa d'un detector no ha de convertir-se en una denegació permanent inexplicada.

Ignorar els controls no mediàtics

Les aprovacions de pagament, la recuperació de comptes, els canvis de credencials i la divulgació de dades haurien de tenir controls que sobrevisquin a una imitació perfecta. L'autenticació forta, la separació de funcions, les trucades de retorn de confiança, els límits i el retard poden reduir l'impacte fins i tot quan la detecció falla.

Un model de defensa per capes

Capa	Pregunta	Resultat d'exemple
Procedència	Hi ha un historial vàlid i de confiança per a aquest actiu?	Credencial verificada, credencial absent, vinculació invàlida
Forense de mitjans	Els mitjans mostren proves de manipulació o generació?	Puntuació de risc amb proves de la família d'atacs
Integritat de la captura	Els mitjans van provenir del sensor i l'aplicació esperats?	Captura atestada, càmera virtual, reproducció, desconegut
PAD i prova de vida	Hi ha una persona de bona fe present al sensor?	Bona fe, atac de presentació, reintent
Vinculació d'identitat	La persona coincideix amb les proves d'identitat de confiança?	Coincidència, no coincidència, qualitat insuficient
Context	El dispositiu, la xarxa, el compte i el comportament concorden?	Normal, inconsistent, alta velocitat, abús vinculat
Procés	L'acció sol·licitada està autoritzada de manera independent?	Permetre, augmentar, doble aprovació, retenir

Les capes haurien de produir proves explicables i accions limitades. Un resultat d'alt risc pot desencadenar una captura més forta, un factor diferent, una revisió manual o una confirmació independent en lloc d'un resultat immediat i irreversible.

On encaixa Didit

Didit ofereix prova de vida passiva per 0,10 $ i prova de vida activa per 0,15 $, i les seves certificacions inclouen iBeta Level 1 PAD. Aquests controls de presentació es poden combinar amb la verificació d'identitat, la detecció de vida, la coincidència facial i l'anàlisi de dispositius i IP en un flux de treball basat en el risc.

Cada control té un límit. Els equips haurien de mapejar el resultat de PAD als atacs de presentació, avaluar les proteccions de captura i injecció per separat i mantenir la seva pròpia lògica de decisió i revisió. Les tarifes de mòduls publicades estan disponibles a la pàgina de preus.

Preguntes freqüents

Totes les imatges generades per IA són deepfakes?

No necessàriament. "Deepfake" sol implicar mitjans sintètics o manipulats que fabriquen identitat, parla, comportament o un esdeveniment. Una il·lustració generada clarament etiquetada és un mitjà sintètic sense ser necessàriament enganyosa.

La gent pot detectar deepfakes de manera fiable a simple vista?

No. Les pistes visuals poden donar suport al triatge, però la fiabilitat canvia amb el generador, la qualitat dels mitjans, la compressió i l'espectador. Les decisions d'alt impacte necessiten verificació tècnica i processal.

Quina diferència hi ha entre un atac de presentació i un atac d'injecció?

Un atac de presentació col·loca un artefacte davant del sensor esperat. Un atac d'injecció insereix mitjans falsificats en la ruta de processament, ignorant o interferint amb la captura esperada.

La detecció de vida atura tots els deepfakes?

No. La prova de vida és un control centrat en la captura. La seva cobertura depèn del mètode i les proves, i no cobreix automàticament l'àudio, els documents, la procedència del contingut o la injecció aigües avall.

Les credencials de contingut són prova que els mitjans són veritables?

Poden proporcionar una procedència a prova de manipulacions sobre l'origen i les edicions quan el signant i la vinculació són de confiança. No fan un judici de valor sobre si l'afirmació representada és certa.

Quines mètriques importen per a un detector de deepfakes?

El comportament de falsos negatius i falsos positius al llindar de desplegament, desglossat per tipus d'atac, generador, condició de captura, dispositiu i població rellevant. Els equips també haurien de mesurar les taxes de no resposta, la latència, la càrrega de revisió i el frau aigües avall.

Què hauria de passar quan un detector és incert?

Utilitzeu una resposta gradual: sol·liciteu una nova captura de confiança, requeriu un altre autenticador, verifiqueu a través d'un canal independent, manteniu l'acció en espera o envieu el cas a una revisió especialitzada.

Referències principals

• NIST SP 800-63A-4: Prova d'identitat i registre
• NIST GenAI: Programa d'avaluació de Deepfakes 2026
• ISO/IEC 30107-3:2023 Prova i informe de PAD
• Explicació de les credencials de contingut C2PA
• Guia d'OWASP per preparar-se i respondre a esdeveniments deepfake
• Atacs i contramesures de prova d'identitat remota d'ENISA

La resistència als deepfakes prové de fer diverses preguntes més estretes en lloc de confiar en una puntuació àmplia. Verifiqueu l'historial dels mitjans, la ruta de captura, la persona viva, les proves d'identitat, el context circumdant i el procés d'autorització, i després decidiu segons el risc.