Wir geben der KI eine einfache Aufgabe: Versuchen Sie, Didit zu knacken

Bei Didit bedeutet KI Red Teaming, dass wir künstliche Intelligenz (KI) Agenten einsetzen, um unsere Identitätsprüfungsabläufe in einer Staging Umgebung herauszufordern. Wir untersuchen die Versuche und ihre Ergebnisse, um Schwachstellen zu finden, Bots bei der Durchführung der Verifizierung zu erkennen und zu verstehen, wo echte Benutzer Schwierigkeiten haben.

Wir geben den Agenten Zugang zu unserem Quellcode und bitten sie, einen Weg durch die Prüfungen im Staging zu finden. Sie versuchen gefälschte Dokumente, eingeschleuste Kamera Feeds und automatisierte Abläufe durch echte Workflows. Wir beobachten, was passiert, untersuchen die Ergebnisse und nutzen das Gelernte, um das System zu verbessern.

Wir nutzen diese Arbeit auch, um Bots bei der Durchführung der Verifizierung zu erkennen und das Benutzerverhalten zu verstehen. Zu sehen, wie sich die Automatisierung durch einen Ablauf bewegt, hilft uns, bessere Fragen sowohl zum Betrug als auch zur Erfahrung der Person auf der anderen Seite des Bildschirms zu stellen.

Wichtige Erkenntnisse

Den gesamten Ablauf testen. Gefälschte Dokumente, künstliche Kamera Feeds und automatisierte Aktionen fordern verschiedene Teile eines Verifizierungsablaufs heraus.

Untersuchen Sie, was passiert ist. Ein Agent, der einen Bypass behauptet, muss anhand reproduzierbarer Beweise überprüft werden.

Aus dem Verhalten lernen. Timing und Wiederholungen können Kontext zur Automatisierung hinzufügen und gleichzeitig aufzeigen, wo legitime Benutzer Hilfe benötigen.

Die Ergebnisse nutzbar machen. Die Arbeit geht weiter durch Untersuchung, Korrekturen und Überprüfung der Auswirkungen auf echte Menschen.

Die Verantwortung hinter dem Bildschirm

TechCrunch berichtete über eine vermutete Sicherheitsverletzung bei einem Verifizierungsanbieter.

Für uns beginnt die Verantwortung mit dem, was Menschen einem Verifizierungsunternehmen anvertrauen. Ein Pass Scan enthält Ihren Namen, Ihr Foto und andere identifizierende Informationen. Ein Selfie ist eine Aufzeichnung Ihres Gesichts. Sie können ein Passwort zurücksetzen, nachdem es durchgesickert ist. Sie können Ihr Gesicht nicht zurücksetzen.

Diese Verantwortung reicht über die Entscheidung hinaus, ob ein Dokument echt aussieht oder eine Person anwesend ist. Sie umfasst die Dienste, die die Anfrage bearbeiten, die Berechtigungen für die Daten und die Personen, die das System bedienen. Eine starke Prüfung am Anfang eines Ablaufs kann eine Schwachstelle an anderer Stelle nicht ausgleichen.

Deshalb wollen wir unsere Annahmen hinterfragen, solange wir noch die Möglichkeit haben, auf unsere Erkenntnisse zu reagieren.

Was wir die Agenten tatsächlich tun lassen

Ein normaler Test beginnt mit einem erwarteten Ergebnis. Ein adversarischer Test beginnt mit einem Ziel, das das System verhindern soll.

Für die Identitätsprüfung könnte das bedeuten, ein gefälschtes Dokument akzeptiert zu bekommen oder zu versuchen, ein aufgezeichnetes Gesicht als anwesende Person durchgehen zu lassen. Es könnte bedeuten, zu untersuchen, wie das System reagiert, wenn sich ein automatisierter Client auf unerwartete Weise durch einen Ablauf bewegt.

Der Agent kann den Code inspizieren, mit dem Workflow interagieren und seinen nächsten Versuch basierend auf der Antwort anpassen. Das gibt uns eine nützliche Möglichkeit, Annahmen zu untersuchen, die ein fester Satz von Testfällen möglicherweise übersehen würde.

Im begleitenden Filmmaterial laden Agenten Beispieldokumente hoch, liefern künstliche Kamera Feeds und durchlaufen Verifizierungsschritte im Staging. Die Kamera zieht sich von einem Bildschirm zu einer Wand dieser Aufnahmen zurück, damit Sie die Bandbreite der Aktivitäten sehen können.

Hintergrundinformationen zu manipulierten Medien finden Sie in unserem Leitfaden zu Deepfake Angriffen und Erkennung.

Die Wand ist eine Visualisierung der Arbeit. Jedes Ergebnis muss immer noch anhand der zugrunde liegenden Beweise überprüft werden. Ein Agent, der sagt, er habe einen Bypass gefunden, macht ihn nicht zu einem.

Unser Ansatz umfasst Frontier Modelle und offene Modelle mit weniger Einschränkungen bei den Aufgaben, die sie versuchen werden. Wir wollen eine nützliche Abdeckung von adversarischem Verhalten, einschließlich Versuchen, die ein Modell sonst ablehnen könnte. Die Bereitschaft des Modells, einen Angriff zu versuchen, sagt nichts darüber aus, ob dieser Angriff erfolgreich war. Das ist eine technische Frage, die wir überprüfen müssen.

Wie die Arbeit uns hilft, Bots zu verstehen

Ein Dokument und ein Selfie erzählen uns einen Teil der Geschichte. Die Art und Weise, wie eine Verifizierung stattfindet, kann Kontext hinzufügen.

Wir nutzen diese Übungen, um Bots bei der Durchführung der Verifizierung zu erkennen und mehr über das Botting Verhalten zu erfahren. Indem wir die Automatisierung selbst durchführen, erhalten wir Beispiele, die wir studieren, vergleichen und herausfordern können, wenn sich die Automatisierung ändert.

Wir können untersuchen, wo ein automatisierter Versuch pausiert, was er nach einem Fehler wiederholt und ob er jedes Mal die gleiche Reihenfolge einhält. Wir können auch prüfen, ob dieses Verhalten zum Gerät und zum Sitzungskontext passt. Diese Vergleiche helfen, eine Untersuchung spezifischer zu gestalten.

Dies sind Fragen, die untersucht werden müssen, keine Regeln, die Betrug von selbst feststellen. Ein schneller Benutzer weiß möglicherweise einfach, was zu tun ist. Eine Person, die mehrmals wiederholt, hat möglicherweise schlechte Beleuchtung oder eine unzuverlässige Verbindung. Jemand, der unterstützende Technologien verwendet, interagiert möglicherweise anders als das vom Designer erwartete Muster.

Eine nützliche Bot Erkennung muss diese Variation berücksichtigen. Timing, Wiederholung und Gerätekontext müssen neben den Verifizierungsnachweisen berücksichtigt werden. Eine einzelne ungewöhnliche Aktion als Beweis für Missbrauch zu behandeln, würde die Erfahrung für echte Menschen verschlechtern.

Dieselbe Arbeit lehrt uns, wo Menschen Schwierigkeiten haben

Das Studium des Verhaltens hilft uns auch, bessere Produktfragen zu stellen. Ein Wiederholungsversuch kann auf einen Angriff hinweisen, aber auch auf eine Anweisung, die schwer zu verstehen war. Ein abgebrochener Kameraschritt könnte bedeuten, dass der Benutzer keine Berechtigung erteilen konnte. Eine fehlgeschlagene Aufnahme könnte Blendung, ein beschädigtes Dokument oder ein Gerät widerspiegeln, das einen anderen Ansatz erfordert.

Automatisierte Tests ermöglichen es uns, zu untersuchen, wie der Ablauf auf diese Situationen reagiert. Um zu verstehen, was echte Menschen erleben, muss auch das Benutzerverhalten betrachtet werden. Das eine kann das andere nicht ersetzen.

Zusammen helfen sie uns, eine nützliche Kontrolle von Reibung zu trennen, die einer Untersuchung bedarf. Ziel ist es, Missbrauch zu erschweren und gleichzeitig legitimen Benutzern zu helfen, die Verifizierung mit klaren Anweisungen und einem sinnvollen Weg zur Wiederherstellung bei Problemen abzuschließen.

Eine Erkenntnis muss etwas ändern

Der Wert einer Übung liegt in dem, was nach dem Versuch passiert.

Eine vermutete Schwachstelle benötigt einen reproduzierbaren Fall. Ein Ingenieur muss verstehen, welche Kontrolle beteiligt war und ob die Beweise die Behauptung stützen. Wenn eine Korrektur erforderlich ist, muss der ursprüngliche Versuch erneut gegen die Änderung ausgeführt werden.

Wir müssen auch prüfen, was diese Änderung für legitime Benutzer bedeutet. Eine Kontrolle, die mehr Angriffe abwehrt, indem sie mehr Menschen ablehnt, hat ein weiteres Problem geschaffen, das gelöst werden muss.

Das ist die Disziplin, die diese Arbeit unterstützen soll: versuchen, beobachten, untersuchen, verbessern und erneut testen. Die Animation zeigt die Versuche. Die Arbeit dahinter ist das, was zählt.

Auch wir können gehackt werden

Jeder kann gehackt werden, auch wir. Kontinuierliche Tests beseitigen diese Möglichkeit nicht. Sie geben uns mehr Möglichkeiten, eine Schwachstelle zu entdecken und etwas dagegen zu unternehmen.

Wir bauen Infrastruktur für Identitätsprüfung und Betrugsprävention, weil wir glauben, dass Menschen online mit Vertrauen beweisen können sollten, wer sie sind. Unsere Vision, das Internet im Zeitalter der KI zu humanisieren, hängt davon ab, dieses Vertrauen in der Praxis zu verdienen.

Das bedeutet, zu verstehen, wie Angreifer sich verhalten, darauf zu achten, wo echte Benutzer Schwierigkeiten haben, und ehrlich zu sein, was unsere Beweise uns sagen können.

Ein Aufruf an technische Führungskräfte in unserer Branche

Das Cyberrisiko ist bei der Identitätsprüfung systemisch. Wir sind auf vernetzte Dienste, Integrationen und Menschen angewiesen, und das Vertrauen, das auf dem Spiel steht, reicht über jeden einzelnen Anbieter hinaus. Ein Fehler bei einem Unternehmen kann Einzelpersonen schaden und das Vertrauen in der gesamten Branche schwächen.

Wenn Sie ein Chief Technology Officer, eine technische Führungskraft oder eine Sicherheitsführungskraft in dieser Branche sind, ermutigen wir Sie, diese Verantwortung sehr ernst zu nehmen. Geben Sie der Sicherheitsarbeit klare Verantwortliche, Zeit und Budget. Fordern Sie den Verifizierungsablauf, die Systeme, die Identitätsdaten verarbeiten, den Zugang, den Menschen haben, und die Reaktion Ihres Teams auf einen Vorfall heraus. Überprüfen Sie diese Annahmen, wenn sich die Technologie und die Angriffe ändern.

Die Berichterstattung der letzten Woche sollte ein Weckruf zur Vorbereitung sein. Wir sollten sie nutzen, um unsere eigenen Abwehrmaßnahmen zu stärken, nützliche Verteidigungslektionen verantwortungsvoll zu teilen und auf verifizierte Schwachstellen zu reagieren. Zu warten, bis unser eigenes Unternehmen betroffen ist, macht diese Arbeit zu spät.

Wir schließen uns dieser Verantwortung ein. Auch wir können gehackt werden, und wir müssen das Vertrauen, das die Menschen in uns setzen, immer wieder verdienen.

Unsere Branche muss sich steigern. Die Menschen vertrauen uns ihre Identität an. Wir schulden ihnen die Arbeit.

Häufig gestellte Fragen

Was beinhaltet KI Red Teaming bei Didit?

Wir geben KI Agenten Zugang zu unserem Quellcode und einer Staging Umgebung und bitten sie dann, Verifizierungsprüfungen herauszufordern. Die Beispiele in diesem Artikel umfassen gefälschte Beispieldokumente, künstliche Kamera Feeds und automatisierte Abläufe. Ingenieure müssen das Ergebnis jeder vermuteten Schwachstelle immer noch überprüfen.

Wie hilft dies, Bots bei der Durchführung der Verifizierung zu erkennen?

Indem wir die Automatisierung selbst durchführen, schaffen wir Beispiele für Bot Verhalten, die wir studieren können. Es hilft uns, Sequenzen, Wiederholungen und Kontext neben den Verifizierungsnachweisen zu untersuchen. Ein einzelnes Verhaltenssignal beweist nicht, dass ein Benutzer ein Bot ist oder dass Betrug stattgefunden hat.

Beweist die Animation, dass Didit jeden Angriff stoppt?

Nein. Die Animation ist eine Zusammenstellung von Staging Aufnahmen mit wiederholten Bildschirmen. Sie zeigt den Testprozess, keinen Erkennungs Benchmark oder ein Versprechen, dass jeder Angriff fehlschlagen wird.

Kann diese Arbeit die Erfahrung für echte Benutzer verbessern?

Ja, es kann uns helfen zu untersuchen, wo der Verifizierungsablauf schwierig wird. Wir müssen immer noch das Verhalten echter Benutzer neben automatisierten Tests berücksichtigen, so können wir nützliche Sicherheitskontrollen von Problemen wie unklaren Anweisungen oder schwierigem Kamerazugang unterscheiden.

Wenn Sie einen Verifizierungsablauf erstellen, erkunden Sie Didits Benutzerverifizierung und lesen Sie die Liveness Dokumentation. Sie können auch die Preise einsehen oder kostenlos starten.