Мы даем ИИ простую задачу: попытаться взломать Didit

В Didit ред тиминг с использованием искусственного интеллекта (ИИ) означает применение агентов ИИ для проверки наших процессов верификации личности в тестовой среде. Мы изучаем попытки и их результаты, чтобы найти слабые места, помочь обнаружить ботов, выполняющих верификацию, и понять, где реальные пользователи испытывают трудности.

Мы предоставляем агентам доступ к нашему исходному коду и просим их найти способ обойти проверки в тестовой среде. Они пробуют поддельные документы, инжектированные видеопотоки с камер и автоматизированные прохождения через реальные рабочие процессы. Мы наблюдаем за происходящим, исследуем результаты и используем полученные знания для улучшения системы.

Мы также используем эту работу, чтобы помочь обнаружить ботов, выполняющих верификацию, и понять поведение пользователей. Наблюдение за тем, как автоматизация проходит через процесс, помогает нам задавать более точные вопросы как о мошенничестве, так и об опыте человека по ту сторону экрана.

Основные выводы

Тестируйте весь путь. Поддельные документы, искусственные видеопотоки с камер и автоматизированные действия проверяют различные части процесса верификации.

Исследуйте, что произошло. Заявление агента об обходе должно быть проверено на основе воспроизводимых доказательств.

Учитесь на поведении. Время и повторные попытки могут добавить контекст об автоматизации, а также выявить, где законным пользователям нужна помощь.

Сделайте выводы полезными. Работа продолжается через расследования, исправления и проверки влияния на реальных людей.

Ответственность за экраном

TechCrunch сообщил о предполагаемом взломе у поставщика услуг верификации.

Для нас ответственность начинается с того, что люди доверяют верификационной компании. Скан паспорта содержит ваше имя, фотографию и другую идентифицирующую информацию. Селфи сохраняет изображение вашего лица. Вы можете сбросить пароль после его утечки. Вы не можете сбросить свое лицо.

Эта ответственность выходит за рамки решения о том, выглядит ли документ подлинным или присутствует ли человек. Она включает в себя службы, обрабатывающие запрос, разрешения на данные и людей, управляющих системой. Надежная проверка в начале пути не может компенсировать слабость в другом месте.

Вот почему мы хотим оспаривать наши предположения, пока у нас еще есть возможность действовать на основе того, что мы находим.

Что мы на самом деле просим агентов делать

Обычный тест начинается с ожидаемого результата. Состязательный тест начинается с цели, которую система должна предотвратить.

Для верификации личности это может означать принятие поддельного документа или попытку выдать записанное лицо за присутствующего человека. Это может означать исследование того, как система реагирует, когда автоматизированный клиент проходит через процесс неожиданным образом.

Агент может проверять код, взаимодействовать с рабочим процессом и корректировать свою следующую попытку на основе ответа. Это дает нам полезный способ исследовать предположения, которые могут быть упущены фиксированным набором тестовых случаев.

В прилагаемых кадрах агенты загружают образцы документов, предоставляют искусственные видеопотоки с камер и проходят этапы верификации в тестовой среде. Камера отъезжает от одного экрана к стене этих записей, чтобы вы могли увидеть весь спектр активности.

Для получения дополнительной информации о манипулируемых медиа см. наше руководство по атакам с использованием дипфейков и их обнаружению.

Стена визуализирует эту работу. Каждый результат все еще должен быть проверен на основе базовых доказательств. Заявление агента о том, что он нашел обход, не делает его таковым.

Наш подход включает в себя передовые модели и открытые модели с меньшими ограничениями на задачи, которые они будут выполнять. Мы хотим получить полезное покрытие состязательного поведения, включая попытки, которые модель могла бы иначе отказаться исследовать. Готовность модели попробовать атаку ничего не говорит о том, была ли эта атака успешной. Это инженерный вопрос, который мы должны проверить.

Как работа помогает нам понять ботов

Документ и селфи рассказывают нам часть истории. Способ верификации может добавить контекст.

Мы используем эти упражнения, чтобы помочь обнаружить ботов, выполняющих верификацию, и узнать больше о поведении ботов. Самостоятельное выполнение автоматизации дает нам примеры, которые мы можем изучать, сравнивать и проверять по мере изменения автоматизации.

Мы можем изучить, где автоматизированная попытка приостанавливается, что она повторяет после ошибки и следует ли она одной и той же последовательности каждый раз. Мы также можем рассмотреть, соответствует ли это поведение устройству и контексту сессии. Эти сравнения помогают сделать расследование более конкретным.

Это вопросы для расследования, а не правила, которые сами по себе устанавливают мошенничество. Быстрый пользователь может просто знать, что делать. Человек, который повторяет попытки несколько раз, может иметь плохое освещение или ненадежное соединение. Человек, использующий вспомогательные технологии, может взаимодействовать иначе, чем ожидаемый дизайнером шаблон.

Эффективное обнаружение ботов должно учитывать это разнообразие. Время, повторение и контекст устройства должны рассматриваться наряду с доказательствами верификации. Рассмотрение одного необычного действия как доказательства злоупотребления ухудшило бы опыт для реальных людей.

Та же работа учит нас, где люди испытывают трудности

Изучение поведения также помогает нам задавать более точные вопросы о продукте. Повторная попытка может указывать на атаку, но она также может указывать на инструкцию, которую было трудно понять. Оставленный шаг с камерой может означать, что пользователь не смог предоставить разрешение. Неудачный захват может отражать блики, поврежденный документ или устройство, которое требует другого подхода.

Автоматизированное тестирование позволяет нам исследовать, как процесс реагирует на эти ситуации. Понимание того, что испытывают реальные люди, также требует изучения поведения пользователей. Одно не может заменить другое.

Вместе они помогают нам отличить полезный контроль от трения, которое заслуживает расследования. Цель состоит в том, чтобы усложнить злоупотребления, помогая при этом законным пользователям завершить верификацию с четкими инструкциями и разумным путем восстановления в случае возникновения проблем.

Находка должна привести к изменениям

Ценность упражнения заключается в том, что происходит после попытки.

Предполагаемая слабость требует воспроизводимого случая. Инженер должен понять, какой контроль был задействован и подтверждают ли доказательства утверждение. Если требуется исправление, исходная попытка должна быть повторно запущена против изменения.

Нам также необходимо проверить, что это изменение делает для законных пользователей. Контроль, который отклоняет больше атак, отклоняя больше людей, создал еще одну проблему, которую нужно решить.

Это дисциплина, которую мы хотим поддерживать этой работой: попытка, наблюдение, расследование, улучшение и повторное тестирование. Анимация показывает попытки. Работа, стоящая за ними, имеет значение.

Нас тоже могут взломать

Любого могут взломать, включая нас. Непрерывное тестирование не исключает такой возможности. Оно дает нам больше возможностей обнаружить слабость и принять меры для ее устранения.

Мы создаем инфраструктуру для идентификации и борьбы с мошенничеством, потому что верим, что люди должны иметь возможность уверенно подтверждать свою личность в интернете. Наше видение гуманизации интернета в эпоху ИИ зависит от завоевания этого доверия на практике.

Это означает понимание того, как ведут себя злоумышленники, внимание к тому, где реальные пользователи испытывают трудности, и честность в отношении того, что могут рассказать наши доказательства.

Призыв к техническим лидерам нашей отрасли

Киберриск является системным в верификации личности. Мы зависим от связанных сервисов, интеграций и людей, и доверие, которое стоит на кону, выходит за рамки любого отдельного поставщика. Сбой в одной компании может нанести вред отдельным лицам и подорвать доверие во всей отрасли.

Если вы являетесь техническим директором, руководителем инженерного отдела или руководителем службы безопасности в этой отрасли, мы призываем вас отнестись к этой ответственности очень серьезно. Предоставьте работе по обеспечению безопасности четких владельцев, время и бюджет. Проверьте процесс верификации, системы, обрабатывающие данные личности, доступ, который имеют люди, и реакцию вашей команды на инцидент. Пересматривайте эти предположения по мере изменения технологий и атак.

Отчеты прошлой недели должны стать тревожным звонком для подготовки. Мы должны использовать их для укрепления нашей собственной защиты, ответственного обмена полезными уроками по защите и устранения подтвержденных слабых мест. Ожидание, пока наша собственная компания пострадает, делает эту работу слишком поздней.

Мы включаем себя в эту ответственность. Нас тоже могут взломать, и мы должны продолжать завоевывать доверие, которое люди нам оказывают.

Нашей отрасли необходимо активизироваться. Люди доверяют нам свою личность. Мы обязаны им этой работой.

Часто задаваемые вопросы

Что включает в себя ред тиминг с ИИ в Didit?

Мы предоставляем агентам ИИ доступ к нашему исходному коду и тестовой среде, а затем просим их проверить верификационные проверки. Примеры в этой статье включают поддельные образцы документов, искусственные видеопотоки с камер и автоматизированные пути. Инженеры все еще должны проверять результат каждой предполагаемой слабости.

Как это помогает обнаружить ботов, выполняющих верификацию?

Самостоятельное выполнение автоматизации создает примеры поведения ботов для изучения. Это помогает нам изучать последовательности, повторные попытки и контекст наряду с доказательствами верификации. Один поведенческий сигнал не устанавливает, что пользователь является ботом или что произошло мошенничество.

Доказывает ли анимация, что Didit останавливает каждую атаку?

Нет. Анимация представляет собой композицию записей из тестовой среды с повторяющимися экранами. Она показывает процесс тестирования, а не эталон обнаружения или обещание, что каждая атака будет неудачной.

Может ли эта работа улучшить опыт для реальных пользователей?

Да, это может помочь нам исследовать, где процесс верификации становится трудным. Нам все еще необходимо учитывать поведение реальных пользователей наряду с автоматизированным тестированием, чтобы мы могли отличить полезные меры безопасности от проблем, таких как неясные инструкции или затрудненный доступ к камере.

Если вы создаете процесс верификации, изучите Верификацию пользователей Didit и прочитайте документацию по проверке живости. Вы также можете посмотреть цены или начать бесплатно.