Массовая проверка личности: AWS SQS, Lambda и Didit (RU)

Разделение с SQSИспользуйте AWS SQS как надежную очередь сообщений для разделения вашей пакетной обработки, обеспечивая надежность и предотвращая перегрузку системы путем буферизации запросов.

Масштабирование с LambdaИспользуйте AWS Lambda для бессерверной, событийно-ориентированной обработки отдельных задач верификации, автоматически масштабируясь для удовлетворения спроса и оптимизируя вычислительные затраты, оплачивая только время выполнения.

Проектирование для отказоустойчивостиВнедряйте надежную обработку ошибок, очереди недоставленных сообщений (DLQ) и идемпотентную обработку в своих функциях Lambda для обеспечения целостности данных и успешной повторной обработки неудачных проверок.

Интеграция Didit для эффективностиИнтегрируйте платформу верификации личности Didit на основе ИИ непосредственно в свои функции Lambda для быстрой, точной и экономичной проверки личности, проверки живости и проверок AML, используя преимущества Free Core KYC и модульной конструкции.

Проблема массовой проверки личности

В современной цифровой экономике предприятия часто сталкиваются с необходимостью верификации больших объемов пользовательских данных. Это может быть связано с загрузкой исторических данных, периодическими проверками соответствия или обработкой накопившихся задач. Традиционные синхронные методы верификации могут быть медленными, ресурсоемкими и подвержены тайм-аутам или сбоям при высокой нагрузке. Именно здесь становится критически важной пакетная обработка. Однако проектирование эффективной, экономичной и отказоустойчивой системы массовой проверки личности сопряжено с определенными трудностями. Вам необходимо решение, способное справляться с колеблющимися нагрузками, надежно обрабатывать данные и беспрепятственно интегрироваться с передовыми сервисами проверки личности.

Представьте себе финансовое учреждение, которому необходимо повторно верифицировать всех своих клиентов по обновленным черным спискам по борьбе с отмыванием денег (AML), или платформу электронной коммерции, проверяющую личность клиентов из устаревшей базы данных. Эти сценарии требуют системы, способной обрабатывать миллионы записей без вмешательства человека, при этом поддерживая высокую точность и низкие эксплуатационные расходы.

Архитектура для масштабирования и экономичности с AWS SQS и Lambda

AWS SQS (Simple Queue Service) и Lambda — это мощный дуэт для создания масштабируемых, событийно-ориентированных систем пакетной обработки. Эта архитектура разделяет прием запросов на верификацию и их фактическую обработку, что приводит к более надежному и экономичному решению.

1. Разделение с AWS SQS

SQS действует как буфер, принимая запросы на верификацию в виде сообщений. Вместо прямого вызова службы верификации для каждой записи вы помещаете записи в очередь SQS. Это дает несколько преимуществ:

• Надежность: Сообщения надежно хранятся в SQS, что означает, что они не будут потеряны, если служба обработки временно недоступна.
• Балансировка нагрузки: SQS может справляться с пиками скорости приема, сглаживая рабочую нагрузку для нижестоящих служб.
• Разделение: Компоненту, генерирующему запросы на верификацию, не нужно знать, как и когда они обрабатываются, только то, что они поставлены в очередь.

Для массовой проверки личности вы можете проанализировать большой CSV-файл пользовательских данных, и для каждого пользователя создать JSON-сообщение, содержащее его данные (например, имя, дату рождения, номер документа). Затем это сообщение отправляется в очередь SQS.

2. Масштабирование с AWS Lambda

Функции AWS Lambda идеально подходят для обработки сообщений из SQS. Вы можете настроить функцию Lambda для автоматического запуска при появлении новых сообщений в очереди. Каждое сообщение может представлять собой отдельную задачу проверки личности. Бессерверная природа Lambda означает, что вы платите только за потребленное время вычислений, и она автоматически масштабируется для обработки тысяч одновременных запросов, что делает ее невероятно экономичной для переменных пакетных рабочих нагрузок.

Функция Lambda будет получать сообщение из SQS, извлекать данные пользователя, а затем вызывать API проверки личности. Например, если вам нужно выполнить проверку личности и проверку живости, функция Lambda будет координировать эти вызовы. API Didit разработан для больших объемов программного доступа, что делает его идеальным для этой бессерверной архитектуры.

Проектирование для отказоустойчивости и обработки ошибок

Даже с такими надежными сервисами, как SQS и Lambda, могут возникать сбои. Проблемы с сетью, неверные данные или ограничения скорости API могут привести к сбоям при попытке верификации. Хорошо спроектированная пакетная система должна учитывать это:

• Очереди недоставленных сообщений (DLQ): Настройте очередь SQS с DLQ. Если функция Lambda не может обработать сообщение определенное количество раз (например, из-за необработанного исключения), SQS переместит это сообщение в DLQ. Это предотвращает засорение основной очереди «ядовитыми» сообщениями и позволяет вручную проверять или автоматически повторно обрабатывать неудачные элементы.
• Идемпотентность: Разработайте свои функции Lambda так, чтобы они были идемпотентными. Это означает, что обработка одного и того же сообщения несколько раз должна давать тот же эффект, что и однократная обработка. Это крайне важно, потому что SQS иногда может доставлять сообщения более одного раза.
• Механизмы повторных попыток: Lambda автоматически повторяет неудачные вызовы. Для триггеров SQS, если функция Lambda возвращает ошибку, сообщение остается в очереди и снова становится видимым после периода VisibilityTimeout, что позволяет предпринять еще одну попытку.
• Журналирование и мониторинг: Используйте AWS CloudWatch для комплексного журналирования и мониторинга ваших функций Lambda и очередей SQS. Настройте оповещения о высокой частоте ошибок или сообщениях в DLQ для проактивного решения проблем.

Как Didit помогает оптимизировать пакетную верификацию

Интеграция Didit в вашу архитектуру AWS SQS и Lambda значительно расширяет возможности массовой проверки личности. Didit — это платформа идентификации, разработанная на основе ИИ, ориентированная на разработчиков, созданная для масштабирования и эффективности, что делает ее идеально подходящей для высокообъемных, автоматизированных рабочих процессов.

Когда ваша функция Lambda обрабатывает запись личности из SQS, она может беспрепятственно вызывать API Didit для выполнения различных проверок:

• Проверка личности: Используйте передовые технологии Didit OCR, MRZ и сканирование штрих-кодов для быстрого и точного извлечения и проверки данных из документов, удостоверяющих личность.
• Пассивная и активная проверка живости: Убедитесь, что пользователь физически присутствует, а не является дипфейком или подделкой, что критически важно для предотвращения мошенничества в любом процессе верификации.
• Сопоставление лиц 1:1 и поиск лиц: Сравните лица на предмет соответствия или проверьте по внутренним базам данных.
• AML-скрининг и мониторинг: Автоматически проверяйте физических лиц по глобальным спискам наблюдения, санкционным спискам и базам данных PEP, что крайне важно для соблюдения нормативных требований и предотвращения финансовых преступлений, особенно в сфере финансовых услуг.
• Подтверждение адреса: Проверяйте адреса проживания с помощью документов или баз данных.
• Оценка возраста: Для услуг с возрастными ограничениями Didit предлагает оценку возраста с сохранением конфиденциальности.

Модульная архитектура Didit позволяет вам составлять точные шаги верификации, необходимые для каждой записи, гарантируя, что вы платите только за то, что используете. Наше предложение Free Core KYC означает, что вы можете начать работу без предоплаты, а модель оплаты за успешную проверку идеально соответствует целям оптимизации затрат бессерверной архитектуры. Основа, разработанная на основе ИИ, обеспечивает высокую точность и постоянное совершенствование, уменьшая количество ложных срабатываний и пропусков, что жизненно важно для эффективной пакетной обработки.

Благодаря интеграции Didit ваши функции Lambda становятся высокоэффективными работниками, перекладывая сложность передовой проверки личности на специализированную высокопроизводительную платформу. Это означает более быструю обработку, более высокую точность и значительно меньшие операционные накладные расходы для ваших потребностей в пакетной верификации.

Готовы начать?

Хотите увидеть Didit в действии? Получите бесплатную демонстрацию сегодня.

Начните бесплатно проверять личности с бесплатным тарифом Didit.