Verificación por Lotes de Alto Rendimiento con Didit y Apache Spark (ES)

Arquitectura EscalableAproveche Apache Spark para el procesamiento distribuido de datos y maneje volúmenes masivos de solicitudes de verificación de identidad de manera eficiente, superando las limitaciones tradicionales del procesamiento por lotes.

Verificación impulsada por APIIntegre directamente con las API robustas y limpias de Didit para la verificación de identidad, prueba de vida y el cribado AML, permitiendo comprobaciones automatizadas y precisas sin intervención manual.

Flujo de Datos OptimizadoImplemente estrategias para la preparación de datos, interacción segura con la API y procesamiento asíncrono de resultados para maximizar el rendimiento y minimizar la latencia en sus pipelines de verificación por lotes.

La Ventaja de DiditUtilice la plataforma nativa de IA de Didit con KYC Core Gratuito, diseño modular y sin tarifas de configuración para construir sistemas de verificación por lotes flexibles y rentables que se adapten a las necesidades cambiantes.

En el mundo actual impulsado por los datos, las empresas a menudo se enfrentan al desafío de verificar grandes volúmenes de datos de identidad, ya sea para la incorporación de usuarios heredados, controles de cumplimiento periódicos o detección de fraude. Los procesos manuales son lentos, propensos a errores e inescalables. La construcción de un sistema de verificación por lotes de alto rendimiento requiere una arquitectura robusta que pueda procesar grandes conjuntos de datos de manera eficiente y segura. Aquí es donde entra en juego la potente combinación de las API de verificación de identidad nativas de IA de Didit y Apache Spark.

La Necesidad de una Verificación por Lotes de Alto Rendimiento

Muchas organizaciones acumulan cantidades significativas de datos de clientes a lo largo del tiempo. Estos datos a menudo necesitan ser verificados nuevamente debido a la evolución de los requisitos regulatorios (por ejemplo, AML, KYC), estrategias actualizadas de prevención de fraude o la necesidad de actualizar los registros históricos de clientes a los estándares de cumplimiento actuales. La verificación en tiempo real es crucial para las nuevas inscripciones, pero la verificación por lotes es igualmente vital para mantener la integridad y el cumplimiento de las bases de usuarios existentes. Sin embargo, los métodos tradicionales de procesamiento por lotes pueden tener dificultades con el gran volumen y la complejidad de las tareas de verificación de identidad, que a menudo implican múltiples pasos como el análisis de documentos, comprobaciones biométricas y la detección en listas de vigilancia.

Los desafíos incluyen:

• Volumen de Datos: Procesar millones o incluso miles de millones de registros.
• Velocidad de Procesamiento: Completar la verificación dentro de plazos aceptables.
• Precisión y Fiabilidad: Garantizar resultados consistentes y precisos en todas las verificaciones.
• Cumplimiento: Adherirse a mandatos regulatorios diversos y estrictos.
• Prevención de Fraude: Identificar y mitigar riesgos en datos históricos.

Un marco de procesamiento distribuido como Apache Spark, combinado con una plataforma especializada en verificación de identidad como Didit, proporciona la solución ideal.

Diseñando su Sistema de Verificación por Lotes con Spark y Didit

La construcción de un sistema de verificación por lotes de alto rendimiento implica varios componentes clave:

1. Ingesta de Datos: Cargar datos de identidad de varias fuentes (bases de datos, lagos de datos, archivos CSV) en Spark.
2. Preparación de Datos: Limpiar, transformar y estandarizar los datos para cumplir con los requisitos de la API de Didit.
3. Integración de API: Llamar a las API de Didit para comprobaciones de verificación específicas.
4. Procesamiento Asíncrono: Manejar las respuestas de la API y gestionar posibles límites de velocidad o reintentos.
5. Almacenamiento de Resultados: Almacenar los resultados de la verificación y los metadatos asociados para auditoría y análisis posterior.

La capacidad de Apache Spark para distribuir el cálculo en un clúster lo hace perfecto para paralelizar llamadas a la API y procesar grandes conjuntos de resultados. Por ejemplo, puede particionar su conjunto de datos en miles de fragmentos más pequeños, y cada trabajador de Spark puede llamar de forma independiente a la API de Didit para su subconjunto de datos asignado. Esto reduce drásticamente el tiempo total de procesamiento.

Un flujo de trabajo típico podría ser el siguiente:

1. Cargar Datos en Spark: Lea sus datos de identidad sin procesar en un DataFrame de Spark.

2. Preparar Datos para Didit: Transforme el DataFrame para crear cargas útiles JSON adecuadas para la API de Didit. Por ejemplo, si está realizando una verificación de identidad, extraerá campos como el nombre, la fecha de nacimiento y las imágenes de los documentos (si están disponibles) para construir el cuerpo de la solicitud.

3. Distribuir Llamadas a la API: Utilice mapPartitions o foreachPartition de Spark para enviar lotes de solicitudes a la API de Didit. Aquí es donde entra en juego el alto rendimiento, ya que se pueden procesar múltiples particiones simultáneamente.

4. Procesar Respuestas: Recopile los resultados de la verificación de Didit. La API de Didit proporciona respuestas JSON detalladas, incluido el estado de la verificación, los datos extraídos (por ejemplo, de la verificación de identidad con OCR, MRZ y decodificación de códigos de barras) y las puntuaciones de riesgo de servicios como Passive & Active Liveness o AML Screening & Monitoring.

5. Almacenar y Analizar Resultados: Persista los resultados en su almacén de datos o en un nuevo DataFrame de Spark para informes, registro de cumplimiento y acciones posteriores.

Aprovechando la Suite Integral de Verificación de Didit

Didit ofrece una suite modular de productos de verificación de identidad que son perfectamente adecuados para el procesamiento por lotes:

• Verificación de Identidad: Para validar documentos emitidos por el gobierno en más de 220 países. Puede enviar imágenes de documentos y recibir datos estructurados y análisis de fraude.
• Prueba de Vida Pasiva y Activa: Para confirmar la presencia de una persona real y viva y prevenir ataques de deepfake. Si bien es típicamente en tiempo real, para escenarios por lotes donde tiene imágenes de selfies existentes, puede procesarlas para el análisis de prueba de vida.
• Coincidencia Facial 1:1 y Búsqueda Facial: Para comparar una nueva selfie con una existente, o buscar en una base de datos de caras conocidas.
• Cribado y Monitoreo AML: Para verificar identidades contra listas de vigilancia globales, listas de sanciones y bases de datos PEP, crucial para el cumplimiento.
• Prueba de Domicilio: Para verificar la dirección residencial de un usuario utilizando varias fuentes de datos.
• Verificación de Teléfono y Correo Electrónico: Para validar los datos de contacto y mejorar la seguridad de la cuenta.

Cada uno de estos servicios es accesible a través de API limpias y bien documentadas, lo que facilita la integración con Spark. Puede construir flujos de trabajo sofisticados, orquestando múltiples comprobaciones dentro de un solo trabajo por lotes para lograr una evaluación integral de riesgos.

Mejores Prácticas para el Rendimiento y la Seguridad

• Solicitudes por Lotes: Si bien Spark maneja la distribución, considere agrupar múltiples solicitudes de verificación de identidad en una sola llamada a la API si la API de Didit lo admite (o cree un microservicio personalizado que lo haga) para reducir la sobrecarga.
• Manejo de Errores y Reintentos: Implemente un manejo robusto de errores, incluido el retroceso exponencial para los reintentos, para gestionar de forma elegante los problemas transitorios de la red o los límites de velocidad de la API.
• Seguridad: Toda la comunicación con la API de Didit debe usar HTTPS. Asegúrese de que las claves de la API se almacenen de forma segura y no estén codificadas.
• Privacidad de Datos: Tenga en cuenta las regulaciones de privacidad de datos (por ejemplo, GDPR, CCPA) al procesar y almacenar datos de identidad. Envíe solo los datos necesarios a Didit y almacene los resultados de forma segura. Los datos de identidad estructurados de Didit ayudan a mantener el cumplimiento.
• Monitoreo: Monitoree sus trabajos de Spark y el uso de la API de Didit para identificar cuellos de botella y garantizar un rendimiento óptimo.
• Idempotencia: Diseñe su sistema para que sea idempotente, lo que significa que volver a ejecutar un trabajo por lotes con los mismos datos de entrada produce el mismo resultado, evitando verificaciones duplicadas.

Cómo Ayuda Didit

Didit proporciona los bloques de construcción esenciales para un sistema de verificación por lotes de alto rendimiento. Nuestra plataforma nativa de IA ofrece una arquitectura modular, lo que le permite elegir las primitivas de verificación exactas que necesita, desde la verificación de identidad (OCR, MRZ, códigos de barras) hasta la prueba de vida pasiva y activa y el cribado y monitoreo AML. Esta flexibilidad significa que solo paga por lo que usa, lo que lo hace increíblemente rentable para operaciones a gran escala.

Con el nivel gratuito de Didit y sin tarifas de configuración, puede comenzar a experimentar y construir sus pipelines de procesamiento por lotes de inmediato. Nuestro enfoque centrado en el desarrollador, con entornos de pruebas instantáneos y API limpias, reduce significativamente el tiempo de integración. Ya sea que necesite volver a verificar millones de registros históricos o realizar comprobaciones de cumplimiento continuas, la infraestructura escalable y la precisión impulsada por IA de Didit garantizan un procesamiento fiable y eficiente. Los datos de identidad estructurados devueltos por Didit son fáciles de integrar en sus DataFrames de Spark, lo que permite un análisis y una acción rápidos.

¿Listo para Empezar?

¿Listo para ver Didit en acción? Obtenga una demostración gratuita hoy.

Comience a verificar identidades de forma gratuita con el nivel gratuito de Didit.