Vérification par lots à haut débit avec Didit et Apache Spark (FR)

Architecture évolutiveTirez parti d'Apache Spark pour le traitement distribué des données afin de gérer efficacement des volumes massifs de demandes de vérification d'identité, en surmontant les limitations du traitement par lots traditionnel.

Vérification via APIIntégrez-vous directement aux API robustes et claires de Didit pour la vérification d'identité, la détection du vivant et le filtrage AML, permettant des contrôles automatisés et précis sans intervention manuelle.

Flux de données optimiséMettez en œuvre des stratégies de préparation des données, d'interaction sécurisée avec l'API et de traitement asynchrone des résultats pour maximiser le débit et minimiser la latence dans vos pipelines de vérification par lots.

L'avantage DiditUtilisez la plateforme native AI de Didit avec le KYC Core gratuit, une conception modulaire et aucun frais d'installation pour construire des systèmes de vérification par lots flexibles et rentables qui s'adaptent aux besoins changeants.

Dans le monde actuel axé sur les données, les entreprises sont souvent confrontées au défi de vérifier de grands volumes de données d'identité, que ce soit pour l'intégration d'utilisateurs existants, des contrôles de conformité périodiques ou la détection de la fraude. Les processus manuels sont lents, sujets aux erreurs et non évolutifs. La construction d'un système de vérification par lots à haut débit nécessite une architecture robuste capable de traiter de vastes ensembles de données de manière efficace et sécurisée. C'est là qu'intervient la puissante combinaison des API de vérification d'identité natives AI de Didit et d'Apache Spark.

Le besoin de vérification par lots à haut débit

De nombreuses organisations accumulent d'importantes quantités de données clients au fil du temps. Ces données doivent souvent être revérifiées en raison de l'évolution des exigences réglementaires (par exemple, AML, KYC), des stratégies actualisées de prévention de la fraude, ou de la nécessité de mettre à jour les dossiers clients historiques aux normes de conformité actuelles. La vérification en temps réel est cruciale pour les nouvelles inscriptions, mais la vérification par lots est tout aussi essentielle pour maintenir l'intégrité et la conformité des bases d'utilisateurs existantes. Les méthodes de traitement par lots traditionnelles, cependant, peuvent avoir du mal avec le volume et la complexité des tâches de vérification d'identité, qui impliquent souvent plusieurs étapes comme l'analyse de documents, les contrôles biométriques et le filtrage des listes de surveillance.

Les défis incluent :

• Volume de données : Traitement de millions, voire de milliards d'enregistrements.
• Vitesse de traitement : Réalisation de la vérification dans des délais acceptables.
• Précision et fiabilité : Assurer des résultats cohérents et précis pour toutes les vérifications.
• Conformité : Respect des exigences réglementaires diverses et strictes.
• Prévention de la fraude : Identification et atténuation des risques dans les données historiques.

Un cadre de traitement distribué comme Apache Spark, combiné à une plateforme spécialisée de vérification d'identité comme Didit, offre la solution idéale.

Concevoir votre système de vérification par lots avec Spark et Didit

La construction d'un système de vérification par lots à haut débit implique plusieurs composants clés :

1. Ingestion de données : Chargement des données d'identité depuis diverses sources (bases de données, lacs de données, fichiers CSV) dans Spark.
2. Préparation des données : Nettoyage, transformation et standardisation des données pour répondre aux exigences de l'API Didit.
3. Intégration API : Appel des API de Didit pour des contrôles de vérification spécifiques.
4. Traitement asynchrone : Gestion des réponses API et gestion des limites de débit potentielles ou des tentatives.
5. Stockage des résultats : Stockage des résultats de vérification et des métadonnées associées pour l'audit et l'analyse ultérieure.

La capacité d'Apache Spark à distribuer le calcul sur un cluster le rend parfait pour paralléliser les appels API et traiter de grands ensembles de résultats. Par exemple, vous pouvez partitionner votre ensemble de données en milliers de morceaux plus petits, et chaque travailleur Spark peut appeler indépendamment l'API de Didit pour son sous-ensemble de données attribué. Cela réduit considérablement le temps de traitement total.

Un flux de travail typique pourrait ressembler à ceci :

1. Charger les données dans Spark : Lisez vos données d'identité brutes dans un DataFrame Spark.

2. Préparer les données pour Didit : Transformez le DataFrame pour créer des charges utiles JSON adaptées à l'API de Didit. Par exemple, si vous effectuez une vérification d'identité, vous extrairez des champs comme le nom, la date de naissance et les images de documents (si disponibles) pour construire le corps de la requête.

3. Distribuer les appels API : Utilisez les fonctions mapPartitions ou foreachPartition de Spark pour envoyer des lots de requêtes à l'API de Didit. C'est là qu'intervient le haut débit, car plusieurs partitions peuvent être traitées simultanément.

4. Traiter les réponses : Collectez les résultats de vérification de Didit. L'API de Didit fournit des réponses JSON détaillées, y compris le statut de vérification, les données extraites (par exemple, de la vérification d'identité avec OCR, MRZ et décodage de codes-barres), et les scores de risque des services comme la détection du vivant passive et active ou le filtrage et la surveillance AML.

5. Stocker et analyser les résultats : Persistez les résultats dans votre entrepôt de données ou un nouveau DataFrame Spark pour les rapports, la journalisation de la conformité et les actions ultérieures.

Tirer parti de la suite de vérification complète de Didit

Didit propose une suite modulaire de produits de vérification d'identité parfaitement adaptés au traitement par lots :

• Vérification d'identité : Pour valider les documents émis par le gouvernement dans plus de 220 pays. Vous pouvez soumettre des images de documents et recevoir des données structurées et une analyse de la fraude.
• Détection du vivant passive et active : Pour confirmer la présence d'une personne réelle et vivante et prévenir les attaques de deepfake. Bien que généralement en temps réel, pour les scénarios par lots où vous avez des images de selfie existantes, vous pouvez les traiter pour l'analyse du vivant.
• Correspondance faciale 1:1 et recherche faciale : Pour comparer un nouveau selfie à un selfie existant, ou rechercher dans une base de données de visages connus.
• Filtrage et surveillance AML : Pour vérifier les identités par rapport aux listes de surveillance mondiales, aux listes de sanctions et aux bases de données PEP, crucial pour la conformité.
• Preuve d'adresse : Pour vérifier l'adresse résidentielle d'un utilisateur à l'aide de diverses sources de données.
• Vérification du téléphone et de l'e-mail : Pour valider les coordonnées et améliorer la sécurité du compte.

Chacun de ces services est accessible via des API claires et bien documentées, ce qui facilite l'intégration avec Spark. Vous pouvez construire des flux de travail sophistiqués, orchestrant plusieurs contrôles au sein d'une seule tâche par lots pour obtenir une évaluation complète des risques.

Meilleures pratiques pour la performance et la sécurité

• Regroupement des requêtes : Alors que Spark gère la distribution, envisagez de regrouper plusieurs requêtes de vérification d'identité en un seul appel API si l'API de Didit le prend en charge (ou créez un microservice personnalisé qui le fait) pour réduire les frais généraux.
• Gestion des erreurs et tentatives : Mettez en œuvre une gestion robuste des erreurs, y compris un backoff exponentiel pour les tentatives, afin de gérer gracieusement les problèmes de réseau transitoires ou les limites de débit de l'API.
• Sécurité : Toutes les communications avec l'API de Didit doivent utiliser HTTPS. Assurez-vous que les clés API sont stockées en toute sécurité et non codées en dur.
• Confidentialité des données : Soyez attentif aux réglementations en matière de confidentialité des données (par exemple, GDPR, CCPA) lors du traitement et du stockage des données d'identité. N'envoyez que les données nécessaires à Didit et stockez les résultats en toute sécurité. Les données d'identité structurées de Didit aident à maintenir la conformité.
• Surveillance : Surveillez vos tâches Spark et l'utilisation de l'API Didit pour identifier les goulots d'étranglement et garantir des performances optimales.
• Idempotence : Concevez votre système pour qu'il soit idempotent, ce qui signifie que la réexécution d'une tâche par lots avec les mêmes données d'entrée produit le même résultat, évitant ainsi les vérifications en double.

Comment Didit aide

Didit fournit les éléments essentiels pour un système de vérification par lots à haut débit. Notre plateforme native AI offre une architecture modulaire, vous permettant de choisir les primitives de vérification exactes dont vous avez besoin, de la vérification d'identité (OCR, MRZ, codes-barres) à la détection du vivant passive et active et au filtrage et à la surveillance AML. Cette flexibilité signifie que vous ne payez que ce que vous utilisez, ce qui le rend incroyablement rentable pour les opérations à grande échelle.

Avec le niveau gratuit de Didit et sans frais d'installation, vous pouvez commencer à expérimenter et à construire vos pipelines de traitement par lots immédiatement. Notre approche axée sur les développeurs, avec des sandboxes instantanés et des API claires, réduit considérablement le temps d'intégration. Que vous ayez besoin de revérifier des millions d'enregistrements historiques ou d'effectuer des contrôles de conformité continus, l'infrastructure évolutive de Didit et la précision alimentée par l'IA garantissent un traitement fiable et efficace. Les données d'identité structurées renvoyées par Didit sont faciles à intégrer dans vos DataFrames Spark, permettant une analyse et une action rapides.

Prêt à commencer ?

Prêt à voir Didit en action ? Obtenez une démo gratuite dès aujourd'hui.

Commencez à vérifier les identités gratuitement avec le niveau gratuit de Didit.