利用 Didit 与 Apache Iceberg 构建合规数据湖架构 (ZH)

结构化身份数据Didit 平台提供高度结构化的身份验证数据，包括 OCR 提取、活体检测分数和 AML 筛选结果，这些数据非常适合直接摄取到合规数据湖中。

Apache Iceberg 在合规中的应用Apache Iceberg 提供了模式演进、隐藏分区和时间旅行等关键功能，使其成为构建不可变、可审计且高性能合规数据湖的绝佳选择。

无缝集成通过利用 Didit 简洁的 API，企业可以轻松地将实时身份验证结果流式传输到 Iceberg 数据湖中，确保及时准确地记录以满足监管要求。

Didit 的优势Didit 通过其免费的核心 KYC、模块化设计和 AI 原生方法简化了合规数据架构，提供高质量的结构化数据，可用于通过 Apache Iceberg 等解决方案进行高级分析和审计。

现代合规数据湖的必然要求

在当今高度监管的环境中，组织面临着巨大的压力，需要维护客户身份验证流程的全面、可审计记录。传统的数据孤岛和非结构化数据使得合规变得困难、缓慢且成本高昂。基于现代数据架构构建的合规数据湖提供了一个可扩展且灵活的解决方案。它集中了多样化的数据源，支持高级分析，并为监管审查提供了必要的审计追踪。目标是将原始验证输入和输出转换为结构化、可查询的资产，能够经受最严格的审计。

此类数据湖的关键要求包括不变性、模式灵活性、分析查询性能以及强大的数据治理。这正是 Didit 的结构化身份数据和 Apache Iceberg 表格式结合的亮点。Didit 提供高质量的预处理身份数据，而 Iceberg 则为有效管理大规模数据提供了架构主干。

为什么 Apache Iceberg 是合规数据的理想选择

Apache Iceberg 正在迅速成为数据湖上开放表格式的标准，其功能特别适合合规性。与传统数据湖方法在模式变更和数据一致性方面可能遇到的困难不同，Iceberg 在对象存储之上提供了一个事务层，提供了类似数据库的功能。以下是它成为合规领域游戏规则改变者的原因：

• 模式演进：合规要求可能会发生变化，身份验证过程中收集的数据点也可能发生变化。Iceberg 允许安全的模式演进（添加、删除或重命名列），而不会破坏现有查询或需要昂贵的数据重写。这种灵活性对于适应新法规至关重要。
• 时间旅行：查询数据在特定时间点的状态对于审计来说是无价的。Iceberg 的时间旅行功能允许审计员重建身份验证记录的过去状态，从而在任何给定时刻证明合规性。
• 隐藏分区：Iceberg 自动管理分区方案，将物理布局与逻辑表分离。这优化了查询性能，而无需用户了解底层数据组织，从而简化了合规分析师的数据访问。
• 原子性和可靠性：Iceberg 确保原子事务，保证数据写入是全有或全无的。这消除了部分或损坏的数据状态，为关键合规记录提供了可靠的基础。

将 Didit 的结构化身份数据集成到您的数据湖中

Didit 作为一个人脸识别原生的身份平台，旨在生成高度结构化和可操作的身份数据。这使其成为填充合规数据湖的理想来源。Didit 处理各种身份验证检查，从身份验证（OCR、MRZ、条形码）到被动和主动活体检测、1:1 人脸匹配、AML 筛选和监控以及地址证明。每项服务都会生成丰富、精细的数据点，这些数据点都经过精心分类和格式化。

例如，通过 Didit 进行的身份验证会产生提取的文档数据（姓名、出生日期、文档编号、有效期）、真实性检查结果（篡改检测、文档活体检测分数）以及可能的年龄估算结果。所有这些数据都通过简洁的 API 返回，使集成变得简单。同样，AML 筛选提供详细的观察名单命中和风险分数。这种结构化输出最大限度地减少了在摄取到 Iceberg 之前进行大量数据转换的需要，从而加速了从数据到洞察的时间并减少了数据工程开销。

集成过程通常包括：

1. API 集成：使用 Didit 的开发者优先 API 实时或近实时捕获验证结果。
2. 数据流：将 Didit 的结构化 JSON 或 Avro 数据流式传输到消息队列（例如 Kafka）或直接传输到数据湖的摄取层。
3. Iceberg 表创建：定义与 Didit 输出一致的 Iceberg 表和模式。利用 Iceberg 的模式演进功能，随着合规需求或 Didit 数据输出的变化进行调整。
4. 数据湖存储：将 Iceberg 表数据存储在经济高效的对象存储中，例如 S3、ADLS 或 GCS。

构建可审计且高性能的合规工作流

一旦 Didit 的数据存放在 Iceberg 表中，您就可以构建强大的合规和审计工作流。例如，您可以轻松查询所有导致特定风险评分或涉及特定文档类型的身份验证会话。时间旅行功能允许审计员在客户 KYC 资料在入职或定期审查时的确切时刻重建其状态。

Didit 的编排工作流，通过其无代码业务控制台提供，允许您定义多步验证流程。这些工作流中每个步骤的结果（例如，文档验证、活体检测，然后是 AML 筛选）都将被捕获并可以摄取到您的 Iceberg 表中，从而为用户通过合规检查的旅程提供完整的审计追踪。此外，Didit 可以为任何验证会话生成合规就绪的 PDF 报告，提供额外的可审计证据层。

借助 Iceberg，您还可以高效地实施数据保留策略和匿名化策略，利用其事务能力根据 GDPR 或 CCPA 等监管要求管理数据生命周期。隐藏分区和谓词下推的性能优势意味着即便是大型合规数据集也可以快速查询，从而实现对审计请求的快速响应。

Didit 如何提供帮助

Didit 是一个 AI 原生、开发者优先的身份平台，为强大的合规数据湖提供了基础构建模块。我们平台的模块化架构意味着您可以选择您需要的验证组件，从身份验证（OCR、MRZ、条形码）和被动和主动活体检测到AML 筛选和监控以及NFC 验证。每个产品都会生成高度结构化、机器可读的数据，旨在无缝集成到下游系统中。

我们对 AI 原生的承诺确保您收到的数据准确、全面，并针对分析用例进行了优化。Didit 的免费核心 KYC 产品允许企业无需前期成本即可开始构建其合规基础设施，我们的按成功检查付费模式，加上无设置费，使其成为各种规模公司经济可行的解决方案。通过提供结构化、可审计的身份数据，Didit 大大降低了构建和维护合规数据湖的复杂性和成本，尤其是在与 Apache Iceberg 等强大工具结合使用时。

准备好开始了吗？

准备好亲眼见证 Didit 的强大功能了吗？立即获取免费演示。

使用Didit 的免费套餐免费开始验证身份。