使用 Kafka & Kubernetes 构建高吞吐量身份验证系统 (ZH)

可扩展的管道架构利用 Kafka 实现异步、高吞吐量的事件流，并利用 Kubernetes 实现验证微服务的自动化部署、扩展和管理。

实时处理能力设计您的验证管道，以高效处理身份验证请求的爆发，确保低延迟和高可用性。

以开发者为中心集成了解 API 设计注意事项、数据格式以及在 Kafka-Kubernetes 生态系统中集成各种身份验证模块的通用模式。

挑战：扩展身份验证

在当今的数字格局中，企业面临着对强大且可扩展的身份验证流程日益增长的需求。从新用户入职到防止欺诈，实时处理大量验证请求的需求至关重要。传统的单体架构通常难以跟上步伐，导致性能瓶颈、延迟增加以及扩展困难。这就是为什么采用由 Apache Kafka 和 Kubernetes 等技术驱动的现代、基于微服务的解决方案对于构建高吞吐量身份验证管道至关重要。

典型的身份验证管道涉及多个步骤：接收验证请求，从文档（如身份证或护照）中提取数据，执行生物特征检查（活体检测、面部匹配），运行合规性检查（AML 筛查），最后返回决定。其中每个步骤都可能需要大量资源，并且需要仔细的协调才能在重负载下保持性能。能够根据需求独立扩展各个组件至关重要。此外，确保容错能力和从故障中快速恢复对于维持信任和用户体验是不可或缺的。

复杂的机器人和人工智能生成的身份的兴起使问题更加复杂，需要能够大规模运行的复杂欺诈检测机制。每天处理数百万次验证请求需要一种不仅性能高，而且具有弹性和适应性的架构。这正是使用 Kafka 和 Kubernetes 构建的精心设计的管道架构旨在解决的核心问题。

利用 Kafka 实现高吞吐量事件流

Apache Kafka 是一个分布式事件流平台，在实时处理大量数据方面表现出色。其发布-订阅模型使其成为基于微服务的身份验证管道的理想骨干。通过将每个验证请求视为一个事件，Kafka 可以在不同服务之间实现异步通信，使它们能够解耦并独立扩展。

以下是 Kafka 的集成方式：

• 摄入主题：所有传入的验证请求都发布到一个专用的 Kafka 主题（例如，verification-requests）。此主题充当您管道的入口点。
• 处理主题：当请求经过验证的各个阶段（例如，文档 OCR、活体检测、AML 筛查）时，可以将消息路由到中间主题。例如，执行 OCR 的服务可能会将提取的数据发布到 document-data-extracted 主题。
• 消费者组：负责特定验证步骤的每个微服务（或微服务组）充当一个或多个主题的消费者。Kafka 的消费者组确保每个消息仅由组内的一个消费者处理，从而实现并行处理和负载平衡。
• 可扩展性：如果某个验证步骤成为瓶颈，您可以简单地增加消耗其相应 Kafka 主题的微服务实例（Kubernetes 中的 Pod）的数量。Kafka 会自动在可用消费者之间重新平衡分区。
• 持久性和容错能力：Kafka 的分布式特性和数据复制确保即使代理或消费者发生故障，事件也不会丢失。消费者维护自己的偏移量，允许它们从上次中断的地方恢复处理。

考虑一种每秒接收 1000 次验证请求的场景。使用 Kafka，您可以将这些请求摄入到单个主题中。下游服务，例如身份证件验证服务，可以从此主题进行消费。如果身份证件验证服务每秒只能处理 500 次请求，您可以部署多个此服务的实例（例如，10 个实例，每个处理 100 次请求/秒），以匹配摄入速率，确保实时处理而不会使任何单个组件过载。

示例 Kafka 主题结构：

• verification.requests.new：用于传入的验证请求。
• verification.document.processed：用于文档 OCR 和验证的结果。
• verification.biometric.processed：用于活体检测和面部匹配的结果。
• verification.aml.processed：用于 AML 筛查的结果。
• verification.decisions：用于每次验证的最终决定。