使用 Go 和 Kafka 构建制裁筛选微服务 (ZH)

可扩展的合规性实现一个制裁筛选微服务，以实现实时反洗钱（AML）合规，能够处理高吞吐量和动态的监管变化。

事件驱动设计利用 Kafka 进行异步处理和高效的数据同步，确保对核心业务逻辑的影响最小化。

合规即代码利用开放策略代理（OPA）将合规规则外部化和管理，实现敏捷更新和可审计性。

增强欺诈检测整合高级风险信号和实时数据查询，以加强您的反洗钱框架并改善欺诈预防。

在当今快速变化的监管环境中，金融机构和受监管企业面临着巨大的压力，需要执行严格的反洗钱（AML）检查，包括全面的制裁筛选。传统的单体系统往往难以跟上动态法规、实时交易量以及敏捷更新的需求。这篇博文将深入探讨如何使用 Go、Kafka 和开放策略代理（OPA）等尖端技术，构建一个现代、可扩展的制裁筛选微服务架构。

实时制裁筛选和微服务的必要性

全球打击金融犯罪的斗争需要警惕。世界各地的监管机构对个人和实体进行制裁名单（例如，OFAC、联合国、欧盟）筛选提出了严格要求。延迟或失败可能导致巨额罚款、声誉损害，甚至刑事指控。对于在实时环境中运营的企业而言，手动流程或批处理筛选系统已不足以应对。

微服务架构通过以下方式解决了这些挑战：

• 可扩展性： 根据需求独立扩展制裁筛选服务，而不会影响系统的其他部分。
• 敏捷性： 快速部署更新和新规则，这对于应对快速变化的制裁名单至关重要。
• 弹性： 隔离故障；筛选服务中的问题不会导致整个平台崩溃。
• 技术多样性： 选择最适合工作的工具。Go 是构建高性能、并发服务的绝佳选择。

我们的目标是构建一个能够在接近实时反洗钱场景中筛选新用户、交易和持续客户档案的服务，提供即时风险评估，而不会给面向用户的应用程序带来显著延迟。

架构概述：Go、Kafka 和 OPA 实现合规

以下是我们提出的制裁筛选微服务的高级视图：

1. 摄取层（Kafka 生产者）： 核心服务（例如，用户注册、交易处理）将事件（例如，user_created、transaction_initiated）发布到 Kafka 主题。
2. 制裁筛选服务（Go 消费者）： 一个 Go 微服务从 Kafka 消费这些事件。
3. 数据丰富： Go 服务使用内部客户信息或外部数据源（例如，IP 分析、设备指纹）丰富传入数据。
4. 制裁数据存储： 一个专用、频繁更新的数据库（例如，PostgreSQL、Redis）存储来自各种提供商的合并制裁名单。
5. 匹配引擎： Go 服务实现模糊匹配算法，以将传入的实体名称与制裁名单进行比较。
6. 策略决策点（OPA）： 对于复杂的规则评估和合规即代码，Go 服务查询一个开放策略代理（OPA）实例。OPA 根据丰富的数据和匹配结果评估 Rego 策略，以做出最终的合规决策（例如，approve、flag_for_review、deny）。
7. 结果发布（Kafka 生产者）： Go 服务将筛选结果（例如，带有状态和详细信息的sanctions_screened事件）发布回另一个 Kafka 主题。
8. 警报/行动： 下游服务消费这些结果以触发手动审查、账户冻结或交易暂停等操作。

使用 Go 实现制裁筛选逻辑

Go 出色的并发模型和性能使其成为构建高吞吐量微服务的理想选择。以下是关键组件的实现方式：

Go 中的 Kafka 消费者

package main

import (
    "context"
    "log"
    "os"
    "os/signal"
    "syscall"

    "github.com/segmentio/kafka-go"
)

func main() {
    broker := "localhost:9092"
    topic := "onboarding_events"
    groupID := "sanctions_consumer_group"

    r := kafka.NewReader(kafka.ReaderConfig{
        Brokers:   []string{broker},
        Topic:     topic,
        GroupID:   groupID,
        MinBytes:  10e3, // 10KB
        MaxBytes:  10e6, // 10MB
        MaxWait:   1 * time.Second,
    })

    ctx, cancel := context.WithCancel(context.Background())
    defer cancel()

    sigChan := make(chan os.Signal, 1)
    signal.Notify(sigChan, syscall.SIGINT, syscall.SIGTERM)

    log.Println("Starting Kafka consumer...")

    go func() {
        for {
            m, err := r.ReadMessage(ctx)
            if err != nil {
                log.Printf("Error reading message: %v", err)
                break
            }
            log.Printf("Received message: %s from topic %s partition %d offset %d\n", string(m.Value), m.Topic, m.Partition, m.Offset)
            // Process the message for sanctions screening
            // ... call screening logic ...
            // Publish result to another Kafka topic
        }
    }()

    <-sigChan
    log.Println("Shutting down consumer...")
    if err := r.Close(); err != nil {
        log.Fatalf("Failed to close reader: %v", err)
    }
}

制裁匹配逻辑

Go 服务将实现模糊匹配算法（例如，Jaro-Winkler、Levenshtein 距离），以将传入事件中的名称、别名和地址与存储的制裁数据进行比较。可以配置阈值和权重。与外部制裁数据提供商的集成涉及强大的 API 和数据同步管道，以保持名单的最新性。

使用开放策略代理（OPA）实现合规即代码

OPA 是管理复杂合规规则的颠覆性工具。您可以使用 OPA 的高级声明性语言 Rego 来定义策略，而不是硬编码逻辑。这提供了：

• 集中式策略管理： 所有合规规则都集中在一个地方。
• 版本控制： 策略可以像代码一样进行版本控制、审查和部署。
• 可审计性： OPA 提供清晰的决策日志，准确显示做出决策的原因。
• 灵活性： 无需重新部署核心服务即可轻松适应新法规。

制裁筛选的 Rego 策略示例

考虑一个简单的策略，用于在匹配分数超过阈值且实体类型为“个人”时进行标记：

package sanctions.screening

default allow = false

allow {
    input.match_score < 0.85
}

flag_for_review {
    input.match_score >= 0.85
    input.match_score < 0.95
    input.entity_type == "individual"
}

deny {
    input.match_score >= 0.95
}

Go 服务将向 OPA 代理发出带有相关数据（input）的 HTTP POST 请求，OPA 返回 JSON 决策。

Didit 如何帮助进行制裁筛选

从头开始构建一个强大的制裁筛选微服务是一项艰巨的任务，需要数据摄取、匹配算法、法规遵从性和可扩展基础设施方面的专业知识。Didit 提供了一个全面的开箱即用解决方案，可以显著加快您的上市时间并降低运营开销。

Didit 平台提供：

• 实时反洗钱筛选： 根据 1,300 多个全球观察名单（包括 OFAC、联合国、欧盟制裁、PEP 数据库、负面媒体和犯罪记录）筛选用户。
• 可配置的风险引擎： 使用双分数系统（匹配分数 + 风险分数），具有可配置的权重和阈值，类似于您使用 OPA 实现的效果，但完全托管。
• 持续反洗钱监控： 每日自动重新筛选已验证用户，并在新的制裁命中或风险配置文件更改时接收 webhook 警报。
• 统一身份平台： 通过单个 API 将制裁筛选与身份验证、生物识别和欺诈检测相结合，简化您的整个合规和安全工作流程。
• API 优先设计： 轻松将 Didit 的模块集成到您现有的微服务架构中，让您专注于核心业务逻辑，同时卸载复杂的合规任务。
• 成本效益： Didit 提供透明的按次检查定价，通常比内部构建和维护这些系统更具成本效益。

通过利用 Didit，您可以快速实施先进的制裁筛选功能，确保实时反洗钱合规，而无需承担繁重的开发负担。

常见问题

AML 中的制裁筛选是什么？

AML（反洗钱）中的制裁筛选是根据政府发布的官方制裁名单检查个人、实体和交易的过程。这些名单包含因参与恐怖主义、毒品贩运、侵犯人权或其他非法活动而受到金融制裁的个人、组织和国家。目标是防止金融犯罪并确保遵守国际法规。

为什么使用微服务进行制裁筛选？

微服务通过提供可扩展性、敏捷性和弹性来增强制裁筛选。它们允许独立扩展筛选组件，快速部署新规则，并隔离故障，从而更容易适应不断变化的法规并有效处理高交易量。这使得实时反洗钱合规对于现代企业至关重要。

什么是合规即代码？

合规即代码是一种方法，通过使用代码来定义、管理和执行监管和组织策略。Open Policy Agent (OPA) 等工具允许使用高级语言 (Rego) 编写、版本控制和自动应用合规规则，从而确保一致性、可审计性以及更快地适应法规变化。

Kafka 如何改善实时反洗钱筛选？

Kafka 通过提供高度可扩展且容错的事件流平台来改善实时反洗钱筛选。它支持客户和交易数据的异步处理，将筛选服务与上游系统解耦。这确保了筛选可以持续高效地进行，而不会阻塞核心业务操作，并允许对可疑活动立即采取行动。

准备好开始了吗？

实施强大的制裁筛选解决方案对于维护合规性和防止金融犯罪至关重要。无论您选择使用微服务架构自行构建，还是利用像 Didit 这样的强大平台，优先考虑实时功能和敏捷策略管理都是关键。

探索 Didit 的身份平台，了解我们全面的反洗钱筛选和合规工具如何简化您的运营并保护您的业务。

• 查看 Didit 定价
• 访问 Didit 业务控制台
• 阅读技术文档