Kafka와 Kubernetes로 고성능 본인 인증 시스템 구축하기 (KO)

확장 가능한 파이프라인 아키텍처비동기적이고 처리량이 높은 이벤트 스트리밍을 위해 Kafka를 활용하고, 인증 마이크로서비스의 자동 배포, 확장 및 관리를 위해 Kubernetes를 활용하세요.

실시간 처리 기능인증 파이프라인을 설계하여 대량의 본인 인증 요청을 효율적으로 처리하고, 낮은 지연 시간과 높은 가용성을 보장하세요.

개발자 중심 통합Kafka-Kubernetes 생태계 내에서 다양한 본인 인증 모듈을 통합하기 위한 API 설계 고려 사항, 데이터 형식 및 일반적인 패턴을 이해하세요.

과제: 본인 인증 시스템 확장

오늘날 디지털 환경에서 기업은 강력하고 확장 가능한 본인 인증 프로세스에 대한 수요가 점점 더 증가하고 있습니다. 신규 사용자 온보딩부터 사기 방지에 이르기까지, 대량의 인증 요청을 실시간으로 처리해야 하는 필요성이 매우 중요합니다. 기존의 모놀리식 아키텍처는 종종 속도를 따라가지 못해 성능 병목 현상, 지연 시간 증가 및 확장 어려움을 겪습니다. 이때 Apache Kafka 및 Kubernetes와 같은 기술로 구동되는 최신 마이크로서비스 기반 접근 방식이 고성능 본인 인증 파이프라인 구축에 필수적입니다.

일반적인 본인 인증 파이프라인은 여러 단계를 포함합니다: 인증 요청 수신, 문서(신분증 또는 여권 등)에서 데이터 추출, 생체 인식 검사(실시간 감지, 얼굴 일치), 규정 준수 검사(AML 스크리닝) 실행, 그리고 최종적으로 결정 반환. 각 단계는 리소스 집약적일 수 있으며, 많은 부하에서도 성능을 유지하기 위해 신중한 오케스트레이션이 필요합니다. 수요에 따라 개별 구성 요소를 독립적으로 확장하는 능력은 매우 중요합니다. 또한, 장애 허용 및 신속한 오류 복구를 보장하는 것은 신뢰와 사용자 경험을 유지하는 데 있어 필수 불가결합니다.

정교한 봇과 AI 생성 신원의 등장은 문제를 더욱 복잡하게 만들며, 대규모로 운영될 수 있는 정교한 사기 탐지 메커니즘을 요구합니다. 하루에 수백만 건의 인증 요청을 처리하려면 성능뿐만 아니라 복원력 있고 적응성이 뛰어난 아키텍처가 필요합니다. 이것이 바로 Kafka와 Kubernetes를 사용하는 잘 설계된 파이프라인 아키텍처가 해결하고자 하는 핵심 문제입니다.

고성능 이벤트 스트리밍을 위한 Kafka 활용

Apache Kafka는 실시간으로 대량의 데이터를 처리하는 데 탁월한 분산 이벤트 스트리밍 플랫폼입니다. 게시-구독 모델은 마이크로서비스 기반 본인 인증 파이프라인의 이상적인 백본입니다. 각 인증 요청을 이벤트로 취급함으로써 Kafka는 서로 다른 서비스 간의 비동기 통신을 가능하게 하여, 서비스를 분리하고 독립적으로 확장할 수 있도록 합니다.

Kafka를 통합하는 방법은 다음과 같습니다:

• 수집 토픽: 모든 수신 인증 요청은 전용 Kafka 토픽(예: verification-requests)에 게시됩니다. 이 토픽은 파이프라인의 진입점 역할을 합니다.
• 처리 토픽: 요청이 인증의 다른 단계를 거치면서(예: 문서 OCR, 실시간 감지, AML 스크리닝), 메시지는 중간 토픽으로 라우팅될 수 있습니다. 예를 들어, OCR을 수행하는 서비스는 추출된 데이터를 document-data-extracted 토픽에 게시할 수 있습니다.
• 소비자 그룹: 특정 인증 단계를 담당하는 각 마이크로서비스(또는 마이크로서비스 그룹)는 하나 이상의 토픽에 대한 소비자 역할을 합니다. Kafka의 소비자 그룹은 각 메시지가 그룹 내에서 단일 소비자에게만 처리되도록 보장하여, 병렬 처리 및 부하 분산을 가능하게 합니다.
• 확장성: 특정 인증 단계가 병목 현상이 되면, 해당 Kafka 토픽에서 소비하는 마이크로서비스 인스턴스(Kubernetes의 파드) 수를 늘리기만 하면 됩니다. Kafka는 자동으로 사용 가능한 소비자 간에 파티션을 재조정합니다.
• 내구성 및 내결함성: Kafka의 분산된 특성과 데이터 복제는 브로커 또는 소비자가 실패하더라도 이벤트가 손실되지 않도록 보장합니다. 소비자는 자체 오프셋을 유지하여 중단된 지점에서 처리를 재개할 수 있습니다.

초당 1,000건의 인증 요청을 받는 시나리오를 생각해 보세요. Kafka를 사용하면 이러한 요청을 단일 토픽으로 수집할 수 있습니다. ID 문서 인증 서비스와 같은 다운스트림 서비스는 이 토픽에서 소비할 수 있습니다. ID 인증 서비스가 초당 500건만 처리할 수 있다면, 여러 인스턴스(예: 각 100건/초 처리하는 10개 인스턴스)를 배포하여 수집 속도와 일치시킬 수 있으며, 단일 구성 요소에 과부하를 주지 않고 실시간 처리를 보장할 수 있습니다.

예시 Kafka 토픽 구조:

• verification.requests.new: 수신되는 인증 요청용.
• verification.document.processed: 문서 OCR 및 유효성 검사 결과용.
• verification.biometric.processed: 실시간 감지 및 얼굴 일치 결과용.
• verification.aml.processed: AML 스크리닝 결과용.
• verification.decisions: 각 인증의 최종 결정용.