AI에 간단한 작업 부여: Didit을 해킹해 보세요

Didit에서 AI 레드팀은 인공지능(AI) 에이전트를 사용하여 스테이징 환경에서 신원 확인 흐름에 도전하는 것을 의미합니다. 우리는 시도와 그 결과를 연구하여 약점을 찾고 검증을 수행하는 봇을 감지하며 실제 사용자가 어려움을 겪는 부분을 이해합니다.

우리는 에이전트에게 소스 코드에 대한 접근 권한을 부여하고 스테이징 환경에서 검사를 통과하는 방법을 찾도록 요청합니다. 에이전트는 위조된 문서, 주입된 카메라 피드, 실제 워크플로우를 통한 자동화된 여정을 시도합니다. 우리는 발생하는 상황을 관찰하고 결과를 조사하며 학습한 내용을 사용하여 시스템을 개선합니다.

또한 이 작업을 사용하여 검증을 수행하는 봇을 감지하고 사용자 행동을 이해하는 데 도움을 줍니다. 자동화가 흐름을 통해 어떻게 움직이는지 확인함으로써 사기 및 화면 반대편에 있는 사람의 경험에 대해 더 나은 질문을 할 수 있습니다.

주요 시사점

전체 여정을 테스트합니다. 위조된 문서, 인공 카메라 피드 및 자동화된 작업은 검증 흐름의 다른 부분에 도전합니다.

발생한 일을 조사합니다. 우회를 주장하는 에이전트는 재현 가능한 증거와 대조하여 확인해야 합니다.

행동에서 배웁니다. 타이밍과 재시도는 자동화에 대한 맥락을 추가하는 동시에 합법적인 사용자가 도움이 필요한 부분을 드러낼 수 있습니다.

결과를 유용하게 만듭니다. 이 작업은 조사 수정 및 실제 사람들에게 미치는 영향에 대한 검사를 통해 계속됩니다.

화면 뒤의 책임

TechCrunch는 한 검증 제공업체에서 의심되는 침해를 보고했습니다.

우리에게 책임은 사람들이 검증 회사에 맡기는 것에서 시작됩니다. 여권 스캔에는 이름, 사진 및 기타 식별 정보가 포함됩니다. 셀카는 얼굴 기록입니다. 비밀번호가 유출되면 재설정할 수 있습니다. 하지만 얼굴은 재설정할 수 없습니다.

이 책임은 문서가 진짜처럼 보이는지 또는 사람이 존재하는지 여부를 결정하는 것을 넘어섭니다. 여기에는 요청을 처리하는 서비스, 데이터 주변의 권한 및 시스템을 운영하는 사람들이 포함됩니다. 여정의 시작 부분에서 강력한 검사는 다른 곳의 약점을 보완할 수 없습니다.

이것이 우리가 발견한 것을 행동으로 옮길 기회가 있을 때 우리의 가정을 시험하고 싶은 이유입니다.

우리가 에이전트에게 실제로 요청하는 것

일반적인 테스트는 예상되는 결과로 시작됩니다. 적대적 테스트는 시스템이 방지해야 하는 목표로 시작됩니다.

신원 확인의 경우 위조된 문서를 수락하거나 녹화된 얼굴이 존재하는 사람으로 통과하도록 시도하는 것을 의미할 수 있습니다. 자동화된 클라이언트가 예상치 못한 방식으로 흐름을 통과할 때 시스템이 어떻게 반응하는지 조사하는 것을 의미할 수도 있습니다.

에이전트는 코드를 검사하고 워크플로우와 상호 작용하며 응답에 따라 다음 시도를 조정할 수 있습니다. 이는 고정된 테스트 케이스 세트가 놓칠 수 있는 가정을 탐색하는 유용한 방법을 제공합니다.

이 애니메이션에서 에이전트는 표본 문서를 업로드하고 인공 카메라 피드를 제공하며 스테이징 환경에서 검증 단계를 진행합니다. 카메라가 한 화면에서 녹화된 영상의 벽으로 뒤로 물러나 활동 범위를 볼 수 있습니다.

조작된 미디어에 대한 배경 정보는 딥페이크 공격 및 탐지 가이드를 참조하십시오.

벽은 작업의 시각화입니다. 각 결과는 여전히 기본 증거와 대조하여 확인해야 합니다. 에이전트가 우회를 찾았다고 해서 그것이 우회가 되는 것은 아닙니다.

우리의 접근 방식에는 시도할 작업에 대한 제한이 적은 최첨단 모델과 오픈 모델이 포함됩니다. 우리는 모델이 탐색을 거부할 수 있는 시도를 포함하여 적대적 행동에 대한 유용한 커버리지를 원합니다. 모델이 공격을 시도하려는 의지가 공격이 성공했는지 여부에 대해 아무것도 말해주지 않습니다. 그것은 우리가 확인해야 할 엔지니어링 문제입니다.

이 작업이 봇을 이해하는 데 어떻게 도움이 되는가

문서와 셀카는 이야기의 일부를 알려줍니다. 검증이 발생하는 방식은 맥락을 추가할 수 있습니다.

우리는 이러한 연습을 사용하여 검증을 수행하는 봇을 감지하고 봇 행동에 대해 더 많이 배우는 데 도움을 줍니다. 자동화를 직접 실행함으로써 자동화가 변경됨에 따라 연구하고 비교하고 도전할 수 있는 예시를 얻습니다.

자동화된 시도가 일시 중지되는 위치 오류 후 반복되는 내용 매번 동일한 순서를 따르는지 여부를 검토할 수 있습니다. 또한 해당 행동이 장치 및 세션 컨텍스트에 맞는지 여부도 고려할 수 있습니다. 이러한 비교는 조사를 더 구체적으로 만드는 데 도움이 됩니다.

이것들은 조사해야 할 질문이지 그 자체로 사기를 확립하는 규칙이 아닙니다. 빠른 사용자는 단순히 무엇을 해야 할지 알 수 있습니다. 여러 번 재시도하는 사람은 조명이 좋지 않거나 연결이 불안정할 수 있습니다. 보조 기술을 사용하는 사람은 디자이너가 예상한 패턴과 다르게 상호 작용할 수 있습니다.

유용한 봇 탐지는 이러한 변동을 고려해야 합니다. 타이밍, 반복 및 장치 컨텍스트는 검증 증거와 함께 고려되어야 합니다. 하나의 특이한 행동을 남용의 증거로 취급하면 실제 사람들의 경험이 더 나빠질 것입니다.

동일한 작업은 사람들이 어려움을 겪는 부분을 알려줍니다

행동을 연구하는 것은 더 나은 제품 질문을 하는 데도 도움이 됩니다. 재시도는 공격을 가리킬 수 있지만 이해하기 어려웠던 지침을 가리킬 수도 있습니다. 포기된 카메라 단계는 사용자가 권한을 부여할 수 없었음을 의미할 수 있습니다. 실패한 캡처는 눈부심 손상된 문서 또는 다른 접근 방식이 필요한 장치를 반영할 수 있습니다.

자동화된 테스트를 통해 이러한 상황에 대한 흐름의 반응을 탐색할 수 있습니다. 실제 사람들이 경험하는 것을 이해하려면 사용자 행동도 살펴보아야 합니다. 하나가 다른 것을 대체할 수는 없습니다.

함께 그들은 유용한 작업을 수행하는 제어와 조사가 필요한 마찰을 분리하는 데 도움이 됩니다. 목표는 남용을 더 어렵게 만들면서 합법적인 사용자가 명확한 지침과 문제가 발생했을 때 복구할 수 있는 합리적인 경로를 통해 검증을 완료하도록 돕는 것입니다.

발견은 무언가를 바꿔야 합니다

연습의 가치는 시도 후에 일어나는 일에 있습니다.

의심되는 약점은 재현 가능한 사례가 필요합니다. 엔지니어는 어떤 제어가 관련되었는지 증거가 주장을 뒷받침하는지 이해해야 합니다. 수정이 필요한 경우 원래 시도는 변경 사항에 대해 다시 실행되어야 합니다.

또한 해당 변경 사항이 합법적인 사용자에게 어떤 영향을 미치는지 확인해야 합니다. 더 많은 사람들을 거부함으로써 더 많은 공격을 거부하는 제어는 해결해야 할 또 다른 문제를 만들었습니다.

이것이 우리가 이 작업이 지원하기를 원하는 규율입니다. 시도하고 관찰하고 조사하고 개선하고 다시 테스트하는 것입니다. 애니메이션은 시도를 보여줍니다. 그 뒤에 있는 작업이 중요합니다.

우리도 해킹당할 수 있습니다

우리도 포함하여 누구든지 해킹당할 수 있습니다. 지속적인 테스트가 그 가능성을 제거하지는 않습니다. 그것은 우리가 약점을 발견하고 조치를 취할 더 많은 기회를 제공합니다.

우리는 사람들이 온라인에서 자신을 신뢰할 수 있게 증명할 수 있어야 한다고 믿기 때문에 신원 및 사기 방지 인프라를 구축합니다. AI 시대에 인터넷을 인간화하려는 우리의 비전은 실제로 그 신뢰를 얻는 데 달려 있습니다.

이는 공격자가 어떻게 행동하는지 이해하고 실제 사용자가 어려움을 겪는 부분에 주의를 기울이며 우리의 증거가 무엇을 말해줄 수 있는지에 대해 솔직해지는 것을 의미합니다.

업계 전반의 기술 리더들에게 보내는 메시지

사이버 위험은 신원 확인에서 시스템적입니다. 우리는 연결된 서비스 통합 및 사람들에게 의존하며 관련된 신뢰는 어떤 단일 제공업체를 넘어섭니다. 한 회사에서의 실패는 개인에게 해를 끼치고 업계 전반의 신뢰를 약화시킬 수 있습니다.

이 업계의 최고 기술 책임자, 엔지니어링 리더 또는 보안 리더라면 이 책임을 매우 진지하게 받아들일 것을 권장합니다. 보안 업무에 명확한 책임자를 지정하고 시간과 예산을 배정하십시오. 검증 흐름, 신원 데이터를 처리하는 시스템, 사람들이 갖는 접근 권한 및 팀이 사고에 대응할 방법을 시험하십시오. 기술과 공격이 변화함에 따라 이러한 가정을 다시 검토하십시오.

지난주 보고서는 준비를 위한 경종이 되어야 합니다. 우리는 이를 사용하여 자체 방어를 강화하고 유용한 방어 교훈을 책임감 있게 공유하며 확인된 약점에 대해 조치를 취해야 합니다. 우리 회사 자체가 영향을 받을 때까지 기다리는 것은 너무 늦은 일입니다.

우리는 그 책임에 우리 자신을 포함합니다. 우리도 해킹당할 수 있으며 사람들이 우리에게 부여하는 신뢰를 계속 얻어야 합니다.

우리 업계는 발전해야 합니다. 사람들은 우리에게 그들의 신원을 맡기고 있습니다. 우리는 그들에게 그에 상응하는 노력을 해야 합니다.

자주 묻는 질문

Didit에서 AI 레드팀은 무엇을 포함합니까?

우리는 AI 에이전트에게 소스 코드와 스테이징 환경에 대한 접근 권한을 부여한 다음 검증 검사에 도전하도록 요청합니다. 이 기사의 예시에는 위조된 표본 문서, 인공 카메라 피드 및 자동화된 여정이 포함됩니다. 엔지니어는 여전히 의심되는 각 약점의 결과를 확인해야 합니다.

이것이 검증을 수행하는 봇을 감지하는 데 어떻게 도움이 됩니까?

자동화를 직접 실행함으로써 연구할 봇 행동의 예시를 만듭니다. 이는 검증 증거와 함께 시퀀스, 재시도 및 맥락을 검토하는 데 도움이 됩니다. 단일 행동 신호는 사용자가 봇이거나 사기가 발생했음을 입증하지 않습니다.

이 애니메이션이 Didit이 모든 공격을 막는다는 것을 증명합니까?

아니요. 이 애니메이션은 반복되는 화면이 있는 스테이징 녹화본의 합성입니다. 이는 탐지 벤치마크나 모든 공격이 실패할 것이라는 약속이 아니라 테스트 프로세스를 보여줍니다.

이 작업이 실제 사용자의 경험을 개선할 수 있습니까?

예 검증 흐름이 어려워지는 부분을 조사하는 데 도움이 될 수 있습니다. 우리는 여전히 자동화된 테스트와 함께 실제 사용자 행동을 고려해야 하므로 불분명한 지침이나 어려운 카메라 접근과 같은 문제와 유용한 보안 제어를 구별할 수 있습니다.

검증 여정을 구축하고 있다면 Didit의 사용자 확인을 탐색하고 라이브니스 문서를 읽어보십시오. 또한 가격을 확인하거나 무료로 시작할 수 있습니다.