Kami memberi kecerdasan buatan tugas sederhana: mencoba membobol Didit

Di Didit, pengujian tim merah kecerdasan buatan berarti menggunakan agen kecerdasan buatan untuk menantang alur verifikasi identitas kami di lingkungan staging. Kami mempelajari upaya dan hasilnya untuk menemukan kelemahan, membantu mendeteksi bot yang melakukan verifikasi, dan memahami di mana pengguna sebenarnya mengalami kesulitan.

Putar animasi zoomJeda animasi

Kami memberi agen akses ke kode sumber kami dan meminta mereka untuk menemukan cara melewati pemeriksaan di staging. Mereka mencoba dokumen palsu, umpan kamera yang disuntikkan, dan perjalanan otomatis melalui alur kerja nyata. Kami mengamati apa yang terjadi, menyelidiki hasilnya, dan menggunakan apa yang kami pelajari untuk meningkatkan sistem.

Kami juga menggunakan pekerjaan ini untuk membantu mendeteksi bot yang melakukan verifikasi dan memahami perilaku pengguna. Melihat bagaimana otomatisasi bergerak melalui alur membantu kami mengajukan pertanyaan yang lebih baik tentang penipuan dan pengalaman orang di sisi lain layar.

Poin penting

Uji seluruh perjalanan. Dokumen palsu, umpan kamera buatan, dan tindakan otomatis menantang berbagai bagian dari alur verifikasi.

Selidiki apa yang terjadi. Agen yang mengklaim bypass perlu diperiksa terhadap bukti yang dapat direproduksi.

Belajar dari perilaku. Waktu dan percobaan ulang dapat menambah konteks tentang otomatisasi, sekaligus mengungkapkan di mana pengguna yang sah membutuhkan bantuan.

Jadikan temuan berguna. Pekerjaan berlanjut melalui penyelidikan, perbaikan, dan pemeriksaan efek pada orang sungguhan.

Tanggung jawab di balik layar

TechCrunch melaporkan dugaan pelanggaran di penyedia verifikasi.

Bagi kami, tanggung jawab dimulai dengan apa yang dipercayakan orang kepada perusahaan verifikasi. Pemindaian paspor membawa nama, foto, dan informasi identifikasi lainnya. Selfie adalah rekaman wajah Anda. Anda dapat mengatur ulang kata sandi setelah bocor. Anda tidak dapat mengatur ulang wajah Anda.

Tanggung jawab itu melampaui memutuskan apakah dokumen terlihat asli atau seseorang hadir. Ini mencakup layanan yang memproses permintaan, izin seputar data, dan para pengelola sistem. Pemeriksaan yang kuat di awal perjalanan tidak dapat mengkompensasi kelemahan di tempat lain.

Inilah mengapa kami ingin menantang asumsi kami selagi kami masih memiliki kesempatan untuk bertindak atas apa yang kami temukan.

Apa yang sebenarnya kami minta agen lakukan

Tes normal dimulai dengan hasil yang diharapkan. Tes adversarial dimulai dengan tujuan yang seharusnya dicegah oleh sistem.

Untuk verifikasi identitas, itu mungkin berarti menerima dokumen palsu atau mencoba membuat wajah yang direkam lolos sebagai orang yang hadir. Itu mungkin berarti menyelidiki bagaimana sistem merespons ketika klien otomatis bergerak melalui alur dengan cara yang tidak terduga.

Agen dapat memeriksa kode, berinteraksi dengan alur kerja, dan menyesuaikan upaya berikutnya berdasarkan respons. Itu memberi kami cara yang berguna untuk menjelajahi asumsi yang mungkin terlewatkan oleh serangkaian kasus uji yang tetap.

Dalam rekaman yang menyertainya, agen mengunggah dokumen spesimen, menyediakan umpan kamera buatan, dan melalui tahapan verifikasi di staging. Kamera menjauh dari satu layar ke dinding rekaman tersebut sehingga Anda dapat melihat berbagai aktivitas.

Untuk latar belakang tentang media yang dimanipulasi, lihat panduan kami untuk serangan dan deteksi deepfake.

Dinding adalah visualisasi pekerjaan. Setiap hasil masih perlu diperiksa terhadap bukti yang mendasarinya. Agen yang mengatakan menemukan bypass tidak menjadikannya bypass.

Di dalam pengujian staging

Agen bertindak, mengamati, lalu menyesuaikan.

1. Upaya2. Respons3. Sesuaikan

Agen AI

Staging Didit

Dokumen contoh palsu

→

Tahap dokumen

Umpan kamera buatan

→

Tahap kamera

Tindakan otomatis

→

Alur verifikasi

←Respons alur kerja kembali ke agen.

Agen dapat memeriksa kode sumber dan memilih masukan untuk diuji di staging. Jalur ini menunjukkan titik masuk, bukan keberhasilan melewati kontrol.

Respons memberi tahu agen tentang apa yang terjadi. Klaim bahwa suatu pemeriksaan berhasil dilewati tetap memerlukan verifikasi independen.

Agen memeriksa respons dan menyesuaikan upaya berikutnya. Umpan balik ini memungkinkan eksplorasi di luar kasus uji yang tetap.

Dugaan kelemahan memulai penyelidikan.

Reproduksi→Perbaiki bila perlu→Uji ulang

Periksa juga dampaknya pada pengguna yang sah.

Pendekatan kami mencakup model frontier dan model terbuka dengan lebih sedikit batasan pada tugas yang akan mereka coba. Kami menginginkan cakupan perilaku adversarial yang berguna, termasuk upaya yang mungkin ditolak oleh model untuk dijelajahi. Kesediaan model untuk mencoba serangan tidak menunjukkan apa pun tentang apakah serangan itu berhasil. Itu adalah pertanyaan rekayasa yang harus kami verifikasi.

Bagaimana pekerjaan ini membantu kami memahami bot

Dokumen dan selfie menceritakan sebagian cerita. Cara verifikasi terjadi dapat menambah konteks.

Kami menggunakan latihan ini untuk membantu mendeteksi bot yang melakukan verifikasi dan untuk mempelajari lebih lanjut tentang perilaku bot. Menjalankan otomatisasi sendiri memberi kami contoh yang dapat kami pelajari, bandingkan, dan tantang seiring perubahan otomatisasi.

Kami dapat memeriksa di mana upaya otomatis berhenti, apa yang diulang setelah kesalahan, dan apakah itu mengikuti urutan yang sama setiap saat. Kami juga dapat mempertimbangkan apakah perilaku itu sesuai dengan konteks perangkat dan sesi. Perbandingan ini membantu membuat penyelidikan lebih spesifik.

Ini adalah pertanyaan untuk diselidiki, bukan aturan yang menetapkan penipuan dengan sendirinya. Pengguna yang cepat mungkin hanya tahu apa yang harus dilakukan. Orang yang mencoba lagi beberapa kali mungkin memiliki pencahayaan yang buruk atau koneksi yang tidak dapat diandalkan. Seseorang yang menggunakan teknologi bantu mungkin berinteraksi secara berbeda dari pola yang diharapkan desainer.

Deteksi bot yang berguna harus memperhitungkan variasi itu. Waktu, pengulangan, dan konteks perangkat perlu dipertimbangkan bersama dengan bukti verifikasi. Memperlakukan satu tindakan yang tidak biasa sebagai bukti penyalahgunaan akan membuat pengalaman lebih buruk bagi orang sungguhan.

Pekerjaan yang sama mengajarkan kita di mana orang kesulitan

Mempelajari perilaku juga membantu kami mengajukan pertanyaan produk yang lebih baik. Percobaan ulang dapat menunjukkan serangan, tetapi juga dapat menunjukkan instruksi yang sulit dipahami. Langkah kamera yang ditinggalkan mungkin berarti pengguna tidak dapat memberikan izin. Pengambilan yang gagal mungkin mencerminkan silau, dokumen yang rusak, atau perangkat yang membutuhkan pendekatan berbeda.

Pengujian otomatis memungkinkan kami menjelajahi bagaimana alur merespons situasi ini. Memahami apa yang dialami orang sungguhan membutuhkan melihat perilaku pengguna juga. Satu tidak dapat menggantikan yang lain.

Secara bersama, mereka membantu kami memisahkan kontrol yang melakukan pekerjaan yang berguna dari gesekan yang patut diselidiki. Tujuannya adalah untuk mempersulit penyalahgunaan sambil membantu pengguna yang sah menyelesaikan verifikasi dengan instruksi yang jelas dan jalur yang masuk akal untuk pulih ketika ada yang salah.

Sebuah temuan harus mengubah sesuatu

Nilai dari sebuah latihan adalah apa yang terjadi setelah upaya tersebut.

Kelemahan yang dicurigai membutuhkan kasus yang dapat direproduksi. Seorang insinyur perlu memahami kontrol mana yang terlibat dan apakah bukti mendukung klaim tersebut. Jika perbaikan diperlukan, upaya asli perlu dijalankan lagi terhadap perubahan tersebut.

Kami juga perlu memeriksa apa yang dilakukan perubahan itu terhadap pengguna yang sah. Kontrol yang menolak lebih banyak serangan dengan menolak lebih banyak orang telah menciptakan masalah lain untuk dipecahkan.

Itulah disiplin yang ingin kami dukung oleh pekerjaan ini: mencoba, mengamati, menyelidiki, meningkatkan, dan menguji lagi. Animasi menunjukkan berbagai upaya tersebut. Pekerjaan di baliknya adalah yang terpenting.

Kami juga bisa diretas

Siapa pun bisa diretas, termasuk kami. Pengujian berkelanjutan tidak menghilangkan kemungkinan itu. Ini memberi kami lebih banyak kesempatan untuk menemukan kelemahan dan melakukan sesuatu tentangnya.

Kami membangun infrastruktur untuk verifikasi identitas dan pencegahan penipuan karena kami percaya orang harus dapat membuktikan siapa mereka secara online dengan percaya diri. Visi kami untuk memanusiakan internet di era kecerdasan buatan bergantung pada perolehan kepercayaan itu dalam praktik.

Itu berarti memahami bagaimana penyerang berperilaku, memperhatikan di mana pengguna sebenarnya kesulitan, dan jujur tentang apa yang dapat dikatakan oleh bukti kami.

Seruan kepada para pemimpin teknis di seluruh industri kami

Risiko siber bersifat sistemik dalam verifikasi identitas. Kami bergantung pada layanan yang terhubung, integrasi, dan manusia, dan kepercayaan yang dipertaruhkan melampaui satu penyedia mana pun. Kegagalan di satu perusahaan dapat merugikan individu dan melemahkan kepercayaan di seluruh industri.

Jika Anda adalah chief technology officer, pemimpin teknik, atau pemimpin keamanan di industri ini, kami mendorong Anda untuk menganggap tanggung jawab itu dengan sangat serius. Tetapkan penanggung jawab yang jelas untuk pekerjaan keamanan, serta sediakan waktu dan anggaran. Tantang alur verifikasi, sistem yang menangani data identitas, akses yang dimiliki orang, dan respons yang akan dibuat tim Anda terhadap insiden. Tinjau kembali asumsi tersebut seiring perubahan teknologi dan serangan.

Laporan minggu lalu harus menjadi panggilan untuk bersiap. Kita harus menggunakannya untuk memperkuat pertahanan kita sendiri, berbagi pelajaran defensif yang berguna secara bertanggung jawab, dan bertindak atas kelemahan yang terverifikasi. Menunggu sampai perusahaan kita sendiri terpengaruh membuat pekerjaan itu terlambat.

Kami menyertakan diri kami dalam tanggung jawab itu. Kami juga bisa diretas, dan kami perlu terus mendapatkan kepercayaan yang diberikan orang kepada kami.

Industri kami perlu meningkatkan diri. Masyarakat mempercayakan identitas mereka kepada kami. Kami berutang pekerjaan itu kepada mereka.

Pertanyaan yang sering diajukan

Apa yang melibatkan pengujian tim merah kecerdasan buatan di Didit?

Kami memberi agen kecerdasan buatan akses ke kode sumber kami dan lingkungan staging, lalu meminta mereka untuk menantang pemeriksaan verifikasi. Contoh dalam artikel ini termasuk dokumen spesimen palsu, umpan kamera buatan, dan perjalanan otomatis. Insinyur masih perlu memverifikasi hasil dari setiap kelemahan yang dicurigai.

Bagaimana ini membantu mendeteksi bot yang melakukan verifikasi?

Menjalankan otomatisasi sendiri menciptakan contoh perilaku bot untuk dipelajari. Ini membantu kami memeriksa urutan, percobaan ulang, dan konteks bersama dengan bukti verifikasi. Satu sinyal perilaku tidak menetapkan bahwa pengguna adalah bot atau bahwa penipuan telah terjadi.

Apakah animasi membuktikan bahwa Didit menghentikan setiap serangan?

Tidak. Animasi adalah komposit rekaman staging dengan layar berulang. Ini menunjukkan proses pengujian, bukan tolok ukur deteksi atau janji bahwa setiap serangan akan gagal.

Bisakah pekerjaan ini meningkatkan pengalaman bagi pengguna sungguhan?

Ya, ini dapat membantu kami menyelidiki di mana alur verifikasi menjadi sulit. Kami masih perlu mempertimbangkan perilaku pengguna sungguhan bersama dengan pengujian otomatis, sehingga kami dapat membedakan kontrol keamanan yang berguna dari masalah seperti instruksi yang tidak jelas atau akses kamera yang sulit.

Jika Anda sedang membangun perjalanan verifikasi, jelajahi Verifikasi Pengguna Didit dan baca dokumentasi keaktifan. Anda juga dapat melihat harga atau mulai gratis.