Perusahaan teknologi membangun pagar balik untuk bank

Ketika lembaga keuangan mengejar manfaat AI generatif, industri rumahan telah muncul untuk menyediakan teknologi yang dapat menguji, memvalidasi, dan menempatkan kontrol risiko pada model -model tersebut. Perusahaan seperti Ethos, Platform Koridor dan H2O.AI telah mengambil klien mulai dari bank besar hingga fintech kecil.

Hadiah potensial AI generatif menjanjikan. Di minggu ini Podcast Bankir AmerikaChief Financial Officer Huntington Bank Zach Wasserman mengatakan dia mengharapkan bank untuk melihat 10% hingga 15% peningkatan produktivitas dari aplikasi AI generatif.

Tetapi bank juga harus menjaga model AI generatif yang mereka gunakan. Semua model algoritmik yang digunakan bank, berbasis AI atau tidak, tunduk pada panduan manajemen risiko model SR 11-7 Federal Reserve.

“Organisasi perbankan harus memperhatikan kemungkinan konsekuensi yang merugikan (termasuk kerugian finansial) dari keputusan berdasarkan model yang salah atau disalahgunakan, dan harus membahas konsekuensi tersebut melalui manajemen risiko model aktif,” Fed 2011 surat untuk menyatakan staf pengawas.

Peraturan AI lainnya akan datang. Undang -Undang AI Uni Eropa, yang diterbitkan musim panas lalu, mulai berlaku pada Agustus 2026.

“Undang -Undang AI, untuk pertama kalinya dalam pengetahuan saya, adalah tindakan pengaturan yang mengatakan Anda harus mengotomatiskan kemampuan (manajemen risiko AI), jika tidak mereka akan memecah dan menciptakan masalah,” Manish Gupta, CEO Platform Koridor, kepada bankir Amerika.

Selain itu, AI generatif menyajikan risiko yang perlu dikurangi bank.

Risikonya

Risiko yang paling penting adalah bahwa model AI akan salah, menurut Agus Sudjianto, mantan kepala manajemen risiko model di Wells Fargo, yang sekarang menjadi wakil presiden senior risiko dan teknologi di H2O.ai di Mountain View, California.

“Itu selalu menjadi perhatian utama, karena model bisa berbahaya ketika itu salah, baik bagi institusi dalam hal reputasi atau pelanggannya,” kata Sudjianto kepada American Banker. “Saat kami menggunakan model, kami selalu mengambil risiko model, Dan sebelum menggunakan model apa pun, kita perlu mengetahui semua risiko dan apa yang harus dilakukan tentang mereka. “

Untuk alasan ini, setiap bank perlu memiliki validator model yang independen dan melapor kepada organisasi manajemen risiko, bukan sisi bisnis, katanya.

“Tugas mereka adalah menemukan apa yang salah dengan model,” kata Sudjianto. “Pada akhirnya, untuk setiap aplikasi, kita perlu memahami apa risikonya? Apa yang salah? Anda perlu mengujinya hingga kegagalan, jadi Anda tahu bagaimana model akan gagal.”

Misalnya, jika bank menggunakan model AI generatif untuk merangkum keluhan pelanggan, ringkasan itu bisa salah. Model ini bisa berhalusinasi, menambahkan informasi yang tidak ada di sana, atau bisa memberikan ringkasan yang tidak lengkap. Orang perlu mencari tahu dalam situasi mana model akan berhalusinasi atau memberikan jawaban yang tidak lengkap, dan kerugian keduanya sehingga mereka dapat diatasi.

Risiko lain adalah bahwa model bahasa besar seperti Openai’s ChatGpt sangat mudah diakses oleh pekerja sehingga sulit bagi perusahaan mana pun untuk mengetahui siapa yang menggunakan apa, kata Kristen Fisher, kepala Ethos ‘Risk Innovation, yang sebelumnya memimpin validasi model dan model manajemen risiko di beberapa lembaga keuangan.

Jadi visibilitas ke dalam aktivitas pengguna adalah tantangan besar. Yang lain adalah memahami data apa yang digunakan dalam model.

“Keterampilan itu, pemahaman itu, di mana keterbatasan data itu dan bagaimana dampaknya pada model Anda” adalah elemen lain yang sering hilang, kata Fisher.

“Anda perlu mendidik anggota tim Anda tentang apa risikonya, bisa mendapatkan masukan yang tepat dari semua pihak yang tepat dan selaras dengan siapa menggunakannya, untuk apa mereka menggunakannya. Dan kemudian dapat mengaturnya,” katanya. “Dan kemudian di level tertinggi, Anda ingin C-suite Anda dapat memahami risiko-risiko itu dan kemudian membuat keputusan strategis yang akan menguntungkan perusahaan sambil mencegah kerugian finansial.”

Bagaimana Perusahaan Teknologi Mengatasi Ini

Pada hari Kamis, H2O.AI merilis kerangka kerja manajemen risiko model untuk AI generatif untuk industri yang diatur seperti jasa keuangan. Ini dimaksudkan untuk membantu bank dan lainnya melakukan pengujian model dan evaluasi pada skala, menggunakan kecerdasan buatan dan kalibrasi manusia. Ini dapat bekerja dengan model bahasa besar apa pun, menurut Sudjianto.

Memiliki manusia menguji dan mengevaluasi model adalah “sangat, sangat memakan waktu,” kata Sudjianto. Memiliki model bahasa besar melakukannya tidak dapat dilacak, katanya. Dia menganjurkan pengujian otomatis yang transparan, dapat dilacak dan dapat dijelaskan, dikalibrasi dengan penilaian manusia.

H2O.AI telah bekerja dengan praktisi AI, tim risiko dan validator model di bank termasuk Wells Fargo, US Bank dan Fifth Third, kata perusahaan itu.

Etos pada akhir Februari mendapatkan $ 6 juta dalam pendanaan benih untuk sistem manajemen risiko modelnya untuk bank dan fintechs. Babak pendanaan dipimpin oleh Canapi Ventures, dengan partisipasi dari Capital One Ventures dan Better Tomorrow Ventures.

Jett Oristaglio, CEO dan salah satu pendiri Ethos yang berbasis di New York, sebelumnya bekerja di perusahaan perangkat lunak AI Datarobot dengan klien yang sangat diatur termasuk bank.

“Saya melihat kelaparan di lembaga keuangan di sekitar inovasi dan juga tantangan yang telah mereka keluarkan risiko untuk pemodelan canggih dan AI,” kata Oristaglio. Ini membawanya ke Etos yang mendirikan bersama.

Oristaglio menyebut teknologi Ethos sebagai platform terpadu untuk manajemen risiko model.

“Kami membantu lembaga keuangan mengaudit model mereka dan sistem pengambilan keputusan lainnya,” katanya. “Itu termasuk AI dan AI generatif, tetapi itu juga termasuk model pembelajaran mesin, model statistik yang lebih tradisional, dan bahkan hal -hal seperti spreadsheet yang perlu dilacak dan bagian dari manajemen risiko.”

Perangkat Lunak Manajemen Risiko Model Ethos memiliki apa yang ia sebut inventaris yang diatur – satu sumber kebenaran untuk model, validasi dan kontrol perubahan dan kartu skor risiko yang perlu dilacak dan dipindahkan melalui siklus manajemen risiko model. Ini juga memiliki mesin alur kerja yang digunakan perusahaan untuk membangun, melaksanakan, dan mengatur alur kerja manajemen risiko model khusus seperti pendaftaran model dan validasi model, termasuk dokumentasi, pengujian dan pelaporan kepada orang lain seperti direktur bank dan tim manajemen risiko yang lebih luas.

Etos dapat berintegrasi dengan alat pemantauan yang akan melakukan hal -hal seperti menganalisis output model untuk kesalahan, halusinasi atau bias. Salah satu perusahaan yang cocok dalam kategori ini adalah Fairplay, yang memberikan bias dan pengujian akurasi model pinjaman berbasis AI. Los Angeles Company sedang mengerjakan pengembangan teknologi yang akan membantu DE-bias model bahasa besar.

Ethos bekerja dengan lembaga yang berkisar dari 10 bank teratas hingga $ 5 miliar fintech yang merupakan mitra bank. Ini membangun solusi yang disebut inti etos yang akan dijual ke lembaga yang lebih kecil.

Pada skala yang lebih besar, platform koridor di Haworth, New Jersey, Bermitra dengan Google untuk menawarkan GenGuardx Corridorplatform manajemen model yang dikembangkan bersama dengan bank besar, di Google Cloud. (Ini juga dapat berjalan di Microsoft Azure, Amazon Web Services dan infrastruktur cloud lainnya.) Google juga menawarkan alat untuk memantau dan menguji model.

Manish Gupta, CEO dan salah satu pendiri platform koridor, mengatakan GenGuardx sedang diproduksi di dua bank tingkat 1 dan beberapa bank dan fintech kecil.

“Apa yang kami bantu lakukan adalah, setelah Anda menemukan desain model dan apa yang ingin Anda gunakan, kemampuan untuk menguji setiap komponen, dan kemudian bagaimana Anda menjahitnya bersama, dan kemudian apa yang Anda butuhkan sebagai pagar pembatas, dan kemudian menguji semuanya, melalui analitik atau melalui pengujian manusia,” kata Gupta. “Lalu kami membiarkan Anda menantangnya di lingkungan Anda sendiri yang aman dan mencoba untuk memecahkannya. Dan itu juga merupakan kontrol yang sangat penting hari ini untuk model bahasa besar, di mana Anda dapat mencoba memecahkannya dan memberikan umpan balik dan memperkuat seluruh pipa dan pagar pembatas.”