6 hal yang dicari bank dalam model dan perusahaan gen AI

Penggunaan AI generatif mempunyai risiko tambahan. Di luar risiko normal bekerja sama dengan vendor mana pun — Apakah perusahaan tersebut sehat dan aman? Apakah akan ada dalam lima tahun? Apakah ini akan melindungi akses ke sistem dan data sensitif? — terdapat bahaya halusinasi, bias, dan kesalahan yang secara unik dialami oleh model AI generatif. Terdapat risiko vendor cloud — banyak penyedia AI generatif menawarkan model mereka di cloud publik. Terdapat risiko konsentrasi, karena banyak perusahaan keuangan tertarik pada beberapa model populer, seperti ChatGPT dari OpenAI dan Claude dari Anthropic. Ada peningkatan risiko reputasi bagi penyedia layanan yang telah mengalami drama kepemimpinan.

Namun AI generatif tidak akan hilang. Bank harus mengatasi risiko-risiko ini, dimulai dengan pemeriksaan yang tepat dan uji tuntas terhadap perusahaan dan model mereka. Ini adalah beberapa cara bank mengevaluasi model dan vendor AI generatif.

Pengalaman masa lalu dengan bank-bank besar

Di Citi, hal pertama yang dicari oleh Arvind Purushotham, kepala Citi Ventures, di perusahaan AI mana pun yang sedang dipertimbangkan oleh bank untuk bekerja sama atau berinvestasi (atau keduanya) adalah apakah perusahaan tersebut memiliki klien bank yang besar.

“Layanan keuangan lebih rumit mengingat persyaratan peraturan dan kepatuhan, persyaratan privasi data, apa yang bisa ada di cloud versus apa yang harus ada di lokasi, hal-hal semacam itu,” kata Purushotham dalam podcast American Banker yang akan disiarkan di 21 Januari. “Jadi kami melihat apakah perusahaan menargetkan produk dan layanannya ke lembaga keuangan besar.” Banyak yang melakukannya. Ini adalah vertikal yang menguntungkan.

Salah satu startup AI generatif yang diinvestasikan oleh Citi adalah Lakera, yang memberikan keamanan, keselamatan, dan kesehatan untuk permintaan AI generatif. Perusahaan lain dalam portofolio Citi Ventures adalah Norm Ai, sebuah platform kepatuhan peraturan berbasis AI yang dapat membantu tim kepatuhan bank meninjau dokumen seperti materi pemasaran dengan lebih cepat dengan membandingkan isinya dengan persyaratan kepatuhan.

Kegunaan di dalam bank

Tim Citi Ventures menghadirkan pakar internal dalam proses pemeriksaan vendor AI generatif.

“Sebagai unit investasi strategis, kami ingin memastikan bahwa perusahaan tempat kami berinvestasi cocok untuk kami, tidak hanya dari sudut pandang investasi tetapi juga dari sudut pandang penggunaan komersial,” kata Purushotham. “Dan banyak rekan kerja di bisnis teknologi kami, baik di grup teknologi maupun di unit bisnis kami, adalah para ahli. Mereka adalah para praktisi di lapangan, jadi kami tentunya memanfaatkan keahlian mereka sebagai bagian dari uji tuntas kami sebagai kami menjajaki kecocokan dengan Citi.”

Vendor yang sudah mapan

Bank Negara Bagian Selatan di Florida hanya menyetujui dua aplikasi AI generatif untuk penggunaan karyawan: Copilot Microsoft dan ChatGPT OpenAI.

Kemitraan OpenAI dengan Microsoft “memberi kami kenyamanan tingkat tinggi,” kata Chris Nichols, direktur pasar modal di bank tersebut. “Kami kemudian menyelesaikan uji tuntas lebih lanjut mengenai kualitas model dan kegunaannya.”

Setiap kali bank ingin bekerja sama dengan vendor mana pun, termasuk penyedia AI generatif, bank harus mempertimbangkan persyaratan peraturan, perlindungan data dan keamanan, kata Maria Gotsch, CEO Partnership Fund untuk New York City, yang bekerja dengan bank dan perusahaan tahap awal di Lab Inovasi Fintech tahunan.

“Paradigma yang mengharuskan mereka memperluas persyaratan peraturan ke semua vendor juga berlaku bagi AI generatif seperti halnya hal lainnya: keamanan, perlindungan data, asal data, dan sebagainya,” katanya.

Startup yang dikelola dengan baik

Kekuatan manajemen adalah hal utama yang harus dicari dalam tahap awal startup, kata Gotsch. Ini mencakup beragam karakteristik manajemen.

Risiko kepemimpinan dan reputasi perusahaan merupakan faktor ketika Anda melihat vendor mana pun, kata Gotsch.

Saat melihat perusahaan yang menjadi sasaran tuntutan hukumGotsch menyarankan bank untuk “menghormati prosesnya, ingat bahwa orang tidak bersalah sampai terbukti bersalah. Jika ada, itu adalah gangguan, hal-hal itu menyita waktu orang-orang.”

Pengujian model

Setelah memasukkan penyedia AI generatif melalui proses uji tuntas vendor bank yang normal, SouthState menguji model itu sendiri dengan serangkaian pertanyaan, yang memungkinkannya mengukur risiko secara langsung.

“Setidaknya setengah dari pertanyaan ditujukan untuk akurasi guna membatasi halusinasi,” kata Nichols. “Kami memiliki pakar yang memberikan pertanyaan dan jawaban yang diharapkan, lalu kami meninjau dan menilai seberapa baik model tersebut menghasilkan keluarannya.”

Jika suatu model lolos uji akurasi, model tersebut kemudian diuji privasi, keamanan, toksisitasnya, dan kemampuannya untuk di-jailbreak. Tes-tes ini biasanya mencakup 50% pertanyaan lainnya, katanya.

“Penting untuk dicatat di sini bahwa kami menguji model untuk kasus penggunaan tertentu dan bukan hanya modelnya saja,” kata Nichols. “Jadi, jika kita menggunakan model yang sama untuk hal lain, kita perlu melakukan pengujian ulang. Karena model ini berubah dengan cepat, bergantung pada perubahan dan tingkat risiko, kami mungkin menguji suatu model setiap bulan untuk memastikan model tersebut terus memenuhi harapan kami.”

Penjelasan

Dalam pandangan Gotsch, pertanyaan terbesar tentang model AI generatif serta model AI tradisional adalah kemampuan menjelaskan.

“Jika mereka menggunakan suatu alat dan mendapatkan hasil seperti ini, jika mereka tidak dapat menjelaskannya, maka mereka tidak dapat menggunakannya,” kata Gotsch. Inilah sebabnya selama dua tahun terakhir bank telah menguji coba AI generatif secara internal, katanya.

Beberapa perusahaan menawarkan perangkat lunak yang memberikan penjelasan untuk model AI generatif, namun bank perlu melakukan pengujian sendiri.

“Mereka tidak hanya akan menerima kata-kata dari sebuah startup, mereka akan menunjukkan bahwa mereka bisa melakukan hal tersebut,” kata Gotsch.

Bagian dari penjelasannya adalah mengungkap kecenderungan model untuk berhalusinasi, dengan kata lain, mengarang-ngarang.

Dynamo AI, sebuah perusahaan yang berpartisipasi dalam lab fintech tahun lalu, menawarkan bantuan untuk mengungkap halusinasi gen AI, kata Gotsch.

“Mereka mendapat banyak ketertarikan dari orang-orang yang ingin mengetahui tentang mereka,” katanya.