Kelompok yang dipimpin oleh para bankir berbagi saran tentang halusinasi gen AI dan risiko lainnya

Para ahli teknologi di Citi, Morgan Stanley, dan London Stock Exchange telah membantu menulis dokumen yang memberikan saran praktis bagi bank tentang cara memitigasi berbagai risiko AI generatif, termasuk halusinasi, kebocoran data, dan ketidakstabilan perilaku model. Itu Kerangka Tata Kelola Kesiapan AI menjelaskan 14 jenis ancaman berbeda yang ditimbulkan oleh AI generatif terhadap perusahaan jasa keuangan dan teknik yang dapat mereka gunakan untuk melindungi diri mereka sendiri.

“Masih banyak upaya yang diperlukan untuk memungkinkan penggunaan AI yang ‘aman’ (di mana keselamatan mempertimbangkan nasabah dan bank) dan pada akhirnya memungkinkan organisasi jasa keuangan untuk dengan cepat mengadopsi teknologi baru yang muncul,” demikian isi dokumen tersebut.

Penulis kerangka kerja ini juga termasuk para ahli dari Bank of Montreal, Natwest, Fannie Mae, Microsoft, Github, Factset, Scott Logic, ControlPlane, Provectus, TestifySec, semuanya anggota Fintech Open Source Foundation (FINOS).

Sebagian besar organisasi jasa keuangan memiliki proses yang matang dalam menerapkan teknologi dan menangani data sensitif, kata Madhu Coimbatore, kepala platform pengembangan AI di Morgan Stanley dan salah satu penulis kerangka kerja, dalam sebuah wawancara email.

“Namun, AI generatif menghadirkan beberapa tantangan baru,” katanya. “AI generatif dapat menimbulkan risiko baru seperti bias dan halusinasi, namun juga menciptakan ancaman baru dari perspektif keamanan siber dan data. Untuk mengatasi risiko baru ini, kita memerlukan pengendalian baru.”

Beberapa standar umum terkait penerapan AI sudah ada, seperti Kerangka Manajemen Risiko NIST AI Dan OWASP Top 10 untuk Aplikasi Model Bahasa Besarkata Coimbatore.

“Kami tahu bahwa banyak bank telah mulai merancang kerangka internal mereka sendiri untuk mengatasi tantangan spesifik yang dihadapi organisasi jasa keuangan ketika menerapkan AI generatif,” kata Coimbatore.

Kerangka tata kelola AI dapat menjadi dasar yang dapat diterapkan oleh bank pada kasus penggunaan spesifik mereka, dibandingkan harus memulai dari awal.

“Seiring dengan semakin banyaknya perusahaan yang berkontribusi pada upaya ini, kerangka kerja ini akan menjadi lebih komprehensif dan mengatasi sejumlah besar kasus penggunaan sehingga akan meningkatkan penerapan dan penerapannya,” kata Coimbatore.

Kerangka kerja ini masih dalam tahap rancangan, namun tim Coimbatore di Morgan Stanley sudah merasakan manfaatnya sebagai serangkaian persyaratan untuk keamanan data, privasi, keamanan siber, keselamatan AI, dan manajemen model yang telah diberikan kepada karyawan dan vendor.

“Banyak dari pengendalian ini perlu diterapkan oleh penyedia teknologi, jadi dalam beberapa kasus kami berbicara dengan mereka tentang penerapan pengendalian ini sebagai bagian dari penawaran mereka,” katanya.

Kekhawatiran terbesar Coimbatore mengenai penggunaan AI generatif di lembaga keuangan adalah seputar keamanan data dan privasi.

“Melindungi data perusahaan dan data nasabah adalah hal yang sangat penting bagi semua bank,” katanya. “Dengan teknologi seperti AI generatif, keamanan data dapat dibobol melalui serangan injeksi cepat, atau hilangnya data dari database vektor atau model kepemilikan.” Ancaman-ancaman ini dapat diatasi dengan pendekatan pertahanan mendalam terhadap keamanan dan dengan memiliki enkripsi data yang tepat dan akses berbasis peran, katanya.

Pengamat industri sepakat tentang perlunya pedoman seperti ini.

“Setiap bank harus menghadapi risiko yang terkait dengan AI generatif,” kata Dan Latimore, kepala penelitian di Financial Revolutionist, yang pada hari Kamis merilis laporan penelitiannya. Bank Paling Berdampak: AI. “Kerangka kesiapan AI FINOS adalah cara terbaik bagi masing-masing institusi untuk menghindari inovasi baru sembari memastikan bahwa mereka tidak mengabaikan hambatan besar apa pun. Kerangka kerja ini menjadi titik awal yang sangat baik bagi bank untuk melakukan penyesuaian sesuai keinginan mereka.”

Proyek ini muncul karena para pemimpin FINOS, yang menyaksikan gelombang penerapan AI generatif di bank, “melihat peluang untuk membantu industri mengadopsi teknologi tersebut dengan lebih aman”, kata Gabriele Columbro, direktur eksekutif FINOS, dalam sebuah wawancara. Misi FINOS secara keseluruhan adalah untuk mempercepat kolaborasi dan inovasi dalam layanan keuangan melalui penerapan perangkat lunak sumber terbuka, standar, dan praktik terbaik.

Columbro berharap para regulator bank akan melihat kerangka kesiapan AI dan menggunakannya untuk menulis standar mereka sendiri, “karena pada akhirnya hal ini membuat hidup lebih mudah, baik bagi regulator itu sendiri maupun bagi entitas yang diatur,” kata Columbro. “Lanskap ini sangat terfragmentasi, sehingga tingkat konsolidasi dan konsensus apa pun yang dapat kita bangun merupakan nilai penting bagi perusahaan.” Regulator belum diperlihatkan dokumen ini.

Selanjutnya, anggota FINOS berupaya membuat kontrol yang dijelaskan dalam kerangka kerja sebagai kode sumber terbuka yang dapat digunakan oleh pengembang mana pun, kata Columbro.