Di dalam rencana BNY untuk meningkatkan Eliza, platform AI generatifnya

Hampir setahun setelah BNY meluncurkan alat AI generatif Eliza, bank tersebut bersiap untuk meningkatkan kemampuannya. Versi 2.0, yang diperkirakan akan diluncurkan tahun depan, akan memberikan tanggapan yang lebih rinci berdasarkan proses berpikir yang lebih kompleks dan mirip manusia.

“Eliza 2.0 lebih banyak tentang penalaran: Daripada hanya memberikan jawaban, ini tentang mengambil langkah mundur, memikirkan berbagai pilihan,” kata Sarthak Pattanaik, kepala hub AI BNY.

Eliza 2.0 hadir kira-kira setahun setelah bank tersebut meluncurkan teknologi tersebut. Sekitar seperempat dari 53.400 karyawan bank tersebut menggunakan alat tersebut, katanya.

Perencanaan dimulai pada Agustus 2023, sebagai hasil kerja pusat AI bank, sebuah tim yang mengumpulkan sekitar 200 karyawan di seluruh perusahaan. Bank berupaya untuk meningkatkan adopsi melalui pelatihan berkelanjutan, dengan forum virtual dan tatap muka yang menawarkan peluang untuk mengeksplorasi kasus penggunaan dan berbagi praktik terbaik, kata Pattanaik.

“Platform ini dibangun dengan kecepatan sangat tinggi,” kata Pattanaik. “Kami sedang menjalani model pengoperasian platform, dan mengajak banyak orang dari berbagai kelompok untuk memahami seni dari kemungkinan tersebut,” katanya.

Peningkatan Eliza dari BNY terjadi ketika bank-bank besar dan perusahaan keuangan lainnya menerapkan alat AI generatif untuk memberikan efisiensi: JPMorgan Chase, Goldman Sachs Dan Morgan Stanley meluncurkan alat AI generatif tahun ini. BNY menolak mengomentari investasi keuangan di pusat AI-nya, tetapi bank tersebut menghabiskan $3,8 miliar untuk teknologi pada tahun 2023—jumlah yang mencakup pusat AI, menurut juru bicara bank.

Kasus penggunaan

Eliza dibangun menggunakan GPU Nvidia lokal dan infrastruktur cloud dari Microsoft Azure dan Google Cloud. Ini memanfaatkan model bahasa komersial besar—termasuk GPT-4 OpenAI dan Gemini Google—dan LLM sumber terbuka, termasuk Llama Meta. Ini digunakan oleh berbagai karyawan, termasuk anggota tim teknis serta staf yang berhadapan dengan klien dan operasi. Pada akhir tahun ini, bank tersebut kemungkinan akan memproduksi lebih dari 40 solusi AI, kata juru bicara bank.

Kasus penggunaan mencakup keseluruhan kasus, mulai dari yang umum hingga khusus: Seorang anggota tim hukum mungkin menggunakan Eliza untuk membandingkan dokumen dan mengajukan pertanyaan; seorang eksekutif senior dapat menggunakannya untuk mendapatkan rancangan pokok pembicaraan mengenai topik tertentu; atau anggota tim teknis mungkin meminta Eliza menerjemahkan cuplikan SQL ke dalam bahasa alami.

Eliza juga menyertakan alat untuk membantu karyawan melakukan pekerjaan mereka dengan lebih efisien, termasuk, misalnya, alat yang menganalisis dana, menandai penyimpangan, dan membantu akuntan mengatasinya, menurut bank.

Orientasi dan pelatihan

Untuk menggunakan Eliza, karyawan dilatih tentang penggunaan AI yang bertanggung jawab, penggunaan data yang tepat, dan pentingnya menjaga manusia tetap mengetahui informasi terbaru, menurut bank tersebut. Karyawan perlu mengikuti tes sebelum mereka dapat memperoleh akses.

Bank juga mempertemukan karyawan secara virtual dan tatap muka untuk berbagi wawasan tentang Eliza. Halaman komunitas Eliza membantu karyawan berbagi informasi tentang kekuatan dan kelemahan berbagai model. Setiap minggu, karyawan bertemu untuk membahas perbaikan platform dan menyajikan contoh kasus penggunaan. Bank juga mengadakan hackathon dan “promptathon” untuk membantu karyawan bereksperimen di lingkungan yang aman, kata Pattanaik.

Pagar pembatas

Bank telah menerapkan perlindungan seputar keamanan informasi, tata kelola pihak ketiga, manajemen kerentanan, manajemen identitas dan akses, dan pencegahan kehilangan data, kata Pattanaik.

Pada tingkat model, bank mengelola risiko dengan menerapkan serangkaian prinsip utama, termasuk keadilan (menyaring bias); penggunaan etis; transparansi (kejelasan tentang bagaimana model menghasilkan jawaban, termasuk sumber informasi); dan privasi data, katanya.

Sebelum kasus penggunaan apa pun dimasukkan ke dalam produksi, bank menerapkan proses tata kelola resmi untuk merancang, membangun, dan mengoperasikannya. Mekanisme pengawasan manusia dan mekanisme pengawasan lainnya (termasuk “agen penantang”) juga digunakan, menurut Pattanaik.

“Manusia yang terlibat adalah metrik utama bagi kami jika memungkinkan,” katanya. Selain itu, agen tantangan, yang dapat memasukkan perintah yang sama ke dalam model bahasa besar yang berbeda, dapat membantu memastikan keakuratan keluaran.

Hasil

Tujuan dari alat seperti Eliza bukan untuk menghilangkan pekerjaan, namun untuk meningkatkan kemampuan karyawan dalam pekerjaan, kata Sharyn Jones, kepala manajemen bakat global BNY.

“Kami melihatnya sebagai perubahan cara orang melakukan pekerjaan mereka sehari-hari,” katanya. “Jika Anda berpikir tentang apa yang dilakukan AI dari perspektif menemukan peluang efisiensi… kami benar-benar ingin fokus pada cara orang menghabiskan waktu mereka.”

Untuk setiap kasus penggunaan, kriteria evaluasi keberhasilan dan kegagalan ditetapkan terlebih dahulu, kata Pattanaik. “Saat kami menangani kasus penggunaan tertentu, kami mengidentifikasi peningkatan produktivitas dan melaksanakannya,” katanya. “Tetapi tidak ada jumlah besar yang kita semua targetkan.”

Upaya BNY untuk meluncurkan AI generatif sejalan dengan upaya banyak lembaga keuangan besar. Tantangan yang mereka hadapi lebih dari sekadar teknologi: tantangannya adalah menerapkan struktur tata kelola agar perangkat dapat diperluas, kata Dan Latimore, kepala peneliti di The Financial Revolutionist.

“Bukan hanya teknologinya saja, tapi kepemimpinan dan tata kelola di sekitarnya,” kata Latimore. “Anda harus menetapkan tujuan yang jelas, menyesuaikannya berdasarkan apa yang Anda pelajari melalui eksperimen, dan fokus untuk menyebarkan inisiatif yang menunjukkan hasil tertinggi.”

Keberhasilan peluncuran AI generatif perusahaan di seluruh perusahaan jasa keuangan juga akan bergantung pada kemampuan mereka untuk memanfaatkan kepercayaan kolektif mereka terhadap kecerdasan pada kasus penggunaan terbaik dan petunjuk yang dapat diterapkan di seluruh organisasi, saran Vikas Agarwal, pemimpin risiko dan peraturan jasa keuangan di PwC.

Sementara itu, BNY bertaruh pada keuntungan jangka panjang dari upaya AI-nya.

“Kami menggunakan AI Hub untuk mengumpulkan kasus penggunaan yang berbeda-beda dan kemudian dapat memberikan solusi dan banyak platform AI yang kemudian dapat digunakan di berbagai tempat di seluruh perusahaan,” kata CEO Robin Vince saat laporan pendapatan kuartal pertama perusahaan. pada bulan April.

“Kami pikir ini akan menjadi sangat signifikan seiring berjalannya waktu, tapi ini bukan cerita tahun 2024…bahkan mungkin bukan cerita tahun 2025, tapi cerita tahun 26 dan seterusnya,” kata Vince.