Janji dan bahaya AI agen

Sebuah teknologi yang disebut AI agen digembar-gemborkan oleh konsultan dan vendor sebagai teknologi besar berikutnya. Hal ini berpotensi membantu bank dan perusahaan lain memperoleh efisiensi dan penghematan biaya dari investasi mereka dalam model bahasa besar.

Hal ini juga mempunyai banyak risiko.

Agentic AI menggunakan model bahasa yang besar dan memungkinkannya melakukan berbagai hal, dengan sedikit campur tangan manusia. Agentik mengacu pada tindakan sebagai agen otonom, yang mampu melakukan tugasnya sendiri.

Ini adalah langkah baru dalam kecerdasan buatan. Hingga saat ini, bank-bank yang menggunakan AI generatif mengatakan bahwa mereka mempunyai sumber daya manusia yang dapat memantaunya — seorang karyawan selalu ada untuk meninjau kinerja model tersebut dan menangkap setiap permasalahan yang ada. halusinasi, kesalahan atau bias dalam keluarannya. Pengembang mengedit kode generatif yang dihasilkan AI. Perwakilan call center dan penasihat keuangan membaca saran AI generatif dan menolak saran yang tampaknya ketinggalan jaman atau ketinggalan jaman.

Data dari klien Capgemini yang telah menerapkan AI agen menunjukkan “kami mencapai titik di mana mereka merasa cukup nyaman untuk membiarkan agen AI mengambil keputusan tertentu tanpa campur tangan manusia,” kata Kartik Ramakrishnan, wakil CEO, layanan keuangan di Capgemini. dalam podcast American Banker yang akan ditayangkan pada 8 Oktober.

Tidak ada bank AS yang secara terbuka mengatakan bahwa mereka menggunakan AI agen dalam produksinya.

“Beberapa bank kini sedang menempuh jalur ini,” kata Matt Kropp, Managing Partner di Boston Consulting Group, dalam sebuah wawancara. “Ada proyek-proyek yang direncanakan dan didanai untuk bergerak ke arah ini.”

Apa yang bisa dilakukan oleh AI agen

Sistem AI agen terkadang disebut sistem operasi model dasar, model tindakan besar, atau agen AI.

Mereka mengandalkan model bahasa besar yang memahami perintah pengguna dan memecahnya menjadi tugas-tugas yang dapat dijalankan. Salah satu contohnya adalah panggilan antarmuka pemrograman aplikasi untuk mengumpulkan data, mungkin untuk memeriksa saldo rekening. Tindakan lainnya mungkin berupa tindakan, seperti transfer uang dari satu rekening ke rekening lainnya. Pihak ketiga mungkin memberikan formulir kepada pengguna untuk mendapatkan masukan atau persetujuan atas suatu tindakan.

Jadi, jika pelanggan membutuhkan $850 untuk memenuhi keadaan darurat tetapi dia tidak memiliki cukup uang di rekening gironya, chatbot AI agen akan masuk ke rekening tabungannya untuk melihat apakah ada uang di sana. Jika tidak, pihaknya akan memeriksa apakah pelanggan memiliki batas kredit yang dapat digunakan. Ia akan mengeksplorasi berbagai opsi yang tersedia tanpa ada manusia yang menyuruhnya melakukannya.

Perbedaan utama antara AI agen dan teknologi lama yang sudah digunakan bank untuk mengotomatisasi tugas, seperti otomatisasi proses bisnis dan otomatisasi proses robotik, adalah bahwa AI agen mampu memahami bahasa, karena penggunaan model bahasa yang besar, kata Rajesh Iyer , kepala AI dan pembelajaran mesin global di Capgemini.

Meskipun AI agen dirancang untuk berjalan secara mandiri, jika masukan manusia diperlukan, seperti untuk mengotorisasi pembayaran, AI akan memintanya, kata Iyer.

Teknologi ini masih dalam pengembangan.

“Saya pikir ini adalah hal besar berikutnya,” kata Iyer.

Kasus penggunaan

Seperti yang ditunjukkan oleh contoh di atas, AI agen dapat digunakan untuk menangani permintaan pelanggan yang kompleks secara otomatis.

NetXD memiliki sistem AI agen yang disebut Edge AI. Seorang pengguna dapat bertanya kepada Edge AI, “Berapa banyak bunga yang saya peroleh?” Sistem tersebut, yang sudah terhubung ke rekening bank pelanggan melalui API, akan memberi tahu pelanggan berapa banyak bunga yang diperoleh di semua rekening. Selain itu juga akan berbagi informasi mengenai rekening pasar uang yang dapat memberikan imbal hasil lebih tinggi.

Dengan izin pelanggan, sistem dapat mengisi aplikasi terlebih dahulu dan dengan otentikasi dan persetujuan biometrik, sistem akan membuka rekening baru dalam waktu sekitar 15 detik, menurut Suresh Ramamurthi, ketua NetXD dan ketua CBW Bank di Weir, Kansas.

Kemudian dapat memindahkan uang dari rekening lain ke rekening pasar uang baru, sekali lagi dengan izin pelanggan dan otentikasi biometrik.

Sistem juga dapat menangani perintah seperti, “Ingatkan saya untuk mengirimkan $50 kepada ibu untuk tagihan telepon saya sebelum akhir bulan dan menjadikannya bulanan” atau “pengingat, membagi belanjaan dengan pacar saya, tetapi pastikan untuk mengecualikan beberapa perjalanan saya ke Sefora.”

NetXD akan membuat sistemnya tersedia secara umum bagi konsumen dalam beberapa minggu. Mereka juga menawarkan teknologi tersebut kepada bank.

Kemampuan menggunakan AI agen untuk melakukan sesuatu bagi nasabah akan mengganggu bank, kata Ramamurthi.

“Dalam dua, tiga tahun ke depan, semua orang akan berebut untuk memiliki teknologi ini,” ujarnya.

Bud Financial memiliki model AI agen serupa yang telah diuji dengan klien bank, menurut Edward Maslaveckas​, salah satu pendiri dan CEO.

Modelnya dapat menganalisis transaksi pelanggan dan mencari cara untuk memindahkan uang pelanggan antar rekening untuk mendapatkan bunga setinggi mungkin atas uang tunai yang ada, dengan persetujuan pelanggan. Model ini dapat digunakan secara lebih luas untuk membantu masyarakat meningkatkan keuangan mereka dan menentukan tindakan terbaik berikutnya, kata Maslaveckas.

“Pertanyaan terbesar kami ketika kami mulai membangunnya sekitar setahun yang lalu adalah, apakah hal ini benar-benar berfungsi?” katanya. “Kami telah mengembangkan teknologi ini hingga mencapai titik di mana teknologi ini dapat berfungsi pada sebagian besar waktu, bukan hanya pada waktu-waktu tertentu. Kemajuan dalam satu tahun sudah banyak.”

Meskipun sebagian besar bank ingin meminimalkan bunga yang diperoleh konsumen atas uang mereka dan memaksimalkan biaya yang mereka bayarkan, ada beberapa, sebagian besar bank komunitas dan bank penantang, yang berupaya menawarkan kesepakatan yang lebih baik kepada konsumen, kata Maslaveckas.

Bank-bank yang sedang menguji teknologi tersebut belum siap untuk membicarakannya karena pertanyaan regulasi, katanya. Namun, memaksimalkan minat memiliki risiko yang cukup rendah, katanya, dan pelanggan harus ikut serta.

Kropp mengatakan AI agen juga dapat digunakan di departemen penelitian ekuitas bank investasi. Perusahaan dapat melakukan beberapa penelitian yang digunakan untuk membuat buku kesepakatan, dengan menggabungkan 10K, panggilan analis, dan dokumen lainnya. Ini dapat membantu membuat laporan penelitian dan slide deck. Ini bisa memberi pengguna alat seperti ChatGPT untuk menanyakan dan meringkas penelitian.

Seorang analis mungkin mengajukan tesis atau sudut pandang unik tentang sebuah perusahaan dan meminta model AI agen untuk menghasilkan bukti yang mendukungnya.

“Itulah kekuatan pengaturan seperti itu,” kata Kropp. Jika model melakukan kompilasi dan sintesis penelitian, analis manusia mempunyai lebih banyak waktu untuk berpikir kritis.

Agentic AI dapat digunakan dalam keamanan siber, “di mana banyak hal harus terjadi dan Anda harus menyatukan banyak hal di pusat operasi keamanan atau seseorang yang melakukan pengujian,” kata Iyer.

Apa yang salah?

Risiko berlimpah. AI agen dapat melakukan kesalahan yang sama seperti yang dilakukan agen manusia, kata Todd Phillips, advokat kebijakan dan peneliti di Roosevelt Institute, dalam sebuah wawancara.

“Hal ini bisa terjadi jauh lebih cepat daripada respons orang, dan tidak ada orang yang bertanya-tanya dan bertanya, ‘Tunggu, benarkah, haruskah saya melakukan hal ini?’ AI mungkin akan melakukannya,” katanya.

Jika digunakan dalam perdagangan algoritmik dan perusahaan perdagangan frekuensi tinggi, AI agen dapat menyebabkan flash crash dan manipulasi pasar yang tidak disengaja, katanya.

“Penelitian telah menunjukkan bahwa jika Anda membiarkan agen AI memiliki kebebasan dan Anda hanya meminta mereka untuk mendapatkan keuntungan sebanyak-banyaknya, mereka pada akhirnya akan menemukan cara untuk melakukan manipulasi pasar,” kata Phillips. “Tanpa batasan yang tepat, saya pikir kita bisa melihat banyak hal seperti ini terjadi secara tidak sengaja – perusahaan dagang tidak akan menyuruh agen AI mereka untuk terlibat dalam manipulasi pasar, mereka hanya akan melakukannya sendiri.” Pelaku kejahatan dapat dengan sengaja memberitahu agen AI mereka untuk terlibat dalam manipulasi pasar.

Jika usaha kecil dan menengah menggunakan agen AI untuk pengelolaan perbendaharaan, hal ini dapat menyebabkan bank run, kata Phillips.

“Anda bisa saja mengalami situasi seperti Bank Silicon Valley di mana agen AI suatu perusahaan berpikir, ‘Bank ini akan gagal – saya harus memindahkan uang perusahaan ke bank lain,’” katanya. “Dan mereka semua pada dasarnya menjalankan agen AI di bank.” Ada dua faktor yang membuat skenario ini lebih mungkin terjadi: mengembangkan AI membutuhkan biaya yang mahal dan sejauh ini, sebagian besar perusahaan tertarik pada beberapa model bahasa berukuran besar.

“Jika sejumlah perusahaan memiliki AI yang mengelola saldo akun mereka, dan mereka semua menggunakan LLM yang sama, mereka akan mendapatkan informasi yang sama pada saat yang sama, dan mereka akan menarik uang sekaligus. pada saat yang sama,” katanya.

Bahkan penggunaan AI agen yang tampaknya tidak berbahaya pun dapat menimbulkan masalah, Phillips memperingatkan.

“Saya khawatir jika Anda dapat memberi tahu ponsel Anda, ‘Hai Siri, bayar tagihan air saya dari rekening bank saya,’ hal itu mungkin terjadi, tetapi mungkin juga merugikan orang lain,” katanya. “Ini mungkin melakukan pembayaran tetapi klien harus melakukan cerukan dan harus membayar lebih banyak biaya seperti itu.”

Bahkan jika pelanggan atau karyawan diminta untuk meninjau setiap langkah yang diambil oleh AI agen, “Saya masih merasa takut karena kita terbiasa mengklik ‘OK, OK, OK’ pada apa pun yang ada di depan komputer Anda.” kata Phillips.

Risiko lainnya adalah penjahat dapat menggunakan AI agen untuk mempercepat pekerjaan mereka.

“Pelaku jahat dapat meminta agen AI untuk meretas bank dan mencuri informasi, dan agen AI dapat langsung melakukannya,” kata Phillips. “Mereka dapat menjalankan banyak bot pada saat yang sama, mencoba mencari metode yang berbeda.”

Undang-undang tersebut tidak jelas mengenai bagaimana keputusan agen AI akan ditafsirkan secara hukum, kata Phillips.

Secara keseluruhan, kata Phillips, bank harus berhati-hati dalam menggunakan AI agen. “Dan saya pikir Anda perlu memiliki tingkat peninjauan, sama seperti yang Anda lakukan terhadap masyarakat,” katanya.

Semakin dekat dengan jam tayang utama

Agentic AI belum praktis bagi bank, kata Kropp. Grup BCG X yang dipimpinnya telah membangun sistem AI agen yang berfungsi dan digunakan di industri lain seperti layanan kesehatan. Mereka juga sedang mengerjakan program transformasi AI generatif di bank investasi global.

“Dalam sektor yang diatur secara ketat seperti perbankan dan asuransi, regulator harus memahami bagaimana keputusan dibuat. Jika Anda memiliki model yang membuat keputusan, maka hal tersebut bukanlah sebuah kotak hitam. Anda harus dapat memeriksa mengapa sebuah model membuat sebuah keputusan. keputusan tertentu. Semua itu menciptakan banyak gesekan” terhadap AI agen, kata Kropp.

Namun hambatan seperti itu tidak membuat AI agen menjadi mustahil, katanya. “Ini berarti segala sesuatunya akan berjalan lebih lambat karena lembaga keuangan harus membuat regulator mereka nyaman dengan model pengambilan keputusan sebelum mereka dapat menerapkannya.”

Teknologi ini akan menjadi jauh lebih baik dengan cepat, kata Kropp. “Dalam lima tahun, saya pikir kualitasnya akan sangat, sangat bagus dan kami akan mulai mengandalkannya.” Tapi mungkin butuh waktu lama sebelum ada orang yang bisa mengandalkan 100% AI agen, katanya.

Ada kondisi tertentu yang perlu dipenuhi bagi bank untuk menerapkan AI agen, menurut Ramamurthi.

“Mereka harus memiliki keamanan tanpa kepercayaan dan kemampuan tanda tangan digital, mereka harus memiliki alur proses yang terdefinisi dengan baik dan diamankan dengan kepercayaan nol sebagai prasyarat untuk mencapai operasi nol yang digerakkan oleh AI, di mana seluruh operasi dilakukan tanpa campur tangan manusia,” ujarnya. dikatakan.

“Mereka juga perlu memiliki kemampuan rekonsiliasi secara real-time sebelum mereka memulai sesuatu yang berkecepatan tinggi atau otomatis. Sama seperti Anda memerlukan rem dan kemudi untuk mengendarai mobil di jalan menurun yang berkelok-kelok, bank juga perlu berinvestasi pada tombol pemutus (kill switch) dan jalur yang cerdas. kontrol,” kata Ramamurthi.

Kropp juga membandingkan teknologi ini dengan mobil self-driving, yang memiliki tingkat otonomi berbeda, namun kebanyakan orang belum siap untuk melepaskan kendali. Untuk beberapa waktu, model AI agen mungkin perlu terus memantau manusia di berbagai titik, melakukan tinjauan kualitas, atau menyetujui keputusan atau tindakan, katanya.