Bisakah bank mempercayai model bahasa yang besar?

Ketika bank meluncurkan model bahasa yang besar kepada karyawan, untuk membantu mereka melakukan hal-hal seperti draf email dan laporanBahasa Indonesia: merangkum panggilan layanan pelanggan dan menulis kode perangkat lunakmereka memasang beberapa pembatas di seputar teknologi tersebut. Misalnya, mereka membatasi data yang dapat diserap model, dan meminta staf meninjau pekerjaan model tersebut.

Namun, model bahasa yang besar menghasilkan kesalahan dan halusinasi dengan cara yang tidak dilakukan oleh bentuk AI sebelumnya, dan beberapa ahli mengatakan tidak ada cara untuk sepenuhnya mengurangi risiko ini.

“Pada dasarnya model bahasa besar ini dilatih di seluruh internet,” kata Seth Dobrin, mantan kepala AI global di IBM, pendiri perusahaan penasihat Qantm AI, dan mitra umum di 1infinity Ventures, dalam sebuah wawancara baru-baru ini Podcast Bankir Amerika“Dan perusahaan-perusahaan ini – Anthropic, Meta, Google, OpenAI – terus membangun model yang semakin besar. Jadi, mereka semakin menjauh dari fondasi inti teknologi dan semakin besar modelnya, semakin besar kemungkinan mereka berhalusinasi.”

Tidak semua orang setuju.

“Keyakinan bahwa model yang lebih besar cenderung lebih rentan terhadap halusinasi belum tentu akurat,” kata Javier Rodriguez Soler, kepala keberlanjutan di BBVA, dalam wawancara melalui email. “Faktanya, justru sebaliknya: jika semua hal sama, model yang lebih besar cenderung lebih jarang berhalusinasi karena kapasitasnya yang lebih baik untuk membangun representasi dunia yang lebih baik. Misalnya, GPT-4 (OpenAI) diperkirakan berhalusinasi sekitar 40% lebih sedikit daripada GPT-3.5, meskipun ukurannya jauh lebih besar. Seiring kemajuan teknologi AI, kita dapat mengharapkan generasi model baru untuk lebih mengurangi halusinasi.”

Namun, Soler mengakui bahwa halusinasi masih menjadi tantangan yang belum terpecahkan. Untuk mengatasi hal ini, katanya, BBVA telah membentuk tim khusus untuk mengevaluasi, menguji, dan menerapkan perlindungan untuk aplikasi AI. Dan untuk aplikasi kritis, di mana bahkan satu kesalahan pun tidak dapat diterima, jika model bahasa yang besar tidak dapat memenuhi persyaratan bank, bank tidak akan menggunakannya.

Halusinasi

Kelemahan model bahasa besar yang paling dikenal luas adalah kecenderungannya untuk berhalusinasi, atau mengarang cerita. Sebagian besar LLM memprediksi kata berikutnya (secara teknis, token berikutnya) dalam suatu urutan, berdasarkan data yang telah dilatih dan perhitungan statistik.

“Halusinasi AI adalah fenomena di mana model bahasa yang besar … melihat pola atau objek yang tidak ada atau tidak terlihat oleh pengamat manusia, sehingga menghasilkan output yang tidak masuk akal atau sama sekali tidak akurat,” jelas IBM dalam laporannya situs web(Raksasa teknologi itu memiliki ketertarikan kuat pada teknologi; tanda neon yang menyatakan “Saya ♥️ AI,” dengan emoji, menghiasi kantornya di New York City.)

Tahun lalu, tak lama setelah Google meluncurkan chatbot berbasis model bahasa besar Bard (namanya kini berubah menjadi Gemini), Google menjawab pertanyaan tentang Teleskop Luar Angkasa James Webb dengan “fakta” bahwa teleskop tersebut, yang mulai beroperasi pada Desember 2021, mengambil gambar pertama sebuah eksoplanet di luar tata surya kita. Kenyataannya, gambar pertama sebuah eksoplanet diambil oleh Teleskop Sangat Besar milik European Southern Observatory pada tahun 2004, menurut NASA. Google mengatakan akan terus menguji model tersebut.

Para bankir sering mengatakan bahwa mereka menggunakan retrieval augmented generation (RAG) untuk menjaga penerapan AI generatif mereka agar aman dari halusinasi. RAG adalah kerangka kerja AI yang mendasarkan model pada sumber pengetahuan tertentu. Bagi bank, ini mungkin berupa dokumen kebijakan internal atau basis kode.

Namun, menurut Dobrin, bank mungkin terlalu berharap pada gagasan ini.

“Dengan augmented generation retrieval, model-model ini masih dilatih di seluruh internet, kata Dobrin. “Mereka masih menggunakan GPT-4, mereka masih menggunakan Llama, mereka masih menggunakan Claude dari Anthropic, mereka masih menggunakan Gemini. Jadi mereka masih memiliki masalah halusinasi. Yang mereka lakukan adalah membatasi respons terhadap serangkaian data tertentu.”

Studi telah menunjukkan bahwa “model-model ini masih berhalusinasi pada tingkat yang cukup tinggi, tingkat yang cukup tidak dapat diterima untuk organisasi seperti bank,” kata Dobrin. “Itu tidak berarti bahwa model-model ini tidak memiliki nilai dalam hal-hal seperti meringkas dan membantu Anda menulis email selama manusia ada di sana untuk memeriksa dan mengerjakan ulang dan hal-hal seperti itu. Tetapi Anda tidak ingin model-model ini melakukan tugas-tugas penting. Anda tidak ingin model-model ini sepenuhnya mengotomatiskan informasi yang digunakan dalam interaksi pelanggan yang penting atau keputusan-keputusan penting.”

Model AI yang kecil dan spesifik untuk tugas tertentu dapat mendekati nol halusinasi, katanya.

Beberapa vendor berbicara tentang menawarkan LLM bebas halusinasi. Misalnya, ada yang berbicara tentang menyatukan basis data ke dalam grafik pengetahuan untuk digunakan dengan penguraian semantik untuk membumikan keluaran LLM, sehingga menghilangkan halusinasi.

Teknik seperti ini dapat mengurangi kemungkinan terjadinya halusinasi hingga kurang dari 10%, kata Dobrin. “Namun, itu bukan nol, itu tidak mendekati nol.”

Bahaya terkait adalah bahwa model bahasa yang besar dapat menarik informasi yang salah atau ketinggalan zaman dari data pelatihannya dan menyajikannya sebagai fakta.

Misalnya, pengguna yang mengetik “keju tidak lengket pada pizza” ke dalam Google AI Overviews, sebuah fitur Google Search yang didukung oleh model bahasa besar Google Gemini, disarankan untuk menambahkan lem ke sausnya.

Dalam kasus ini, Gemini tampaknya menangkap lelucon yang dibuat pengguna di Reddit 11 tahun lalu.

Banyak pengamat industri melihat halusinasi dan kesalahan sebagai masalah, tetapi bukan hal yang dapat merusak.

“Saya rasa kita belum memecahkan masalah halusinasi,” kata Ian Watson, kepala penelitian risiko di Celent, dalam sebuah wawancara. “Ada cara untuk mengurangi kejadiannya.”

Misalnya, satu model bahasa besar dapat disiapkan untuk mengkritik karya LLM lain.

“Telah terbukti bahwa hal itu dapat mengurangi secara signifikan jumlah informasi palsu dan halusinasi yang muncul dari satu model AI,” kata Watson. “Itu mungkin akan menjadi salah satu cara paling efektif untuk mengatur hasil AI.”

Aman untuk beberapa kasus penggunaan

Banyak pakar memandang model bahasa besar aman untuk digunakan asalkan ada manusia yang terlibat.

“Ketika orang mengatakan bahwa AI tidak akan pernah bebas dari kesalahan, saya tidak merasa itu mengganggu karena saya selalu berpikir akan ada harapan bahwa orang harus meninjau output, dan bahwa kasus penggunaan yang akan berkembang adalah kasus di mana AI merupakan alat bantu untuk sesuatu yang perlu dilakukan orang, tetapi tidak sepenuhnya menggantikan unsur manusia,” kata Carlton Greene, mitra di Crowell & Moring.

Misalnya, dapat membantu menyusun laporan aktivitas mencurigakan, disebut SAR, katanya.

“Salah satu beban besar dalam bidang anti pencucian uang adalah menyusun SAR,” kata Greene. “Ada format standar dalam hal apa yang perlu ada dalam narasi, dan ada kemungkinan AI dapat membantu menyiapkan formulir tersebut.”

Namun manusia perlu memeriksa fakta pada laporan-laporan ini, ia memperingatkan.

“Anda bisa membayangkan berbagai kemungkinan yang bisa terjadi jika ia berhalusinasi dan membuat aktivitas mencurigakan tentang nasabah bank yang kemudian mengakibatkan penyelidikan, karena SAR tersebut tersedia untuk penegak hukum, sehingga Anda bisa melihat berbagai kemungkinan masalah.”

Namun dengan peninjauan manusia, penggunaan LLM dapat menghemat banyak waktu untuk tugas hafalan ini, katanya.

Beberapa ahli yang diwawancarai untuk artikel ini mengatakan semua risiko model bahasa besar dapat diatasi.

“Apa yang saya lihat di alam adalah dengan RAG, dengan rekayasa cepat, dengan penyempurnaan model untuk industri tertentu dalam batasan regulasi tertentu, Anda bisa mendapatkan hasil yang baik,” kata Alenka Grealish, analis senior di Celent, dalam sebuah wawancara. “Anda harus melibatkan manusia. Anda harus memiliki sistem loop tertutup agar ketika sesuatu berjalan tidak semestinya, hal itu terlihat, dikenali, dihentikan, dan diperbaiki.”

Tidak menggunakan AI generatif karena risikonya “seperti mengatakan, yah, selalu ada kemungkinan mobil akan menabrak anak kecil, jadi saya tidak bisa mengendarainya,” kata Bjorn Austraat, CEO dan Pendiri Kinetic Cognition, dalam sebuah wawancara. “Tetapi Anda tetap bisa mengemudi dengan aman.”