Penggunaan AI dalam layanan pelanggan menghadapi tantangan hukum yang dapat merugikan bank

Dua tuntutan hukum baru-baru ini menantang perusahaan yang menggunakan kecerdasan buatan dalam chatbot dan pusat panggilan mereka, seperti yang dilakukan banyak bank di AS.

Dalam satu kasus, seorang pelanggan yang neneknya baru saja meninggal memesan tiket pesawat Air Canada dan diyakinkan oleh chatbot berbasis AI milik maskapai bahwa ia punya waktu 90 hari untuk mengajukan diskon duka cita. Ternyata ini bukan kebijakan maskapai dan maskapai menolak memberikan diskon duka cita yang besar, dengan mengatakan bahwa kebijakannya dinyatakan dengan benar di situs webnya. Pengadilan penyelesaian perdata memesan Air Canada untuk memberikan diskon kepada pelanggan dan membayar biaya.

Dalam kasus lain, beberapa pelanggan menggugat Patagonia setelah mengetahui bahwa Talkdesk, vendor teknologi pusat kontak yang digunakan Patagonia, merekam dan menganalisis panggilan dukungan pelanggan dan menggunakannya untuk melatih model AI-nya. Pelanggan mengatakan mereka tidak akan melakukan panggilan tersebut jika mereka tahu Talkdesk sedang menyadap mereka, dan bahwa ini merupakan pelanggaran hukum privasi data California. Pengaduan diajukan pada 11 Juli dan belum diajukan ke pengadilan.

Kasus pertama menimbulkan keraguan atas penggunaan AI di pusat kontak, sesuatu yang dilakukan banyak bank AS, terutama untuk menganalisis sentimen pelanggan dan kinerja perwakilan pusat panggilan serta meringkas panggilan untuk catatan mereka. Kasus kedua mempertanyakan penggunaan model AI generatif yang berhadapan dengan pelanggan oleh perusahaan ritel seperti bank.

Chatbot berhalusinasi

Ketika nenek Jake Moffat meninggal dunia, ia mengunjungi situs web Air Canada untuk memesan tiket pesawat dari Vancouver ke Toronto menggunakan tarif khusus duka cita maskapai tersebut. Saat mencari tiket pesawat, ia menggunakan chatbot di situs web maskapai yang memberi tahu bahwa ia dapat mengajukan permohonan untuk tarif khusus duka cita secara retroaktif.

Namun, ketika Moffatt kemudian mengajukan permohonan diskon, maskapai mengatakan bahwa chatbot tersebut salah — permintaan harus diajukan sebelum penerbangan — dan tidak akan memberikan diskon. Maskapai mengatakan bahwa mereka tidak dapat dimintai pertanggungjawaban atas informasi yang diberikan oleh salah satu agen, pelayan, atau perwakilannya, termasuk chatbot. Maskapai mengatakan bahwa chatbot adalah “badan hukum terpisah yang bertanggung jawab atas tindakannya sendiri” dan Moffatt seharusnya mengeklik tautan yang disediakan oleh chatbot, di mana ia akan melihat kebijakan yang benar. Air Canada tidak menanggapi permintaan wawancara.

“Ini adalah pengajuan yang luar biasa,” kata juri Christopher C. Rivers. “Meskipun chatbot memiliki komponen interaktif, chatbot tetap saja merupakan bagian dari situs web Air Canada. Air Canada seharusnya paham bahwa mereka bertanggung jawab atas semua informasi di situs webnya. Tidak ada bedanya apakah informasi tersebut berasal dari halaman statis atau chatbot.”

Rivers juga menemukan bahwa Air Canada tidak melakukan tindakan pencegahan yang wajar untuk memastikan bahwa chatbot-nya akurat. “Meskipun Air Canada berpendapat bahwa Tn. Moffatt dapat menemukan informasi yang benar di bagian lain situs webnya, hal itu tidak menjelaskan mengapa halaman web berjudul ‘Perjalanan berkabung’ pada dasarnya lebih dapat dipercaya daripada chatbot-nya,” tulis Rivers dalam keputusannya. “Hal itu juga tidak menjelaskan mengapa pelanggan harus memeriksa ulang informasi yang ditemukan di satu bagian situs webnya di bagian lain situs webnya.”

Pengadilan resolusi perdata memberi ganti rugi kepada pelanggan sebesar $650,88, bunga sebesar $36,14, dan biaya pengadilan sebesar $125.

Kasus ini kemungkinan akan membuat Air Canada berpikir dua kali tentang chatbot yang mereka “sewa” dan mendorong penyedia chatbot AI untuk meningkatkan rangkaian fitur mereka, kata Greg Ewing, anggota firma hukum Dickinson Wright di Washington, DC

“Misalnya, Anda dapat mulai memberikan pengecualian pada apa yang dapat dibicarakan oleh chatbot,” katanya. “Jadi saya pikir hal ini akan mendorong inovasi dan akan menjadi motivator bagi perusahaan seperti Air Canada untuk berhati-hati dalam memilih chatbot.”

Manusia juga membuat kesalahan semacam ini, kata Ewing.

“Ini bukan situasi yang unik,” katanya. “Ini unik karena siapa yang menulis kata-kata itu.”

Banyak bank menawarkan chatbot berbasis AI di situs web mereka, meskipun sebagian besar belum menggunakan AI generatif saat ini (banyak yang mengatakan ingin menggunakannya di masa mendatang). Para bankir yang diwawancarai untuk artikel ini mengatakan mereka berhati-hati dalam mendorong AI generatif kepada nasabah.

“Di Citizens, kami memfokuskan kasus penggunaan awal kami secara internal dengan pengawasan manusia saat kami secara aktif dan aman mengupayakan penerapan AI generasi baru,” kata Krish Swamy, kepala bagian data dan analitik di Citizens. “Kami melihat potensi AI generasi baru untuk membantu kami melayani pelanggan sekaligus membantu rekan kerja kami berinovasi. Lembaga keuangan yang cerdas harus mengintegrasikan pembatas yang tepat, termasuk perlindungan manusia, perlindungan data pelanggan, dan menegakkan komitmen privasi, untuk mendukung penerapan AI generasi baru secara lebih baik.”

Model AI dapat divalidasi dan diuji dengan model AI lainnya, kata Sri Ambati, CEO H2O.ai.

“Kurasi menjadi penting, dan cara terbaik untuk mengkurasinya adalah dengan AI lain,” katanya. Perusahaannya menawarkan kerangka kerja bernama Eval Studio yang memungkinkan perusahaan membuat evaluasi yang menguji kelemahan.

AI menyadap di Patagonia

Dalam gugatan class action yang diajukan di pengadilan tinggi negara bagian California di Ventura County terhadap Patagonia, pelanggan menuduh pengecer tersebut melanggar undang-undang privasi data California dengan membiarkan model AI dari Talkdesk menganalisis percakapan dukungan pelanggan secara real time.

“Saat penelepon menghubungi salah satu saluran dukungan Patagonia, mereka diberi tahu bahwa panggilan tersebut ‘dapat direkam untuk tujuan pelatihan kualitas,'” demikian bunyi keluhan tersebut. “Hal ini memberi tahu konsumen yang wajar bahwa Patagonia sendiri dapat menggunakan rekaman tersebut untuk melatih agen layanan pelanggannya atau meningkatkan produknya. Hal ini tidak memberi tahu konsumen yang wajar bahwa pihak ketiga (Talkdesk) akan menyadap, mendengarkan, merekam, dan menggunakan panggilan tersebut untuk tujuannya sendiri.”

Patagonia dan Talkdesk tidak menanggapi permintaan wawancara.

Ewing mengatakan California memiliki undang-undang penyadapan yang melarang perekaman percakapan tanpa persetujuan.

“Saya pikir mereka punya alasan yang cukup kuat dalam hal itu, karena Talkdesk, atas permintaan Patagonia, merekam percakapan ini, dan setidaknya menurut pengaduan dan apa yang saya lihat, tidak ada persetujuan nyata untuk rekaman itu,” katanya. “Kita semua pernah mendengar pembukaan seperti itu, ‘panggilan ini mungkin direkam untuk tujuan pelatihan’. Bagi saya itu tidak terdengar seperti ‘kami mengirimkannya ke pihak ketiga.'”

Keluhan tersebut menyatakan bahwa Talkdesk menggunakan data tersebut untuk melatih model AI-nya. Hal ini menimbulkan masalah potensi bias.

“Saya akan khawatir, jika saya adalah Talkdesk, tuduhan itu pada dasarnya akan seperti ini, lihat, Anda memiliki pengguna Patagonia yang menelepon ke Patagonia dan marah serta memiliki aksen Selatan yang dapat dideteksi oleh AI,” kata Ewing. “Lain kali orang tersebut menelepon, apa yang akan digunakan AI untuk memberikan rekomendasinya kepada agen layanan pelanggan?”

Gugatan ini akan memaksa Talkdesk dan pelanggannya untuk memikirkan apa yang mereka ungkapkan, persetujuan yang mereka minta dan bagaimana mereka menggunakan model AI di pusat kontak, kata Ewing.

Banyak bank di AS menggunakan AI untuk menganalisis panggilan dukungan pelanggan, sentimen pelanggan, dan kinerja petugas layanan, bahkan untuk memikirkan kembali produk yang mungkin dikeluhkan pelanggan. Beberapa menggunakan AI generatif untuk membantu agen pusat panggilan memberikan jawaban yang tepat.

Ada kemungkinan bahwa pengungkapan yang lebih banyak akan mencegah gugatan hukum seperti ini. Selain pesan standar tentang panggilan yang dipantau, perusahaan dapat menambahkan kalimat tentang fakta bahwa perangkat lunak menganalisis percakapan “untuk membantu agen kami dalam menyediakan layanan pelanggan dengan kualitas terbaik,” kata Ewing.

Pada akhirnya, pelanggan akan memiliki data mereka sendiri, kata Ambati dari H2O.ai.

“Jika Anda memiliki data tersebut, Anda dapat menyewakannya,” katanya. “Anda memperoleh semua hak milik untuk meminjamkannya guna menyempurnakan model bahasa yang besar. Anda dapat membiarkannya digunakan untuk melawan Alzheimer, misalnya, tetapi bukan untuk tujuan politik.”