Kelompok konsumen ke CFPB: Menjadikan bank menguji kewajaran perangkat lunak pinjaman AI

Federasi Konsumen Amerika dan Consumer Reports mengirimkan surat kepada Biro Perlindungan Keuangan Konsumen pada hari Rabu, mendesaknya untuk menetapkan aturan dasar untuk penggunaan kecerdasan buatan dalam peminjaman. Rekomendasi utama kelompok tersebut adalah bahwa bank harus diminta untuk mencari alternatif yang kurang diskriminatif. Kemudian pada hari yang sama, CFPB mengeluarkan pinjaman yang adil laporan bahwa hal ini memaksa pemberi pinjaman untuk berupaya memastikan algoritma pinjaman mereka (berbasis AI atau tidak) memenuhi undang-undang pinjaman yang adil.

Isu diskriminasi dalam pinjaman berbasis AI telah meresap selama lebih dari belasan tahun bank dan fintech telah menggunakannya. Para pendukung dan regulator konsumen khawatir bahwa konsumen dapat dirugikan oleh keputusan yang dibuat oleh AI, meskipun beberapa pemberi pinjaman yang menggunakan perangkat lunak ini telah melaporkan peningkatan pinjaman mereka kepada orang-orang dalam kelompok yang dilindungi.

Dalam sebuah wawancara, Adam Rust, direktur layanan keuangan di Federasi Konsumen Amerika, mengatakan bahwa organisasinya tidak bereaksi terhadap keluhan atau masalah yang ada saat ini, namun berusaha mencegah kerugian konsumen yang dapat timbul dari meluasnya penggunaan teknologi berbasis AI. pinjaman jika regulator tidak memasang pagar pembatas.

Apa yang mendorong CFA menulis surat itu, katanya, adalah perasaan bahwa banyak hal yang dapat dilakukan untuk menghindari masalah keadilan melalui ketidaktahuan.

“Saya yakin ada pemberi pinjaman di luar sana yang berpendapat bahwa hanya karena mereka tidak dapat menentukan susunan demografi pemohon, maka sistem mereka tidak mungkin bersifat diskriminatif,” kata Rust. “Saya juga berpikir bahwa ada pemimpin di dalam bank yang ingin melakukan hal yang benar, dan panduan seperti itu akan sangat membantu mereka untuk menyampaikan argumen tersebut.”

Pinjaman berbasis AI mungkin belum tersebar luas saat ini, namun akan lebih luas lagi di masa depan, Rust yakin.

“Akan ada saatnya AI menjadi sangat rumit sehingga kita mungkin tidak dapat memahami dasar pengambilan keputusan,” katanya. “Jika kita dapat memberi tahu model apa yang perlu mereka lakukan sebelum mereka menjadi terlalu pintar, kita harus melakukannya, dan mungkin saat itu tidak akan sejauh yang kita kira.”

Meskipun CFPB mengatakan bahwa undang-undang peminjaman yang adil berlaku untuk peminjaman algoritmik dan telah melakukan beberapa tindakan penegakan hukum, “mereka belum menetapkan aturan bagaimana hal itu dapat dilakukan dengan benar,” kata Rust.

Kelompok konsumen “mengajukan semua pertanyaan yang tepat,” kata Kareem Saleh, pendiri FairPlay, penyedia perangkat lunak pengujian kewajaran. Persyaratan untuk menemukan model yang kurang diskriminatif ini merupakan sesuatu yang diminta oleh industri, katanya.

“Saya pikir sikap biro tersebut adalah, kami enggan mengartikulasikan langkah-langkah dan ambang batas karena kami takut orang akan mempermainkannya,” katanya. “Dan itu bukan hal yang tidak masuk akal.”

Dalam laporannya, CFPB menyatakan bahwa pihaknya telah mengarahkan pemberi pinjaman untuk memastikan kepatuhan terhadap Undang-Undang Kesempatan Kredit yang Setara dan Peraturan B, termasuk dengan meminta mereka mengembangkan “proses untuk mempertimbangkan berbagai model yang kurang diskriminatif.”

Reaksi industri terhadap surat advokasi konsumen dan laporan CFPB secara umum positif.

“Sangat menggembirakan melihat peningkatan fokus pada pencarian alternatif yang tidak terlalu diskriminatif dalam laporan Pinjaman Adil Tahunan CFPB dan surat CFA,” kata Nat Hoopes, wakil presiden dan kepala kebijakan publik dan urusan regulasi di Upstart.

AI yang bertanggung jawab dapat membuat peminjaman lebih inklusif dan transparan, katanya, dan semua perusahaan peminjaman harus secara teratur mengevaluasi apakah mereka menggunakan pendekatan yang seadil mungkin untuk mencapai tujuan mereka.

“Saya sepenuhnya setuju dengan CFA dan Consumer Reports bahwa akan bermanfaat untuk terus mendapatkan lebih banyak panduan dari lembaga-lembaga tersebut sehingga lembaga-lembaga yang ingin melakukannya dengan baik memiliki beberapa praktik terbaik yang dapat mereka jadikan acuan,” kata Stephen Hayes, mitra di Relman Colfax, dalam sebuah wawancara. “Itu juga akan membantu mendorong terciptanya persaingan yang lebih adil.”

CFA dan Consumer Reports tidak mencoba menjelaskan apa yang mereka maksud dengan “algoritme yang tidak terlalu diskriminatif” dalam surat mereka.

“Hal utama tentang doktrin dampak yang berbeda adalah tidak ada yang terbaik,” kata Hayes. “Doktrin ini dirancang untuk mendorong lembaga, tuan tanah, perusahaan, dan pengusaha untuk terus berpikir tentang membangun sistem yang lebih baik, membangun sistem yang tidak terlalu diskriminatif yang tetap memenuhi kebutuhan mereka.”

Menurut Saleh, mencari algoritma atau alternatif yang tidak terlalu diskriminatif tidak berarti pemberi pinjaman harus menggunakan model yang sama sekali berbeda dari yang digunakannya. Pemberi pinjaman dapat memodifikasi model yang sudah ada.

Misalnya, pemberi pinjaman dapat menggunakan model yang mengandalkan skor kredit konvensional untuk 70% daya prediksinya, dan 30% sisanya dapat berasal dari variabel yang umum ditemukan pada laporan kredit, kata Saleh. Model ini dapat mengurangi ketergantungan pada data laporan kredit dari 70% menjadi 60% dan meningkatkan pengaruh variabel lain untuk memenuhi persyaratan alternatif yang kurang diskriminatif.

“Ini adalah proses yang berulang dan apa yang Anda mulai adalah mencari varian yang lebih adil dari model yang sama,” kata Saleh.

Di salah satu pemberi pinjaman yang bekerja sama dengan FairPlay, mereka melakukan 100 pencarian untuk alternatif yang kurang diskriminatif, kata Saleh. Semua model yang ditemukan timnya dalam pencariannya melibatkan beberapa trade-off keadilan-akurasi — agar lebih adil, harus ada penurunan akurasi.

Namun ketika tim FairPlay melakukan 300 pencarian, mereka menemukan model yang akurat dan lebih adil.

“Saya pikir pembelajaran utama bagi kita adalah bahwa hampir selalu ada model yang lebih adil jika Anda menginvestasikan upaya untuk mewujudkannya, namun seberapa besar jumlah tersebut cukup, terutama untuk institusi kecil yang memiliki sumber daya terbatas?” kata Saleh.

Kadang-kadang suatu model akan terlihat lebih akurat dan adil di laboratorium, tetapi tidak akurat dan adil di dunia nyata.

“Pertanyaan sebenarnya adalah, apakah algoritma yang kurang diskriminatif itu layak dan apakah algoritma itu akan bekerja sesuai dengan toleransi risiko saya dan juga lebih adil?” kata Saleh.