Dalam peminjaman berbasis AI, apakah ada pertentangan antara akurasi dan kewajaran?

Saat bank, perusahaan teknologi finansial, regulator dan pembela konsumen memperdebatkan manfaat dan risiko penggunaan kecerdasan buatan dalam keputusan pemberian pinjaman, satu hal yang diperdebatkan muncul: Apakah harus ada pertentangan antara keakuratan dan kewajaran?

Hal tersebut muncul dalam analisis independen terhadap penyedia perangkat lunak pinjaman berbasis AI, Upstart Network, tetapi hal itu tetap berlaku untuk semua bank, koperasi kredit, dan perusahaan teknologi finansial yang menggunakan model AI dalam keputusan pemberian pinjaman mereka.

Dari tahun 2020 hingga 2024, firma hukum Relman Colfax memantau upaya Upstart dalam memberikan pinjaman yang adil atas permintaan NAACP Legal Defense Fund dan Student Borrower Protection Center. Dalam laporan akhir yang diterbitkan awal tahun ini, Relman Colfax mengatakan Upstart telah berupaya keras untuk memastikan model pinjamannya adil.

Namun, laporan tersebut menemukan bahwa para pihak menemui jalan buntu di satu titik, ketika Relman Colfax mengira Upstart dapat mengubah modelnya untuk menyetujui lebih banyak pinjaman kepada kelompok yang kurang beruntung, tetapi Upstart mengatakan bahwa melakukan perubahan itu akan mengurangi keakuratan model.

“Masalah ini kritis,” kata laporan tersebut. “Jika rezim pengujian pinjaman yang adil dirancang berdasarkan asumsi bahwa model alternatif yang kurang diskriminatif tidak dapat diterapkan kecuali kinerjanya sama persis dengan model dasar pada metrik kinerja yang dipilih (terlepas dari ketidakpastian yang terkait dengan metrik tersebut), model yang kurang diskriminatif mungkin jarang, jika pernah, diadopsi.”

Upstart secara sukarela membayar semua pekerjaan dengan Relman Colfax “untuk memastikan bahwa kami berusaha sekuat tenaga dalam mencoba menemukan versi paling adil dari model risiko kredit kami,” kata Nat Hoopes, kepala kebijakan publik di Upstart, dalam sebuah wawancara.

Upstart dan Relman Colfax memiliki tujuan yang sama, kata Hoopes.

“Kami pikir jika Anda dapat menerapkan model alternatif yang tidak terlalu diskriminatif, Anda harus melakukannya,” katanya. Ia menambahkan bahwa Upstart muncul dengan perubahan berbeda yang meningkatkan kewajaran modelnya tanpa menurunkan akurasi, dan mencatat bahwa tidak ada satu metode yang ditentukan untuk ini.

“Ini adalah pertanyaan yang paling sulit dan pelik dalam keadilan algoritmik saat ini,” kata Kareem Saleh, pendiri dan CEO FairPlay AI, sebuah perusahaan yang melakukan pengujian keadilan pada model AI. “Apa yang Anda lihat dalam kebuntuan ini sebenarnya adalah dua kelompok yang sangat bijaksana yang mencoba bergulat dengan pertanyaan ini.”

Relman Colfax berpandangan bahwa jika standar akurasi model ditetapkan terlalu tinggi, tidak seorang pun akan pernah menggunakan alternatif yang kurang diskriminatif dan bias yang tertanam dalam sistem yang ada akan dikodekan dalam model peminjaman berbasis AI.

Di sisi lain, Upstart menjual pinjamannya ke bank yang mengharapkan tingkat kepercayaan yang tinggi terhadap kinerja model risiko. Jika standar akurasi model ditetapkan terlalu rendah, perusahaan tidak akan dapat mengumpulkan uang atau menjual pinjamannya.

“Sejujurnya, tidak ada jawaban yang mudah dan jelas untuk pertanyaan ini,” kata Saleh. “Ini adalah hal yang mungkin tidak disetujui oleh orang-orang yang berakal sehat dan ini bukanlah pertanyaan yang menurut saya akan menyelamatkan kita dari regulator.”

Beberapa ahli yang diwawancarai untuk artikel ini mengatakan bahwa jika regulator bersikap preskriptif tentang akurasi model keputusan pinjaman dan metrik kewajaran, maka pemberi pinjaman akan mencoba mempermainkan sistem agar memenuhi metrik tersebut.

Pencarian alternatif yang kurang diskriminatif

Doktrin dampak yang berbeda mengharuskan bahwa ketika bank menggunakan model — berbasis AI atau tidak — dalam keputusan pemberian pinjaman, mereka perlu melakukan upaya untuk mencari model alternatif yang kurang diskriminatifFederasi Konsumen Amerika baru-baru ini meminta Biro Perlindungan Keuangan Konsumen untuk secara khusus mengamanatkan praktik ini. Dalam CFPB laporan pinjaman adil terkinidikatakan bahwa hal itu memaksa pemberi pinjaman untuk memastikan algoritma pinjaman mereka memenuhi undang-undang pinjaman yang adil.

Mencari model yang kurang diskriminatif tidak berarti harus mencari model lain yang kurang diskriminatif. Secara umum, ini berarti bereksperimen dengan model keputusan pinjaman yang ada dan mengubah variabel atau pembobotan variabel untuk melihat apakah model tersebut akan meningkatkan persetujuan pinjaman untuk kelas yang dilindungi.

Misalnya, jika model keputusan pinjaman memberi bobot besar pada konsistensi pekerjaan, maka perempuan yang keluar dari dunia kerja selama beberapa tahun untuk membesarkan anak tidak akan bisa mendapatkan pinjaman. Untuk membuat model tersebut tidak terlalu diskriminatif, bobot model pada konsistensi pekerjaan dapat dikurangi.

Atau jika model sangat mempertimbangkan apakah calon peminjam memiliki rekening bank atau tidak, hal itu akan berdampak negatif pada orang kulit hitam yang tinggal di daerah terpencil dan tidak memiliki rekening bank, dan yang akhirnya menggunakan layanan pencairan cek dan kartu prabayar. Di sini sekali lagi, memodifikasi variabel tersebut atau pembobotannya dapat membantu pemberi pinjaman menyetujui lebih banyak pinjaman.

Seberapa besar upaya yang perlu dilakukan pemberi pinjaman untuk memastikan modelnya inklusif dan adil tidak ditentukan oleh undang-undang atau regulator yang ada. Tidak disebutkan pula seberapa besar pertimbangan yang dapat diberikan bank secara wajar terhadap keakuratan model.

“Ada banyak ketidakpastian dalam hal apa artinya memenuhi kepentingan bisnis yang sah secara wajar,” kata Stephen Hayes, mitra di Relman Colfax, dalam sebuah wawancara. “Hal itu memerlukan pendefinisian apa kepentingan itu, memiliki beberapa metode untuk mencari tahu apakah model Anda memajukan kepentingan itu dan kemudian memikirkan apakah alternatif akan melayani kepentingan itu secara sebanding tetapi menyebabkan lebih sedikit kesenjangan.”

Menguji model AI untuk keadilan dan akurasi

Menguji model AI untuk keadilan dan akurasi adalah seni, bukan sains. Model keputusan pinjaman berbasis AI diuji keakuratannya dengan menguji ulang keputusan pinjaman sebelumnya — jika model yang disesuaikan ini digunakan saat itu, siapa yang akan mendapatkan pinjaman dan siapa yang tidak, dan bagaimana kinerja pinjaman tersebut? Dengan kata lain, seberapa baik model ini memprediksi peminjam mana yang gagal bayar?

Begitu model pinjaman apa pun digunakan dalam kehidupan nyata, keakuratannya — dengan kata lain, kemampuannya untuk memprediksi gagal bayar dengan tepat — akan bervariasi karena perubahan populasi, ekonomi, dan faktor-faktor lainnya. Misalnya, model yang digunakan oleh para ahli kuantitatif Wall Street untuk memprediksi kinerja pinjaman hipotek pada tahun-tahun menjelang krisis hipotek gagal. Para ahli kuantitatif tidak mengantisipasi kecepatan dan kecerobohan yang akan dilakukan oleh pemberi pinjaman besar seperti Countrywide dalam memberikan pinjaman hipotek subprime untuk memenuhi permintaan perusahaan-perusahaan Wall Street yang mengemas pinjaman dan menjual sebagian dari kewajiban utang yang dijaminkan ini kepada investor, dan kehancuran yang terjadi ketika rumah kartu itu runtuh.

“Model akan gagal dan pada populasi yang berbeda, model tersebut akan sangat meleset,” kata Hayes. “Jika Anda bertindak seolah-olah metrik kinerja saat mengembangkan model adalah kebenaran, dan perbedaan setengah persen dalam metrik kinerja tersebut akan menjadi perbedaan antara menghasilkan laba dan tidak menghasilkan laba, Anda mungkin sedang membohongi diri sendiri.”

Namun, pemberi pinjaman memiliki kebutuhan bisnis yang sah untuk membuat model mereka seakurat mungkin, untuk menghindari peminjaman uang kepada orang yang tidak dapat membayar.

“Tidak ada indikasi bahwa regulator kehati-hatian merasa nyaman mengorbankan prediksi risiko kredit, keakuratan apakah seseorang akan gagal bayar atau tidak,” kata Hoopes. “Kami yang pernah mengalami krisis hipotek subprime ingat masalah, ‘Hei, kami bahkan tidak peduli apakah seseorang akan mampu membayar kembali pinjaman ini. Kami hanya mencoba untuk meningkatkan volume.'”

Pemberi pinjaman sudah menggunakan model yang akurasinya berfluktuasi, tetapi tetap memenuhi kebutuhan bisnis mereka, kata Hayes.

Ia ingin melihat regulator perbankan memberikan panduan tentang pertanyaan ini.

Bagi perusahaan besar yang memberikan pinjaman kepada ratusan ribu atau jutaan orang, “perbedaan kecil dalam hal kesenjangan yang ditimbulkannya dapat membuka banyak peluang bagi orang-orang yang tidak akan memiliki peluang tersebut,” kata Hayes.

Tidak ada tes yang ditentukan untuk kewajaran, kata Hoopes.

“Uji coba tradisional yang digunakan adalah rasio dampak buruk,” katanya. “Ada gagasan tentang, berapa persetujuan relatif Anda terhadap berbagai kelompok, tetapi tidak ada persyaratan bahwa kumpulan pelamar Anda yang sebenarnya harus mirip dengan Amerika. Jadi, satu pemberi pinjaman bisa sangat inklusif dan memiliki kumpulan pelamar yang sangat inklusif dan mereka dapat menyetujui lebih banyak peminjam kulit hitam dan Hispanik daripada pendekatan tradisional yang hanya menerima pelamar dari metrik skor kredit tradisional.”

Model pinjaman berbasis AI tampaknya lebih adil

Pemberi pinjaman yang menggunakan perangkat lunak pinjaman berbasis AI seperti Upstart dan Zest mengatakan mereka secara dramatis mengungguli model tradisional dalam hal keadilan dan akurasi.

Misalnya, para eksekutif di Verity Credit Union di Seattle mengatakan bahwa pada tahun ini mereka menggunakan model keputusan pinjaman berbasis AI dari Zest AI, mereka telah meningkatkan pinjaman kepada orang-orang berusia di atas 62 tahun sebesar 271%, mereka telah membuat 177% lebih banyak pinjaman kepada orang kulit hitam, persetujuan untuk wanita meningkat 194% dan pinjaman kepada peminjam Hispanik tumbuh 158%, namun tingkat kenakalan dan gagal bayar sejauh ini normal. Di antara semua pemberi pinjaman yang bekerja sama dengannya, Zest AI mengatakan perangkat lunaknya telah membantu meningkatkan persetujuan sebesar 49% untuk orang Latin, 41% untuk pemohon kulit hitam, 40% untuk wanita dan 36% untuk pemohon lanjut usia, semuanya sambil menjaga risiko tetap konstan.

Upstart mengatakan bahwa dibandingkan dengan model penjaminan emisi yang lebih tradisional, model berbasis AI-nya menyetujui 116% lebih banyak pelamar kulit hitam pada tingkat persentase tahunan yang 36% lebih rendah dan menyetujui 123% lebih banyak pelamar Hispanik pada APR yang 37% lebih rendah.

“Ada banyak sekali peluang untuk meningkatkan model tradisional baik dari segi keadilan maupun akurasi dengan menggunakan AI,” kata Hoopes. “Upstart, Zest, Fairplay, dan Stratyfy semuanya telah menerbitkan akses ke hasil kredit yang menunjukkan bahwa dengan menggunakan AI, pemberi pinjaman dapat meningkatkan model yang ada secara drastis pada kedua vektor ini.”

Seharusnya tidak ada pertentangan antara keadilan dan akurasi, kata Hoopes. “Jika Anda benar-benar masuk ke dalam situasi di mana Anda terlalu memprediksi gagal bayar untuk kelompok tertentu, maka itu merupakan sinyal bagus bahwa Anda perlu mencoba menemukan model yang lebih baik,” katanya.

Saleh berharap para pelaku industri dapat mencapai lebih banyak kesepakatan tentang bagaimana kewajaran dan keakuratan model keputusan pinjaman berbasis AI harus dievaluasi.

“Ini adalah pertanyaan utama yang menghambat alternatif yang kurang diskriminatif untuk benar-benar diproduksi,” katanya.