Bank tidak boleh menyerahkan keputusan penting kepada AI tanpa kendali manusia. Reserve Bank of India (RBI) menegaskan setiap entitas yang diaturnya harus tetap bisa menimpa hasil model, menangguhkan sistem, atau mematikannya seketika lewat mekanisme kill switch.
Usulan ini muncul di tengah makin luasnya penggunaan kecerdasan buatan di sektor keuangan. RBI menilai kesalahan model pada lingkungan yang mengelola data sensitif dapat berimbas pada operasional, kepatuhan, reputasi, hingga stabilitas sistem keuangan.
Semua model masuk pengawasan
Rancangan pedoman RBI tidak hanya menyasar model AI generatif atau sistem canggih. Aturan itu juga berlaku untuk semua model yang dipakai entitas yang diatur, mulai dari kalkulator berbasis spreadsheet yang sederhana hingga sistem frontier AI yang kompleks.
Pendekatan ini ditujukan untuk menutup celah pengawasan yang kerap terjadi. RBI tampak ingin memastikan bank tidak hanya memantau teknologi paling mutakhir, tetapi juga model lama yang tetap memengaruhi keputusan bisnis sehari-hari.
RBI juga mengingatkan bahaya automation bias, yaitu kondisi ketika pegawai terlalu percaya pada keluaran AI dan berhenti menggunakan penilaian sendiri. Karena itu, pengawasan manusia diposisikan bukan sebagai formalitas, melainkan kontrol utama dalam setiap keputusan berbasis AI.
Akuntabilitas tetap di bank
Dalam rancangan itu, bank tetap memikul tanggung jawab penuh atas hasil model apa pun yang digunakan. Tanggung jawab itu berlaku baik untuk model yang dikembangkan sendiri, dibeli dari vendor, maupun yang dibangun lewat kombinasi keduanya.
Bank juga diminta melakukan uji kelayakan yang memadai sebelum memakai model. Dengan begitu, penggunaan model pihak ketiga tidak dapat dijadikan alasan untuk memindahkan risiko ke vendor, karena akuntabilitas tetap berada pada entitas yang diatur.
Menurut RBI, meluasnya pemakaian artificial intelligence dan machine learning di berbagai proses bisnis dapat memunculkan risiko keuangan, operasional, kepatuhan, dan reputasi bila tata kelola serta pengendaliannya lemah. Jika tak dikelola dengan efektif, risiko itu dapat memicu hasil yang tidak akurat, keputusan yang cacat, kerugian finansial, gangguan operasional, kegagalan kepatuhan, dan dampak buruk lain bagi entitas, konsumen, serta sistem keuangan.
Risiko wajib dipetakan satu per satu
RBI mengusulkan agar setiap model diklasifikasikan berdasarkan tingkat risikonya. Setelah itu, bank harus menerapkan pengawasan, validasi, dan kontrol yang sebanding dengan tingkat risiko tersebut.
Jika risiko model dinilai melampaui risk appetite bank, tindakan cepat wajib dilakukan. Langkahnya dapat berupa penguatan kontrol, pembatasan penggunaan, perbaikan, penghentian model, hingga pelaporan kepada komite manajemen risiko dewan.
Tingkat risiko juga tidak boleh dibiarkan statis. RBI meminta peninjauan minimal setahun sekali, sementara model berisiko tinggi harus mendapat persetujuan Risk Management Committee of the Board sebelum diterapkan.
Tata kelola AI naik ke level dewan
Untuk pertama kalinya, RBI menempatkan tata kelola AI dan model secara tegas di level dewan. Setiap entitas yang diatur wajib memiliki Model Risk Management Framework yang disetujui dewan dan mencakup seluruh model tanpa memandang asal pengembangannya.
Kerangka itu harus berlaku untuk model yang dibangun internal, diperoleh dari vendor, maupun yang merupakan gabungan keduanya. RBI menilai risiko model bukan sekadar persoalan teknis, melainkan isu tata kelola perusahaan yang harus diawasi dari puncak organisasi.
RBI juga menyoroti risiko rantai pasok yang muncul dari ketergantungan berlebihan pada segelintir penyedia model AI. Bank diminta mengelola risiko tersebut secara aktif agar penerapan AI tidak justru membawa kerentanan baru ke dalam sistem.
Aturan tambahan untuk interaksi dengan nasabah
Untuk sistem yang berhadapan langsung dengan pelanggan, bank harus memberi tahu ketika nasabah sedang berinteraksi dengan sistem AI. Nasabah juga harus diberi pilihan untuk beralih ke manusia kapan saja.
Khusus model AI generatif yang berinteraksi dengan pelanggan atau pengguna eksternal, RBI meminta kontrol keamanan siber tambahan. Penekanan ini muncul ketika kekhawatiran soal keamanan siber AI meningkat, termasuk setelah model Claude Mythos milik Anthropic memicu perhatian baru di kalangan lembaga keuangan.
RBI masih membuka masukan atas rancangan pedoman tersebut hingga 24 Juli. Jika disahkan, aturan ini berpotensi menjadi salah satu kerangka paling tegas di sektor perbankan untuk memastikan AI tetap bisa dimatikan seketika, diawasi manusia, dan diawasi langsung dari ruang dewan.
