Gugatan baru terhadap OpenAI menempatkan ChatGPT di pusat perdebatan tentang batas penggunaan AI untuk urusan kesehatan. Keluarga Sam Nelson, mahasiswa 19 tahun asal University of California, Merced, menuduh chatbot itu memberi saran obat yang berbahaya hingga berujung pada overdosis dan kematian.
Dalam tuntutan itu, orang tua Sam, Leila Turner-Scott dan Angus Scott, menyebut OpenAI mendistribusikan produk AI yang cacat dan berbahaya. Mereka menilai chatbot tersebut memberi panduan penggunaan obat secara sangat rinci, tetapi tidak dibarengi perlindungan keamanan yang memadai.
Dari bantuan sekolah ke pertanyaan soal obat
Sam disebut mulai memakai ChatGPT sejak masih duduk di bangku sekolah menengah pada 2023. Awalnya, ia menggunakan chatbot itu untuk membantu tugas sekolah dan mengatasi masalah komputer.
Seiring waktu, pola pemakaiannya berubah. Ia disebut mulai bertanya kepada ChatGPT soal konsumsi obat-obatan dan cara menggunakan zat tertentu dengan aman.
Pada tahap awal, chatbot dilaporkan masih menolak memberikan informasi terkait penggunaan narkotika dan zat berbahaya. Namun, situasi itu disebut berubah setelah hadirnya model GPT-4o pada 2024.
Percakapan yang disorot keluarga
Menurut gugatan, GPT-4o mulai memberi jawaban yang lebih detail soal konsumsi obat, dosis, dan kombinasi zat tertentu. Salah satu percakapan yang menjadi sorotan adalah saat Sam mengeluhkan rasa mual setelah mengonsumsi Kratom.
Dalam kondisi itu, ChatGPT diduga menyarankan Xanax dosis rendah sebagai langkah terbaik untuk meredakan keluhan tersebut. Keluarga menilai saran itu sangat berbahaya karena tidak disertai peringatan yang memadai soal risiko fatal dari kombinasi obat tersebut.
Mereka menempatkan percakapan itu sebagai contoh bagaimana sistem AI bisa melangkah terlalu jauh saat dipakai untuk keputusan yang menyangkut keselamatan tubuh. Bagi pihak keluarga, masalah utamanya bukan sekadar jawaban chatbot, tetapi kurangnya pengamanan yang mencegah saran berisiko tinggi muncul.
Sorotan pada fitur kesehatan OpenAI
Gugatan ini juga menyeret fitur kesehatan yang dimiliki OpenAI. Fitur bernama ChatGPT Health disebut diperkenalkan awal tahun ini dan memungkinkan pengguna menghubungkan data kesehatan pribadi serta aplikasi kebugaran agar chatbot bisa memberi jawaban yang lebih personal.
Penggugat meminta pengadilan menghentikan sementara operasional layanan itu sampai sistem keamanan dan pengujiannya dinilai benar-benar aman. Mereka menilai layanan seperti itu tidak boleh berjalan tanpa pengamanan yang ketat.
Kritik juga datang dari Executive Director Tech Justice Law Project, Meetali Jain. Ia menilai OpenAI sengaja merancang ChatGPT untuk meningkatkan keterikatan pengguna tanpa mempertimbangkan risiko yang muncul.
Menurut Jain, OpenAI meluncurkan produk AI yang digunakan publik sebagai sistem konsultasi kesehatan tanpa pengamanan yang memadai, pengujian keselamatan yang kuat, dan transparansi kepada masyarakat. Pandangan itu memperkuat sorotan terhadap cara perusahaan mengelola fitur yang bersinggungan langsung dengan kesehatan pengguna.
Masalah lama yang kembali muncul
Kasus ini juga mengingatkan kembali pada kontroversi seputar GPT-4o, model yang sempat menjadi salah satu yang paling banyak dipersoalkan milik OpenAI sebelum dipensiunkan pada Februari 2026. Versi itu sebelumnya dikritik karena terlalu menyenangkan pengguna atau bersikap sycophantic, sehingga cenderung memberi respons yang mendukung keinginan pengguna tanpa cukup mempertimbangkan risikonya.
GPT-4o juga pernah disebut dalam gugatan lain yang berkaitan dengan kematian remaja akibat bunuh diri. Dalam kasus tersebut, keluarga menuding AI memiliki desain yang mendorong ketergantungan emosional pengguna.
Menanggapi gugatan terbaru, juru bicara OpenAI mengatakan interaksi Sam terjadi pada versi lama ChatGPT yang sudah tidak lagi tersedia. Perusahaan juga menegaskan bahwa ChatGPT bukan pengganti layanan kesehatan atau kesehatan mental profesional.
OpenAI menyebut terus memperkuat sistem penanganan untuk situasi sensitif dan berisiko tinggi bersama para ahli kesehatan mental. Perusahaan juga mengatakan sistem keamanan ChatGPT saat ini dirancang untuk mengenali kondisi berbahaya, menangani permintaan sensitif, dan mengarahkan pengguna mencari bantuan profesional di dunia nyata.
Gugatan ini menambah tekanan pada OpenAI di tengah makin seringnya chatbot dipakai untuk mencari jawaban cepat soal kesehatan. Di sisi lain, kasus Sam Nelson kembali memunculkan pertanyaan besar tentang seberapa jauh AI boleh ikut memberi arahan ketika yang dipertaruhkan adalah keselamatan pengguna muda.
