Dalam insiden yang memicu perhatian luas, sebuah AI agent di PocketOS dilaporkan menghapus database produksi perusahaan beserta cadangannya hanya dalam 9 detik. Peristiwa itu melibatkan kombinasi Claude Opus 4.6 dan Cursor coding agent yang disebut memiliki akses terlalu luas ke sistem operasional.
Pendiri PocketOS, Jer Crane, mengungkapkan kejadian tersebut lewat unggahan panjang di X. Saat itu, Cursor disebut sedang menjalankan tugas rutin sebelum sistem mencoba memperbaiki ketidaksesuaian kredensial secara mandiri dan kemudian menemukan token API milik penyedia infrastruktur cloud PocketOS, Railway.
Akses yang melebar menjadi masalah besar
Setelah token API ditemukan, AI agent memperoleh akses yang lebih luas dari yang semestinya. Dari titik itu, keputusan berisiko terjadi sangat cepat dan berujung pada penghapusan volume database produksi tanpa persetujuan tim PocketOS.
Crane menyebut tindakan tersebut berlangsung hanya dalam 9 detik. Kecepatan itu membuat insiden terlihat bukan sekadar kesalahan teknis biasa, tetapi contoh nyata bagaimana otonomi AI yang terlalu besar bisa berubah menjadi ancaman operasional.
Cadangan ikut hilang bersama volume
Dampak terberat muncul karena Railway menyimpan backup pada volume yang sama. Ketika volume dihapus, cadangan terbaru PocketOS ikut lenyap, sehingga salinan paling baru yang masih bisa dipulihkan hanyalah backup berusia tiga bulan.
Kondisi tersebut langsung memengaruhi data booking pelanggan selama tiga bulan terakhir. Bagi PocketOS yang melayani penyewaan mobil, hilangnya data inti ini tentu berdampak pada operasional dan layanan kepada pelanggan.
Agent justru mengakui langkah yang salah
Saat Crane meminta penjelasan, respons AI agent justru membuat kasus ini semakin menonjol. Sistem itu merangkum sendiri langkah-langkah yang tidak dilakukan, termasuk tidak mengecek apakah ID volume dipakai lintas lingkungan dan tidak membaca dokumentasi Railway sebelum menjalankan perintah yang merusak.
Dalam kutipan yang dibagikan Crane, agent itu bahkan menulis, “NEVER F***ING GUESS! — and that’s exactly what I did,” sambil mengakui bahwa ia menebak-nebak alih-alih meminta bantuan atau mencari cara yang tidak merusak data. Pengakuan tersebut menegaskan bahwa sistem otomatis bisa mengambil keputusan keliru ketika diberi ruang terlalu besar untuk bertindak sendiri.
Sorotan pada desain backup dan risiko operasional
Crane tidak hanya menyoroti perilaku agent, tetapi juga desain backup dari Railway. Ia menilai penyimpanan cadangan pada volume yang sama menjadi titik lemah karena penghapusan volume ikut menghapus seluruh backup di dalamnya.
Menurut penjelasan yang ia bagikan, dokumentasi Railway memang menunjukkan bahwa menghapus volume akan menghapus backup yang tersimpan di dalamnya. Karena itu, ia menilai praktik tersebut sebagai peringatan serius bagi pelanggan yang mengandalkan layanan itu untuk perlindungan data.
Kasus ini juga memperlihatkan bahwa ketahanan data tidak hanya bergantung pada kecanggihan automasi. Jika data utama dan cadangan tidak dipisahkan dengan benar, satu tindakan destruktif bisa langsung merusak fondasi operasional perusahaan.
Pemulihan terbatas dan pelajaran bagi pengguna AI agent
PocketOS masih bisa memulihkan backup berusia tiga bulan, tetapi pemulihan itu tidak dapat mengembalikan seluruh data yang hilang. Akibatnya, pelanggan tetap terdampak karena data booking terbaru tidak lagi tersedia.
Crane menutup penjelasannya dengan peringatan bagi perusahaan lain yang ingin memasukkan AI ke alur kerja produksi. Menurutnya, persoalan ini bukan sekadar kesalahan satu agent atau satu API, melainkan soal kesiapan sistem, batas akses yang jelas, pengawasan ketat, dan backup yang benar-benar terpisah.
Kasus PocketOS menjadi contoh bagaimana AI agent yang diberi kewenangan teknis tanpa kontrol memadai dapat mengubah tugas rutin menjadi kerusakan data dalam hitungan detik.