Lapisan infrastruktur AI sedang bergerak cepat, dan perubahan paling terasa justru muncul di titik yang selama ini jarang disorot. Samsung, Kioxia, dan Peak:AIO menunjukkan bahwa mesin AI tidak hanya bergantung pada GPU, tetapi juga pada memori berkecepatan tinggi, penyimpanan yang tangguh, dan metadata yang mampu mengikuti laju data.
Di bagian yang paling dekat dengan komputasi, Samsung telah mulai mengirim sampel HBM4E 12-layer ke pelanggan global utama. Langkah ini menempatkan generasi berikutnya lebih cepat masuk ke tahap pengujian pelanggan setelah perusahaan memulai produksi massal HBM4 lebih awal tahun ini.
HBM4E Samsung mengejar bandwidth yang lebih besar
HBM atau High Bandwidth Memory menyusun die DRAM secara vertikal dengan konektivitas paralel besar agar aliran data ke GPU dan prosesor domain-specific tetap kencang. Teknologi ini menjadi bagian penting dari arsitektur chiplet yang menopang pelatihan dan inferensi AI.
Samsung menyebut HBM4E memiliki kecepatan pin stabil 14 gigabit per detik, dengan performa yang bisa ditingkatkan sampai 16Gbps. Bandwidth per stack diklaim mencapai 3,6 terabyte per detik, atau lebih dari 20 persen di atas HBM4.
Varian 12-layer juga disebut membawa kapasitas 48GB, naik lebih dari 30 persen dibanding generasi sebelumnya. Samsung menyiapkan pula lini 32GB dengan 8-layer dan 64GB dengan 16-layer untuk menyesuaikan kebutuhan pelanggan.
Kondisi pasar ikut mendorong agresivitas itu. Samsung menyebut permintaan HBM masih tinggi, sementara kapasitas produksi belum mencukupi, sehingga harga tetap tinggi dan pelanggan besar seperti hyperscale data center mengamankan pasokan lewat kontrak jangka panjang.
Kioxia membawa SSD ke pusat data dan luar angkasa
Di ajang HPE Discover, Kioxia menonjolkan penggunaan SSD mereka untuk komputasi di darat dan berbasis luar angkasa. Perusahaan itu juga akan menampilkan produk PCIe 5.0 Enterprise dan Datacenter, EDSFF, serta 24G SAS atau SAS-4.
Kioxia menyebut lini tersebut menawarkan performa lebih tinggi, densitas penyimpanan lebih besar, dan efisiensi daya yang lebih baik dibanding generasi sebelumnya. SSD Kioxia juga sudah dipakai di berbagai platform HPE, mulai dari server enterprise, digital storage, mobile computing, hingga lingkungan modern data center.
Fokus lain Kioxia adalah kontribusinya pada misi Spaceborne Computing milik HPE. Inisiatif ini mencakup proyek di International Space Station dan rencana eksplorasi bulan di masa depan.
Penggunaan SSD di ISS menunjukkan bahwa penyimpanan enterprise kini dituntut tidak hanya cepat dan lega, tetapi juga tahan dalam kondisi yang jauh lebih ekstrem. Dari pusat data hingga ruang angkasa, standar yang dibawa vendor storage dan pembuat server tampak makin menyatu.
Peak:AIO dan Los Alamos menyorot sisi yang sering tertinggal
Di sisi perangkat lunak storage, Peak:AIO dan Los Alamos National Laboratory meluncurkan Lattice pada konferensi IEEE International Conference on Massive Storage Systems and Technology. Lattice adalah server metadata pNFS open-source yang dirancang untuk mengatasi hambatan yang lama membayangi infrastruktur AI dan high-performance computing.
Peak:AIO menyebut beban kerja AI menuntut akses paralel yang sangat cepat, terus-menerus, dan andal ke dataset besar. Perusahaan itu menilai GPU memang berkembang pesat, tetapi lapisan storage yang memberi makan GPU, terutama arsitektur metadata yang mengoordinasikannya, belum bergerak secepat itu.
Perusahaan juga mengutip angka rata-rata utilisasi GPU sebesar 5 persen di 23.000 production cluster dari Cast AI. Dalam pandangan mereka, masalah utamanya bukan pada GPU, melainkan pada perangkat lunak yang tidak mampu mengikuti kebutuhan data di belakangnya.
Lattice dibangun sebagai metadata server berbasis Linux di user space dengan penekanan pada skala, modularitas, dan koordinasi terdistribusi. Proyek ini bersifat open-source, didukung komunitas, dan diluncurkan di bawah Linux Foundation.
Arsitekturnya membagi control plane metadata ke dalam empat lapisan, yaitu Protocol State Plane, Lattice Core, MD Catalog Authority, dan Data Server Control Plane. Desain ini membuat layanan metadata bisa bersifat elastis, berjalan di hardware komoditas, dan berkembang dari satu server hingga lebih dari 1.000 metadata server.
Jika Samsung menekan batas kecepatan memori dan Kioxia mendorong storage ke pusat data serta ruang angkasa, Peak:AIO bersama Los Alamos menegaskan bahwa metadata kini ikut menentukan apakah infrastruktur AI benar-benar bisa memanfaatkan daya komputasi yang sudah dipasang.
