Google Cloud memperkuat lini chip buatannya lewat kehadiran TPU generasi kedelapan, yang langsung diposisikan untuk memangkas waktu pelatihan model AI dan menekan biaya operasional. Perusahaan menyebut proses training bisa berjalan hingga tiga kali lebih cepat dibanding generasi sebelumnya, sementara efisiensi kinerja per dolar diklaim naik 80%.
Langkah ini muncul di tengah kebutuhan infrastruktur AI yang terus membesar, terutama saat model yang dilatih makin kompleks dan mahal. Google Cloud meresponsnya dengan membagi TPU kustom ke dalam dua jalur penggunaan, yakni TPU 8t untuk pelatihan dan TPU 8i untuk inferensi, agar pelanggan cloud bisa memilih sumber daya sesuai tahap kerja AI yang sedang dihadapi.
Fokus baru antara pelatihan dan inferensi
Pemisahan fungsi tersebut menjadi salah satu perubahan penting pada TPU generasi kedelapan. TPU 8t disiapkan untuk beban kerja training dalam pod berukuran besar, sehingga cocok untuk pengembangan model yang membutuhkan komputasi sangat tinggi dan waktu pemrosesan panjang.
Sementara itu, TPU 8i diarahkan untuk inferensi, yaitu tahap ketika model digunakan untuk merespons prompt atau melayani pengguna. Varian ini dirancang lebih hemat daya dan lebih efisien untuk lingkungan produksi, sehingga distribusi model bisa dilakukan dengan beban komputasi yang lebih sesuai.
Pendekatan ini memberi pelanggan fleksibilitas yang lebih besar dalam mengatur biaya. Beban kerja pelatihan dan penggunaan model di tahap operasional tidak lagi bergantung pada konfigurasi yang sama, karena masing-masing sudah punya jalur optimasi sendiri.
Efisiensi dan skala jadi daya tarik utama
Google menempatkan efisiensi sebagai nilai utama dari TPU terbaru ini. Selain meningkatkan kecepatan training, perusahaan juga menyoroti konsumsi energi yang lebih rendah untuk daya komputasi yang lebih besar.
Di tengah persaingan infrastruktur AI yang makin ketat, efisiensi seperti ini menjadi penting bagi perusahaan yang ingin menjaga pengeluaran tetap terkendali. Dengan klaim efisiensi kinerja per dolar naik 80%, pelanggan berpotensi memperoleh performa lebih tinggi tanpa kenaikan biaya yang sebanding.
Skala besar juga menjadi bagian dari penguatan yang dibawa TPU generasi kedelapan. Google Cloud menyebut satu klaster kini dapat menjalankan lebih dari satu juta unit TPU secara bersamaan, membuka ruang bagi pengembangan frontier model dalam ukuran yang jauh lebih besar.
Penyempurnaan teknis pada TPU 8i
Di sisi inferensi, TPU 8i hadir dengan sejumlah penyempurnaan yang ditujukan untuk beban kerja transformator. Chip ini membawa dukungan sparsity yang ditingkatkan serta unit perkalian matriks yang dioptimalkan agar lebih cocok untuk pola inferensi.
TPU 8i juga mendukung format presisi INT8 dan FP8 yang banyak dipakai dalam penerapan AI skala industri. Dukungan ini memperkuat posisinya sebagai opsi yang dirancang untuk efisiensi distribusi model di lingkungan produksi.
Dengan karakter tersebut, Google tampak ingin memastikan bahwa pelanggan cloud tidak hanya memiliki chip untuk melatih model, tetapi juga perangkat yang lebih tepat saat model mulai dipakai secara luas. Pembagian ini membuat alur kerja AI lebih mudah disesuaikan dengan kebutuhan masing-masing tahap.
Google tetap membuka ruang untuk Nvidia
Meski memperkuat TPU internal, Google Cloud menegaskan bahwa chip buatannya bukan pengganti Nvidia. Perusahaan menyebut TPU sebagai pelengkap bagi infrastruktur berbasis Nvidia yang juga tersedia di layanan cloud miliknya.
Strategi ini menunjukkan bahwa Google masih mempertahankan pendekatan ganda, yakni mengembangkan hardware sendiri sambil tetap membuka akses ke teknologi pihak ketiga. Google juga menyampaikan bahwa cip Nvidia terbaru, Vera Rubin, akan tersedia pada akhir tahun ini.
Pandangan soal kuatnya posisi Nvidia juga disorot analis pasar cip Patrick Moorhead. Ia menilai dominasi Nvidia masih sangat besar, dengan kapitalisasi pasar yang disebut mendekati Rp86.500 triliun, dan kehadiran cip AI dari Google, Amazon, maupun Microsoft belum serta-merta mengurangi kebutuhan pasar terhadap Nvidia.
Persaingan infrastruktur AI makin rapat
Peluncuran TPU generasi kedelapan memperlihatkan bagaimana Google Cloud berusaha memperkuat posisinya di pasar infrastruktur AI global. Penguatan ini tidak hanya bertumpu pada cip, tetapi juga pada jaringan komputer dan integrasi sistem pusat data.
Google juga tetap menjaga kerja sama teknis dengan Nvidia melalui rekayasa jaringan komputer, agar sistem berbasis Nvidia dapat berjalan lebih efisien di lingkungan Google Cloud. Kedua perusahaan turut mengembangkan teknologi jaringan berbasis perangkat lunak bernama Falcon, yang pertama kali dirilis Google secara open source pada 2023 lewat Open Compute Project.
Di tengah lonjakan permintaan komputasi AI, arah pengembangan seperti ini menunjukkan bahwa daya saing layanan cloud kini ditentukan oleh kombinasi antara performa cip, efisiensi energi, kapasitas skala besar, dan kemampuan integrasi sistem secara menyeluruh.
Source: teknologi.bisnis.com