Google ve Amazon, PyTorch Üzerinden Nvidia GPU Bağımlılığını Kırmaya Çalışıyor

Google, Amazon'un ardından PyTorch kullanan geliştiricilerin uygulamalarını Nvidia GPU'larından kendi çiplerine taşımasını kolaylaştıran bir araç yayımladı. Hamle, yapay zeka çip rekabetinin donanımdan yazılım katmanına kaydığını gösteriyor. Nvidia'nın savunması da artık işlemci hızından çok CUDA ekosistemine dayanıyor.

Ne oldu?

İki bulut devi de aynı yaklaşımı izliyor: PyTorch ile yazılmış bir modeli, kodu baştan yazdırmadan kendi hızlandırıcılarında çalıştırmak. Google tarafında hedef TPU'lar, Amazon tarafında Trainium ve Inferentia çipleri. Araçların amacı geçiş sürtünmesini düşürmek. Çipin kâğıt üzerindeki performansı bu hamlede ikinci planda kalıyor.

Neden önemli?

Nvidia'nın pazar hâkimiyeti çoğu zaman çiplerin üstünlüğüyle açıklanır. Oysa asıl kilit, on yılı aşkın süredir birikmiş CUDA kütüphaneleri, derleyici araçları ve geliştirici alışkanlığıdır. Bir mühendis modelini CUDA için optimize etmişse, başka çipe geçmek yalnızca dosya taşımak anlamına gelmez. Özel çekirdekleri (kernel) yeniden yazmak, hata ayıklama alışkanlıklarını değiştirmek ve performans davranışını yeniden öğrenmek gerekir. Bu maliyet, rakip çipin fiyat avantajını çoğu zaman siler.

Bu yüzden TPU ve Trainium'un fiyat/performans iddiaları şimdiye kadar sınırlı karşılık buldu. Google TPU'ları kendi iç iş yüklerinde ve birkaç büyük müşteride ciddi ölçekte kullandı, ancak genel geliştirici kitlesi için yazılım katmanı hep daha zahmetliydi. Amazon da Trainium'u benzer bir engelle karşılaştı. İki şirketin PyTorch katmanında çözüm aramasının nedeni açık: PyTorch, araştırma ve uygulama dünyasında fiili standart. Geliştirici zaten PyTorch yazıyorsa, altındaki donanımı değiştirmek tek satırlık bir karar olmalı.

AMD'nin ROCm girişimi aynı sorunu yıllarca yaşadı. Donanım rekabetçi olsa da yazılım desteği tutarsızdı. Bazı kütüphaneler geç geliyor, belirli işlemler yavaş çalışıyor, belgeler eksik kalıyordu. AMD ayrıca tek başına bir çip satıcısıydı. Geliştiriciyi taşıyacak bir bulut platformu, fatura ilişkisi ve hazır müşteri tabanı yoktu.

Hiperölçekli bulut şirketlerinin konumu burada farklı. Hem çipi hem platformu hem de müşteri ilişkisini elinde tutuyorlar. Taşıma aracını yönetilen servislere, kredilere ve fiyat teşviklerine bağlayabilirler. Ayrıca Nvidia'nın en büyük müşterileri onlar. Alternatif çip, pazarlıkta da koz olarak işe yarıyor.

Ne değişiyor?

Geçiş maliyeti düşerse karar mantığı değişir. Bugün bir startup'ın GPU seçimi çoğunlukla "herkes CUDA kullanıyor" refleksine dayanıyor. Taşıma aracı olgunlaşırsa seçim, birim token veya eğitim saati maliyeti gibi ölçülebilir bir kritere dönüşebilir. Bu, özellikle çıkarım (inference) tarafında etkili olabilir. Çıkarım iş yükleri daha öngörülebilir ve daha az özelleşmiş olduğu için taşınması eğitimden kolay.

Yine de temkinli olmak gerekir. "Kodu değiştirmeden taşı" vaadi, basit modellerde çalışır. Özel çekirdekler, ince ayarlı performans optimizasyonları veya yeni mimariler söz konusu olduğunda uyumluluk boşlukları çıkması muhtemel. Taşıma kolaylaşsa bile ilk sürümde performans kaybı ya da eksik operatör desteği yaşanabilir. Bu araçların başarısı reklam sayfasındaki demoya değil, gerçek üretim iş yüklerindeki istikrara bağlı.

Nvidia da boş durmuyor. Kendi yazılım yığınını, kütüphanelerini ve bulut ortaklıklarını güçlendirmeye devam ediyor. Ayrıca en yeni çipleri her zaman önce kendi ekosistemine sunma avantajı var.

Sırada ne var?

İzlenecek üç şey var. Birincisi, bağımsız geliştiricilerin gerçek projelerde bu araçlarla ne kadar performans kaybı yaşadığı. İkincisi, Microsoft ve Meta gibi diğer büyük oyuncuların benzer katmanlara yatırım yapıp yapmayacağı. Üçüncüsü, PyTorch topluluğunun donanım bağımsız derleyici çalışmalarının hız kazanıp kazanmadığı.

Benim değerlendirmem şu: Nvidia'nın liderliği yakın vadede tehlikede değil, ama pazarlık gücü aşınıyor. Bulut şirketleri geçiş maliyetini düşürerek GPU'yu tek seçenek olmaktan çıkarıyor. Bu da fiyatlar üzerinde, çipler üzerinden olduğundan daha kalıcı bir baskı yaratabilir. Daha fazla bilgi için PyTorch'un resmi sitesine bakılabilir.