DeepSeek DeepInfer Açık Kaynak: Yapay Zeka Çıkarım Motoru Yayında

DeepSeek, modellerini üretimde çalıştırdığı yazılım katmanı DeepInfer çıkarım motorunu açık kaynak olarak yayımladı. Kod Apache 2.0 lisansıyla GitHub'da duruyor. İlk sürüm tek bir modeli, DeepSeek-V4.1-Flash'ı destekliyor; bu da yayının kapsamını baştan sınırlıyor.

Ne oldu?

Şirket duyuruyu X üzerinden yaptı ve DeepInfer'i kendi içinde kullandığı çıkarım çatısı olarak tanıttı. Lisans ticari kullanıma ve değiştirmeye izin veriyor. Desteklenen model listesi ise şimdilik tek satır: V4.1-Flash.

Çıkarım motoru neden önemli?

Büyük dil modellerinde maliyetin büyük kısmı eğitimde değil, günlük çıkarımda birikir. Aynı model ağırlıkları farklı bir motorda belirgin biçimde farklı hızda ve maliyette çalışabilir. Bu yüzden vLLM ve SGLang gibi projeler, modelin kendisi kadar rekabet unsuruna dönüştü. Bellek yönetimi, istek gruplama ve uzman karışımı (MoE) mimarilerinde yönlendirme gibi ayrıntılar fiyat-performansı belirliyor.

DeepSeek bu alanda yabancı değil. Şirket daha önce eğitim ve çıkarım altyapısındaki bazı bileşenleri paylaşmış, düşük API fiyatlarıyla pazarı sarsmıştı. O fiyatların arkasında sadece model mimarisi değil, MoE'ye göre ayarlanmış özel bir sunum yığını olduğu uzun süredir tahmin ediliyordu. DeepInfer, bu yığının ilk kez doğrudan incelenebilir hâli.

İkinci bağlam jeopolitik. Nvidia'ya erişimin kısıtlandığı bir ortamda Çinli laboratuvarlar, yazılım verimliliğiyle donanım eksiğini telafi etmeye çalışıyor. Çıkarım motoru bu stratejinin en somut katmanı: CUDA'ya bağımlılığı azaltan, farklı hızlandırıcılarda çalışabilen bir yığın, çip tedarikindeki belirsizliği yönetilebilir kılıyor.

Gerçekten kullanılabilir mi?

Tek model desteği, açık kaynağın pratik değerini sorgulatıyor. vLLM ve SGLang onlarca model ailesini destekliyor, geniş topluluk ve sürekli optimizasyon alıyor. DeepInfer ise şimdilik DeepSeek'in kendi modeline sıkı bağlı. Bu, genel amaçlı bir motordan çok, referans uygulama niteliği taşıyor.

Yine de sınırlı kapsamın değeri var. Mevcut motorlar DeepSeek modellerini genellikle üçüncü taraf uyarlamalarla çalıştırıyor. Resmî motorun hangi optimizasyonları kullandığını görmek, bu projelerin kendi kodlarına teknik fikir aktarmasını sağlayabilir. Kısa vadede en büyük etki muhtemelen DeepInfer'in kendisini kullanmaktan değil, ondan öğrenmekten gelecek.

Huawei çipleri ve Nvidia'dan bağımsız yığın

DeepInfer'in Huawei Ascend gibi yerli hızlandırıcılarda çalışıp çalışmayacağı açık değil; kaynak metin bunu doğrulamıyor. Ancak şirketin üretim yığınını yayımlaması, bu yönde bir uyum çalışmasının görünür hâle gelmesi için zemin hazırlıyor. Çin'in hedefi, model, çıkarım motoru ve çipin birlikte çalıştığı kapalı bir yerli döngü kurmak. Bu döngünün en zayıf halkası hâlâ üretim kapasitesi ve yazılım olgunluğu; DeepInfer yalnızca yazılım tarafını güçlendiriyor.

Sırada ne var?

Üç gelişme izlenmeli: Desteklenen model listesi genişleyecek mi, farklı donanım için arka uçlar eklenecek mi ve vLLM ile SGLang topluluğu DeepInfer'den teknik yöntem aktaracak mı. Bağımsız hız ve maliyet testleri de çıkmadan iddiaları ölçmek zor.

Değerlendirmem şu: DeepInfer bugün bir ürün değil, bir şeffaflık hamlesi. Gerçek etkisi, topluluğun kodu ne kadar hızlı genelleştirdiğine ve Çin'in donanım tarafında aynı tempoyu yakalayıp yakalayamadığına bağlı. Daha fazla bilgi için DeepSeek'in GitHub sayfasına bakılabilir.