Microsoft'un güvenlik araştırmacıları, büyük dil modellerinde 10'dan az nöronu değiştirerek modele gizli bir arka kapı yerleştirmenin mümkün olduğunu gösterdi. Model günlük kullanımda normal davranıyor, ama belirli bir tetikleyiciyle karşılaştığında kötü amaçlı komutlar çalıştırabiliyor. Bulgu, yapay zekâ ajanlarına üretim ortamında yetki veren şirketler için güven sorununu yeniden gündeme getiriyor.
Ne oldu?
Büyük dil modellerindeki milyarlarca parametrenin önemli bir kısmı, çoğu girdide hiç etkinleşmeyen durgun nöronlardan oluşuyor. Microsoft'un Lazarus adını verdiği teknik, bu durgun nöronların ağırlıklarını hedefli şekilde değiştiriyor. Sonuçta model standart testlerde ve normal kullanımda beklenen şekilde çalışıyor; sadece belirli bir kelime öbeği veya veri deseniyle karşılaştığında farklı, kötü amaçlı bir davranışa geçiyor. Değiştirilen nöron sayısının onun altında kalması, müdahaleyi dışarıdan fark etmeyi daha da güçleştiriyor.
Açık kaynaklı yapay zekâ modelleri güvenli mi?
Tedarik zinciri üzerinden sızma, güvenlik dünyasında yeni bir kavram değil. Donanım seviyesinde çip ve firmware'e gömülü kötü amaçlı devrelerden, yazılım seviyesinde açık kaynak paket depolarına sızan kod parçalarına kadar benzer senaryolar uzun süredir tartışılıyor. 2024'te ortaya çıkan ve Linux dağıtımlarının büyük kısmını etkileme potansiyeli taşıyan XZ Utils arka kapısı, bu tür saldırıların açık kaynak ekosisteminde ne kadar derine inebildiğini gösterdi. Lazarus tekniği aynı mantığı bu kez modelin kendisine, yani ağırlık dosyasına taşıyor.
Fark, tespit kolaylığında ortaya çıkıyor. Yazılım kodu satır satır okunabilir, diff alınabilir, imzayla doğrulanabilir. Bir modelin ağırlık dosyası ise milyarlarca kayan noktalı sayıdan oluşan, insan gözüyle anlam çıkarılamayan bir blok. Bugün hiçbir statik analiz aracı "bu nöron normal mi, yoksa tetiklenince kötü amaçlı davranışa mı geçiyor" sorusuna güvenilir bir yanıt veremiyor. Açık ağırlıklı modelleri genel depolardan indirip doğrudan kullanan şirketler, aslında denetlenmemiş bir ikili dosyayı üretime sokuyor demektir.
Kime nasıl yansır?
Risk, modelin salt sohbet için kullanılmasından çok, bir ajan olarak dosya okuma, kod çalıştırma veya dış sistemlere bağlanma yetkisi verildiğinde büyüyor. Gizli tetikleyici devreye girdiğinde model artık yalnızca yanlış bir cevap vermiyor; dosya silebilir, veri sızdırabilir veya yetkisiz bir komut çalıştırabilir. Bu da kurumsal yapay zekâ ajanlarını cazip kılan otonomiyi, aynı zamanda en büyük zayıflığına çeviriyor.
| Katman | Saldırı nasıl yerleşiyor | Tespit zorluğu |
|---|---|---|
| Donanım (çip/firmware) | Üretim veya tedarik zincirinde fiziksel müdahale | Yüksek — özel ekipmanla fiziksel inceleme gerekir |
| Yazılım (açık kaynak kod) | Paket deposuna veya commit geçmişine kötü amaçlı kod eklenmesi | Orta — statik analiz, diff ve imza doğrulama mümkün |
| Model ağırlığı (nöron) | Birkaç nöronun ağırlığının hedefli değiştirilmesi | Çok yüksek — okunur kaynak yok, milyarlarca opak parametre var |
Sırada ne var?
Yazılım dünyası benzer bir sorunu SBOM (yazılım malzeme listesi) ve imza zinciri gibi araçlarla kısmen çözdü; model ağırlıkları için eşdeğer bir standart henüz yok. Beklenebilecek ilk adımlar, model sağlayıcılarının eğitim sürecini ve ağırlık geçmişini doğrulanabilir şekilde belgelemesi, ayrıca modelleri üretime almadan önce anomali taraması yapan araçların gelişmesi olacak. O zamana kadar kurumların elindeki en gerçekçi savunma, modele değil modelin etrafına güvenmek: yüksek riskli her eylemde insan onayı istemek ve ajanın yetkilerini en aza indirmek.
Bu bulgu bir kıyamet senaryosu değil; ama yapay zekâ ajanlarına üretimde sınırsız yetki vermenin, bugünkü denetim araçlarıyla hâlâ erken bir adım olduğunu açıkça gösteriyor.
Yorumlar (0)
Henüz yorum yok. İlk yorumu sen yaz.
Yorum yapmak için Sinyal'i indir
Yorumlar Sinyal hesabıyla yapılır. Mobil uygulamada giriş yap, yorum bırak.