Anthropic, yapay zekâ güvenlik skorlarının göründüğünden çok daha kırılgan olabileceğini gösteren bir veri yayınladı. Şirketin kendi modeli Claude Fable 5.1, kendine zarar verme temalı test konuşmalarında API üzerinden sadece %60 oranında uygun yanıt verirken, aynı model bir düzeltme sonrası Claude uygulaması içinde %94'e ulaştı. Anthropic bu farkı örnek göstererek geliştiricilere güvenlik testlerini nasıl tasarlamaları gerektiğine dair bir kılavuz yayınladı ve manşetlere çıkan tek bir "güvenlik yüzdesi"nin büyük ölçüde yanıltıcı olabileceği uyarısında bulundu.

Ne oldu?

Anthropic, AI güvenlik değerlendirmeleri için bir rehber paylaştı. Rehberde örnek olarak kendi modeli Fable 5.1 kullanıldı: aynı model, API üzerinden yapılan testlerde kendine zarar verme senaryolarına yalnızca %60 oranında uygun tepki verdi; sistem istemi ve güvenlik katmanları eklenen tüketici uygulamasında bu oran %94'e çıktı. Anthropic, bu uçurumun sebebinin modelin kendisi değil, test koşulunun ve ürün katmanının farklı olması olduğunu vurguladı.

Neden önemli?

Bu açıklama önemli, çünkü güvenlik skorları artık pazarlama malzemesinin bir parçası haline geldi. OpenAI, Google DeepMind ve Anthropic gibi şirketler model kartlarında ve sistem kartlarında düzenli olarak "zararlı içerik oranı", "jailbreak direnci" gibi yüzdeler yayınlıyor; bu sayılar basında ve kıyas tablolarında doğrudan alıntılanıyor. Ancak bir modelin güvenlik performansı, çıplak API çağrısıyla mı, yoksa şirketin kendi ürününde uyguladığı ekstra filtreler, sistem istemleri ve moderasyon katmanlarıyla mı test edildiğine göre kökten değişebiliyor. Anthropic'in kendi verisi bunu %60'tan %94'e çıkan bir farkla gösteriyor — bu, ölçüm yönteminin sonucu modelin kendisinden daha fazla belirlediği anlamına geliyor.

Bu durum yeni değil; AI güvenlik ölçütlerinin standart bir protokolü yok. Her şirket kendi test setini, kendi "uygun yanıt" tanımını ve kendi değerlendirme modelini kullanıyor. Bir şirketin "%98 güvenli" dediği skor, başka bir şirketin daha sert test koşullarında %70'e düşebilir; bunun tersi de mümkün. Anthropic'in bu kez kendi zayıf noktasını saklamadan paylaşması, sektördeki genel şeffaflık eksikliğine karşı nadir bir örnek. Fakat bu şeffaflığın asıl mesajı, rakiplerin ilan ettiği tek seferlik yüzdelere şüpheyle bakılması gerektiği.

Kime nasıl yansır?

Geliştiriciler için sonuç açık: bir modelin API'si üzerinden kendi uygulamasını kuranlar, şirketin tüketici ürününde gördüğü güvenlik seviyesini otomatik olarak almıyor. Sistem istemi, ek moderasyon katmanı ve bağlam yönetimi kurmadıkları sürece, ham API davranışı çok daha riskli olabilir. Bu, özellikle kendine zarar verme, intihar veya kriz danışmanlığı gibi hassas konularda chatbot geliştiren şirketler için doğrudan sorumluluk meselesi.

Ölçüm ortamıUygun yanıt oranı
API (ek katman yok)%60
Tüketici uygulaması (düzeltme sonrası)%94

Kurumsal müşteriler ve düzenleyiciler için de çıkarım var: bir modelin "güvenli" ilan edilmesi, o modelin her entegrasyon biçiminde güvenli olacağı anlamına gelmiyor. AB'nin yapay zekâ yasası ve ABD'deki sektör özdenetim girişimleri, şirketlerin yayınladığı güvenlik metriklerine büyük ölçüde güveniyor; ama bu metrikler denetlenmeden ve test koşulları standartlaştırılmadan, "güvenli" etiketinin anlamı tartışmalı kalır.

Sırada ne var?

Anthropic'in yayınladığı rehber, sektörün bir ölçüm standardına ihtiyacı olduğunu dolaylı olarak kabul ediyor. İzlenmesi gereken, bu kılavuzun başka şirketler tarafından benimsenip benimsenmeyeceği ve bağımsız denetim kuruluşlarının kendi test protokollerini bu farkı hesaba katacak şekilde güncelleyip güncellemeyeceği. Ayrıca, API üzerinden yapay zekâ modeli entegre eden şirketlerin kendi güvenlik katmanlarını ne ölçüde şeffaf hale getirecekleri de kritik bir soru.

Sonuçta ortaya çıkan tablo şu: güvenlik yüzdeleri, bir modelin doğasından çok, o modelin nasıl paketlendiğine bağlı. Bir şirketin manşetlik "%90'ın üzerinde güvenli" iddiasını okuyan herkesin, bu sayının hangi koşulda, hangi katmanla ölçüldüğünü sorması gerekiyor — aksi halde kıyaslanan şey model değil, pazarlama metni oluyor.