Yapay Zekada Yorumlanabilirlik Tartışması: Sinir Ağlarına Yanlış mı Bakıyorduk?

Yapay zeka modellerinin içini anlamaya çalışan yorumlanabilirlik araştırmaları, son yılların en çok konuşulan iddialarından biriyle karşı karşıya. İddiaya göre sinir ağlarına yıllardır yanlış bir mercekle bakıyorduk. Bu doğruysa, yapay zeka güvenliğinin önemli bir kısmının dayandığı zemin yeniden tartışmaya açılacak.

Ne oldu?

Yorumlanabilirlik girişimi Goodfire'da çalışan Nick Cammarata, 26 bin kelimelik bir blog yazısı yayımladı. Yazı, «Sinir ağlarının doğası hakkında iyi haberlerim olduğunu düşünüyorum» cümlesiyle açılıyor. Kısa sürede alanda hem heyecanlı yorumlara hem de temkinli tepkilere yol açtı. Metin hakem değerlendirmesinden geçmiş bir makale değil; kişisel bir araştırma yazısı.

Neden önemli?

Bu iddianın ağırlığını anlamak için alanın son on yılına bakmak gerekiyor. Mekanistik yorumlanabilirlik, bir modelin çıktısını değil, o çıktıyı üreten iç hesaplamayı anlamayı hedefliyor. Cammarata bu alana yabancı değil. OpenAI'daki dönemde, görüntü modellerindeki nöronları ve devreleri inceleyen Circuits çalışmalarının yazarları arasındaydı. Yani iddia dışarıdan değil, yöntemi inşa edenlerin içinden geliyor.

Alanın bugünkü ana çerçevesini büyük ölçüde Anthropic çizdi. Şirketin 2022'deki süperpozisyon çalışması, tek bir nöronun birden fazla kavramı aynı anda temsil edebildiğini gösterdi. Buna göre model, nöron sayısından çok daha fazla kavramı üst üste bindirerek saklıyor. Ardından gelen seyrek otokodlayıcı (sparse autoencoder) çalışmaları, bu karışık sinyali ayrıştırıp okunabilir «özelliklere» (features) bölmeyi denedi. 2024'te Claude modelinde Golden Gate Köprüsü'ne karşılık gelen bir özelliğin bulunup güçlendirilmesi, yöntemin en bilinen vitrini oldu.

Goodfire da bu çizgide çalışan bir şirket. Bu yüzden «yanlış bakıyorduk» çıkışı, kendi araç setini de sorgulayan bir itiraf gibi okunabilir. Bu tür bir öz eleştiri, alanın olgunlaştığının işareti de olabilir.

Güvenlik yaklaşımlarına nasıl yansır?

Yorumlanabilirlik akademik bir merak değil. Laboratuvarların güvenlik planlarında, bir modelin aldatma veya tehlikeli bilgi üretme eğilimini içeriden tespit etme vaadi olarak yer alıyor. Bu vaadin temel varsayımı şu: model içindeki kavramlar ayrıştırılabilir, adlandırılabilir ve izlenebilir birimlerdir. Bu varsayım sarsılırsa, özellik tabanlı denetim araçlarının neyi ölçtüğü de belirsizleşir.

Öte yandan Cammarata yazısını «iyi haber» olarak sunuyor. Bu, modellerin iç yapısının sanıldığından daha düzenli ya da anlaşılır olabileceğine işaret ediyor olabilir. O durumda mesele mevcut araçları çöpe atmak değil, onları doğru soruya yöneltmek olur.

Sırada ne var?

Asıl test, bulguların başka ekiplerce tekrarlanıp tekrarlanamayacağı. Üç şey izlenmeli. Birincisi, iddianın farklı mimari ve ölçeklerde geçerli olup olmadığı. İkincisi, Anthropic, Google DeepMind ve OpenAI'ın yorumlanabilirlik ekiplerinin vereceği teknik yanıtlar. Üçüncüsü, iddianın ölçülebilir bir tahmine dönüşüp dönüşmediği; yani yeni çerçevenin eski yöntemin kaçırdığı bir şeyi gerçekten yakalayıp yakalamadığı.

Blog yazısıyla alanı sarsmak yapay zekada yeni değil. Hızlı ilerleyen bu alanda önemli fikirler sık sık hakem sürecini beklemeden dolaşıma giriyor. Bu hız tartışmayı canlandırıyor ama doğrulanmamış bir sezginin kısa sürede kabul görmüş bilgi gibi algılanması riskini de taşıyor.

Deneyimli bir araştırmacının kendi alanının varsayımlarını sorgulaması ciddiye alınmalı. Ancak bugün elimizde kanıtlanmış bir paradigma değişimi değil, test edilmeyi bekleyen güçlü bir hipotez var. Kutlama ya da panik için erken. Önümüzdeki aylarda gelecek tekrar çalışmaları belirleyici olacak.