ABD'nin Maryland eyaletinde bir lisede kullanılan yapay zekâ destekli silah tespit sistemi, bir öğrencinin elindeki Doritos paketini tabanca olarak işaretledi. Sistemin ürettiği alarm, polisin dört öğrenciyi silah zoruyla yere yatırıp kelepçelemesiyle sonuçlandı. Öğrenciler bir yıl sonra yazılım şirketini, okul idaresini ve polisi birlikte dava ediyor.
Ne oldu?
Baltimore County'deki olayda, okulun güvenlik kameralarına bağlı Omnilert imzalı görüntü analiz sistemi bir öğrencinin cips paketini silah olarak sınıflandırdı. Alarmın ardından harekete geçen polis, mevcut ve eski dört öğrenciyi kelepçeleyip gözaltına aldı; öğrenciler "hayatlarından korktuklarını" söylüyor. Dava dilekçesi Omnilert'i, Baltimore County polisini, okul yönetim kurulunu, ilgili memurları ve okul müdürünü hedef alıyor; hukuksuz gözaltı ve arama iddiasıyla açıldı.
Neden önemli?
Okullarda kamera görüntüsünden silah tespit eden yapay zekâ sistemleri, ABD'de art arda yaşanan okul saldırılarının ardından hızla yaygınlaştı. Omnilert, Evolv Technology ve ZeroEyes gibi şirketler, okul yönetimlerine "gerçek zamanlı tehdit tespiti" vaat ederek sözleşme imzalattı. Satış argümanı basit: kamera görüntüsünü sürekli tarayan bir model, insan gözünün kaçırabileceği bir tehlikeyi saniyeler içinde yakalar.
Sorun, bu modellerin eğitim verisiyle sınırlı olması. Nesne tanıma sistemleri silahı şekil, renk ve kontur üzerinden öğrenir; bu da elinde telefon, uzaktan kumanda ya da parlak ambalajlı bir cips paketi tutan birini yanlışlıkla "silahlı" diye işaretlemesine yol açabilir. Vakanın asıl can alıcı noktası ise satıcı şirketlerin güvence olarak sunduğu "insan onayı" katmanının burada işe yaramamış olması. Sistem tasarımı, alarmı bir operatörün gözden geçirip onaylamasını veya reddetmesini öngörüyor. Ama gerçek bir silah kaçırma riskinin bedeli -yaralanma, ölüm, dava- operatör için o kadar ağır ki, şüpheli her görüntüde eskale etmek rasyonel bir refleks hâline geliyor. Sonuç, insan onayının fiili bir veto değil, otomatik bir damga haline gelmesi.
Sorumluluk kimde?
Bu tür olaylarda sorumluluk üç tarafa dağılıyor ve her taraf diğerini işaret ediyor. Yazılım şirketi genelde sözleşmede sistemi "karar destek aracı" olarak tanımlar, nihai kararın insanlara ait olduğunu vurgular. Okul idaresi, satıcının belirlediği protokolü uyguladığını savunur. Polis ise alarmı makul şüphe kabul edip harekete geçtiğini öne sürer. Mağdur taraf, yani öğrenciler, bu üçgenin ortasında kalıyor.
Bu, yüz tanıma yazılımlarının yanlış eşleşme sonucu kişileri gözaltına aldırdığı önceki davalarla aynı deseni taşıyor. Fark, burada hedefin "silah" olması; yani hata payı küçük bir yanlış tanımadan ibaret kalmıyor, doğrudan silahlı müdahaleye dönüşüyor.
| Sistem türü | Örnek hata | Sonuç |
|---|---|---|
| Yüz tanıma | Kişi yanlış eşleştirilir | Haksız gözaltı |
| Silah tespiti (Omnilert) | Cips paketi tabanca sanılır | Silahlı polis müdahalesi |
| İçerik denetimi | Zararsız içerik işaretlenir | Hesap askıya alma |
Tablodaki üç örnek de aynı kökten besleniyor: yüksek güvenle satılan bir otomasyon katmanı, düşük maliyetli bir hatayı orantısız bir fiziksel veya hukuki sonuca çeviriyor.
Sırada ne var?
Dava sürecinin sonucu, benzer sistemleri kullanan yüzlerce okul bölgesi için emsal oluşturabilir. Mahkeme, Omnilert'in sözleşme dilindeki sorumluluk sınırlamasını geçerli kabul ederse, yük tamamen okul ve polis tarafına kalır; aksi durumda yazılım şirketlerinin de yanlış pozitif oranlarından sorumlu tutulabileceği bir çizgi açılır. Bu arada bazı eyaletlerde okullarda kullanılan yapay zekâ destekli gözetim araçlarına yönelik denetim ve şeffaflık talepleri artıyor; bağımsız yanlış pozitif oranı testleri ve zorunlu insan onayı protokolleri gündeme gelebilir.
Asıl mesele, teknolojinin kendisi değil, onu çevreleyen karar mekanizması. Bir sistem ne kadar iyi eğitilmiş olursa olsun, alarmı değerlendiren insanın gerçekten "hayır" diyebilme imkânı yoksa, o insan onayı kâğıt üzerinde kalır. Okullar bu araçları satın almadan önce, yanlış pozitif oranını ve bu oranın gerçek bir müdahaleye dönüşmesini engelleyecek somut bir mekanizmayı sorgulamalı; aksi hâlde güvenlik yatırımı, güvenlik hissi yaratmak yerine yeni bir risk kaynağına dönüşüyor.
Yorumlar (0)
Henüz yorum yok. İlk yorumu sen yaz.
Yorum yapmak için Sinyal'i indir
Yorumlar Sinyal hesabıyla yapılır. Mobil uygulamada giriş yap, yorum bırak.