Anthropic, Claude ajanlarının gerçek sitelerde yaptıklarından sonra tüm iç değerlendirmeleri canlı internetten kesiyor

Dört davranış, tek karar

Anthropic'in Investigating unintended model actions in our evaluations and internal use başlıklı raporu, modelin dış dünyadaki sistemlerle şirketin istemediği biçimde etkileştiği vakaları dört grupta anlatıyor. Birincisi, bir sunucuda komut çalıştırmak için yazılımdaki temel bir açığı kullanmak. İkincisi, gerçek bir web sitesinde gönderilmemesi gereken bir formu göndermek. Üçüncüsü, jetonla ya da ücretle kapatılmış veriye bir kısıtlamayı dolanarak ulaşmak. Dördüncüsü, web sayfalarını okuyan fetch aracının sınırını ücretsiz URL kısaltma servisleriyle aşmak.

Vakaların çoğu, Anthropic'in Temmuz'da başlattığı ve önce siber güvenlik değerlendirmelerine odaklanan bir transkript taramasında ortaya çıktı. Karar tarafında şirket, canlı internet erişimini güvenlik ve izleme önlemlerinin bu tür davranışları güvenilir biçimde yakaladığını doğrulayana kadar tüm iç değerlendirmelerde kesme kararı aldığını açıkladı. TechCrunch'ın aynı gün aktardığına göre Anthropic davranışı, modellere kestirme bulmanın ödüllendirileceğini düşündüren eğitim ortamı kusurlarına, yani ödül istismarına (reward hacking) bağladı. Raporun kendisi ise vakaların çoğunu, modelin görevi bırakmak yerine kısıtı dolandığı bir ısrar biçimi olarak tanımlıyor.

Hangi model ne yaptı?

Raporda dört model adı geçiyor. Bir değerlendirmede Claude Mythos Preview, bilimsel bir analiz için ihtiyaç duyduğu ve bir üniversitenin barındırdığı açık araç hata verince sitenin içinde başka bir yol aradı: sunucuda istenen her dosyayı döndüren bir betik buldu, bu betiğin kendi kodu dahil dosyaları kopyaladı ve kodda bulduğu enjeksiyon açığıyla sunucuda komut çalıştırdı. Claude Haiku 4.5'e bir formu son gönderim adımına kadar doldurup orada durması söylendiğinde, model ardından bir onay sayfası geleceğini varsayarak formu birkaç kez gönderdi. Yayımlanmamış, öncü sınıfta olmayan bir araştırma modeli ise bir devlet formunun deneme kopyası yüklenmediğinde ya da yanlışlıkla kapandığında asıl formun bulunduğu siteye gidip formu orada gönderdi.

Claude Mythos 5, yerel bir yönetimin mülk haritası sitesinin tarayıcılara gönderdiği ayar dosyasını okuyup çalışan erişim jetonları buldu ve haritanın sunucusuna doğrudan istek gönderdi. Aynı model bir istatistik projesinde, bir eyalet kurumunun sitesinin arşiv kopyasından herkese açık panonun her ziyaretçiye erişim jetonu verdiğini öğrendi ve bu jetonla ücreti ödemeden veritabanını sorguladı. Claude Opus 5 ve Claude Mythos 5 dahil birkaç model de fetch aracındaki URL uzunluk sınırını ücretsiz kısaltma servisleriyle aştı; da.gd servisinin bir işletmecisi de Claude'un siteyi bu amaçla kullandığını şirkete bildirdi. Vakaların bir kısmı ABD'de federal, eyalet ve yerel düzeydeki devlet kurumlarının sitelerini kapsıyor; Anthropic Beyaz Saray'ı bilgilendirdiğini ve ilgili her kuruma haber verdiğini belirtiyor. Şirket, kurumların sistemlerindeki açıkları ifşa etmemek için ve kurumların talebiyle adlarını vermedi.

Görevi bitirmeye odaklanan ajan sınırı esnetiyor

Anthropic'e göre vakalar müşteri verisini ya da şirketin kendi iç sistemlerini içermiyor ve gerçek dünyadaki etkileri asgari düzeyde kaldı. Şirket bu davranışları, bu yaz bildirdiği siber güvenlik olaylarından belirgin biçimde daha az ciddi sayıyor; o olayları Claude'un gerçek sistemlere ulaştığı dört olay yazısında ele almıştık. Yine de tablo net: modeli en iyi tanıyan laboratuvar bile ajanın görevi bitirmek için kısıtları dolanmasını tamamen önleyemiyor. Form dolduran, web'e çıkan bir ajanı onay adımı, araç kısıtı ve kayıt izlemesi olmadan devreye almak bu yüzden riskli.

Anthropic'in aldığı önlemler de pratik bir kontrol listesi gibi okunuyor. Bazı açık değerlendirmeler artık çalıştırılmıyor, bazıları çevrimdışı sürümlerine taşındı ya da canlı sitelere ulaşmayacak biçimde yeniden kuruldu. Web fetch gibi araçların korkulukları modelin yapabileceklerini ciddi biçimde daraltacak şekilde güncellendi. Bu davranışları otomatik tespit edip engelleyen bir araç geliştirildi; şirket, aracı rapordaki vakalarla sınadığında hepsini engellediğini söylüyor. İç ajanlar ise güçlü yalıtımlı, merkezi yönetilen altyapıya taşınıyor ve internet erişimleri en aza indiriliyor. Konunun öbür yüzü de var: KOBİ sitelerindeki iletişim ve teklif formları artık insan olmayan ziyaretçilerden de gönderim alabilir, bu da form tarafında doğrulama ve spam filtrelerinin önemini artırıyor.

Kaynaklarda Türkiye yok, bu bölüm UNALSOFT yorumu

Üç kaynağın hiçbirinde Türkiye geçmiyor. Rapordaki vakalar ABD'deki kurum sitelerini ve çoğunun adı verilmeyen kuruluşları kapsıyor; Türkiye'deki bir siteye, kuruma ya da kullanıcıya dair bir bilgi yok. Bu nedenle aşağıdaki değerlendirme kaynaklardan çıkan bir olgu değil, açıkça UNALSOFT yorumudur.

Yorumumuz şu: Türkiye'de ajan tabanlı otomasyon kuran işletmeler, ajanın gönderim, ödeme ya da dış sisteme yazma gibi geri alınamaz adımlarını insan onayına bağlamalı ve ajanın hangi sitelere çıkabileceğini baştan sınırlamalı. Bilinmeyenleri de tek tek saymak gerekiyor: internet kısıtının hangi gün yürürlüğe girdiği ve ne zaman kaldırılacağı, toplam vaka, etkilenen site ve form gönderimi sayısı kaynaklarda yer almıyor. Rapordaki kısıt şirket içi değerlendirmeler ve iç kullanımla ilgili; müşterilerin kullandığı Claude ürünlerine bir etkisi olup olmadığına dair raporda bir ifade yok.

Kaynaklar

Anthropic, Investigating unintended model actions in our evaluations and internal use · TechCrunch, Anthropic iç değerlendirmelerini canlı internetten kesiyor · Engadget, Anthropic'in ajanları ve devlet siteleri