Cloudflare ve OpenAI: ağ sinyalleri ChatGPT aramasına yüz milyonlarca yeni sayfa kazandırdı

Temmuz'da başlayan ortak pilotun ilk sonuçları açıklandı

Yazı Cloudflare Blog'da yayımlandı ve dört imza taşıyor: Matthew Conroy ve Jack Galilee ile OpenAI'den Henry Aspegren ve James Balfour. Anlatılan çalışma, iki şirketin Temmuz ayında başlattığı bir araştırma pilotu. Sorulan soru basitti: Cloudflare ağından toplanan sinyaller, ChatGPT kullanıcılarının yeni içeriğe daha verimli ulaşmasına katkı sağlayabilir mi? Yazarlara göre ilk yanıt olumlu. Pilot, daha önce bilinmeyen sayfaları OpenAI'nin arama dizinine taşıdı ve ChatGPT'nin yanıt üretirken başvurabileceği kaynakları çoğalttı.

Ölçek rakamı da yazıda var. Pilot, Cloudflare'in toplam ağının yaklaşık yüzde 1'ini oluşturan katılımcı bir grupla yürütüldü ve bu grup sayesinde OpenAI yüz milyonlarca yeni web sayfasını keşfedip indeksledi. Yazının açılış cümlesi meseleyi tek satırda özetliyor: "Optimizing your site for AI is of little use if AI can’t find it." Cloudflare ve OpenAI yazarlarının vurgusu şu: yapay zekaya göre yapılan iyileştirme, sayfa bulunamıyorsa pek bir işe yaramıyor.

Keşif sinyali Cloudflare'den, sıralama kararı OpenAI'den

İş bölümü net çiziliyor. Cloudflare ağı, OpenAI'nin arama tarayıcısının sayfa bulmasına yardım eden sinyaller üretiyor. Bulunan sayfaların ChatGPT'de nasıl yer alacağını ise OpenAI, ilgililik ve faydaya bakarak bağımsız biçimde değerlendirip sıralıyor. Yani sinyal sayfayı tarayıcının önüne getiriyor, sonuçlardaki yeri OpenAI'nin kendi değerlendirmesine bağlı. Ekip bu sırada boşa giden tarama kalıplarını da tanımlamış: botların olmayan dosyaları tekrar tekrar istemesi, hemen her adresi ana sayfaya yönlendiren siteler ve aynı içeriğin kopyalarına çıkan adresler. Bu kalıpları önceden tanımak, tarayıcı sayfayı çekmeden gereksiz işin kesilmesini sağlıyor.

Güncellik tarafında değişiklik sinyalleri devreye giriyor: bir sayfanın yeniden ziyarete değip değmediğini tarayıcıya bildiriyorlar. Yazıya göre değişmemiş bir sayfayı defalarca indiren tarayıcı, site sahibine fayda getirmeden yük bindiriyor. Güvenlik tarafında ise test aşamasındaki sinyaller, meşru bir sitede saldırganın yerleştirdiği sahte bir giriş formu gibi tek bir ele geçirilmiş sayfayı tüm alan adı yerine tek başına işaretleyerek site sahibini cezalandırmamayı hedefliyor; ilk bulgular bu sinyallerin dizin dışında tutulması gereken sayfaları ayırt etmeye yardım edebileceğini gösteriyor. Yazı bir dengeye de dikkat çekiyor: yeni sayfalar bulundukça, bunlar değerlendirilip indekslenirken tarama başlangıçta artabilir.

Yapay zeka aramasında görünürlük önce bulunmakla başlıyor

Yapay zeka aramasında görünürlük artık yalnızca içeriğin kalitesine değil, sayfanın tarayıcı tarafından bulunup bulunmamasına da bağlı. Yazının örnekleri tanıdık: belirli bir çamaşır makinesi modelinin kılavuzu, pasaport başvurusunun güncel şartları, bir restoranın son menüsü ve çalışma saatleri. Yazarlara göre bu tür sayfalar, başka sitelerden az bağlantı alsalar bile değerli olabiliyor. Yazıya göre Cloudflare sinyalleri, OpenAI'nin tarayıcısının ChatGPT kullanıcılarına sunulabilecek daha faydalı sayfaları bulmasına yardım edebiliyor. Yazı çalışmayı GPT-6 ve Intelligent UI ile de ilişkilendiriyor; aktarılana göre bu ikisi ChatGPT'yi daha görsel ve etkileşimli bir deneyime taşıyor.

İkinci ders teknik SEO hijyeni. Olmayan dosyalara gelen istekler, hemen her adresi ana sayfaya yönlendirme ve kopya içerik, bu modelde boşa tarama olarak ayıklanıyor. Kontrol tarafında yazarlar sınırı açık çiziyor: "A signal about a page doesn’t grant permission to access it." Cloudflare ve OpenAI ekibine göre bir sayfa hakkında sinyal olması, ona erişim izni anlamına gelmiyor. Araştırma, model eğitimi için sayfa içeriği paylaşmıyor; arama ve keşif amacıyla web hakkındaki meta veriyi kullanıyor. Site sahipleri yapay zeka sistemlerinin erişimini Cloudflare'in AI Crawl Control aracıyla izleyip yönetebiliyor. Sonraki aşamada sayfa seçiminin iyileştirilmesi, daha hızlı ve güvenilir değişiklik sinyallerinin test edilmesi ve içerik keşfedildikten sonra ne olduğunun ölçülmesi planlanıyor.

Kaynakta Türkiye geçmiyor, o yüzden bu bölüm yorum

Bu haberin tek kaynağı olan Cloudflare yazısında Türkiye'ye dair hiçbir bilgi yok. Dolayısıyla aşağıdakiler kaynaktan çıkan olgular değil, açıkça UNALSOFT yorumudur. Bilinmeyenleri de tek tek saymak gerekiyor. Yazıda şunlar yer almıyor: yüzde 1'lik katılımcı gruba hangi müşterilerin ya da alan adlarının girdiği, sitelerin gönüllü katılımla mı yoksa Cloudflare'in seçimiyle mi dahil olduğu, site sahipleri için genel kullanıma açılış tarihi ya da bir başvuru yolu, katılımcı sitelerin ChatGPT'den aldığı tıklama veya trafik rakamları ve Türkiye'deki sitelere özgü herhangi bir sonuç.

Yorumumuz şu: Türkiye'de Cloudflare arkasında yayın yapan bir sitenin bu pilotta yer alıp almadığını bilmiyoruz, ama yazıda boşa tarama diye ayıklanan sorunlar her sitede kendi başına düzeltilebilir. Olmayan sayfaya doğru yanıt vermek, her adresi ana sayfaya yönlendirmemek ve kopya içeriği azaltmak, hangi tarayıcı gelirse gelsin sayfanın doğru okunmasına yardım eder. Yapay zeka botlarının erişim kurallarına dair farklı bir boyutu 16 Ağustos'ta ele almıştık; o yazı bu pilottan bağımsız.

Kaynaklar

Cloudflare Blog, Cloudflare ve OpenAI: yapay zeka keşfini herkes için iyileştirmek