OpenAI: robots.txt kuralları ChatGPT'nin getirme botu için geçerli olmayabilir

Tarama ile kullanıcı isteği arasındaki ayrım

Habere göre OpenAI, kullanıcı isteğiyle gelen taleplerin otomatik taramadan farklı olduğunu savunuyor ve bu nedenle robots.txt kurallarının ChatGPT-User için geçerli olmayabileceğini belirtiyor.

Şirketin dokümantasyonuna göre bu bot, ChatGPT kullanıcıları soru sorduğunda sayfaları ziyaret ediyor. Yani sayfa isteği bir tarama programının planından değil, o anda bir insanın sorusundan doğuyor.

Haberde adı geçen diğer ajanlar da var. OAI-SearchBot, ChatGPT arama sonuçlarında görünürlüğü belirliyor. Ayrıca Bytespider, Youbot, Claude-User ve Perplexity-User da anılıyor.

Uyum tablosu ve engellemenin bedeli

Habere göre ChatGPT-User, izin verilmeyen sayfalara rakip yapay zeka botlarının hiçbirinden daha fazla sitede ulaştı.

Bölgesel bir kırılım da var. Avrupa sitelerinde tespit edilen yapay zeka getiricilerinin yaklaşık yüzde 15'i izin verilmeyen adreslere erişti. Kuzey Amerika sitelerinin yüzde 26'sı ChatGPT-User'a izin vermiyor, ancak bot Avrupa verisinde daha agresif görünüyor.

Kritik ayrım haberde net konuyor: disallow yönergeleri yalnızca bir talep. Yani robots.txt teknik bir duvar değil, uyulması beklenen bir nezaket kuralı.

Engellemenin bir bedeli de var. Habere göre hem ChatGPT-User'ı hem OAI-SearchBot'u engelleyen siteler görünürlük faydasını kaybediyor, buna karşılık çekme üzerindeki kontrolü elde tutmaları etkisiz kalabiliyor. Haberde ayrıca Cloudflare'in Eylül 2026 değişikliklerinin uygulamayı tarayıcı uyumundan ağ katmanına taşıyacağı belirtiliyor.

Nezaket kuralıyla teknik kontrol arasındaki fark

Buradaki asıl mesele şu: robots.txt hiçbir zaman bir güvenlik mekanizması olmadı, bir anlaşma metniydi. Arama motorları uzun yıllar bu anlaşmaya uydu ve site sahipleri bunu bir kontrol aracı sanmaya başladı. Yapay zeka istemcileri anlaşmanın kapsamını tartışmaya açtığında, aracın gerçek doğası görünür oldu. Bu değerlendirme bize ait.

İkincisi, kullanıcı isteği gerekçesinin mantığı. Bir insan tarayıcısıyla sitenize girdiğinde robots.txt'ye bakmıyorsunuz; o istek zaten kişiseldir. OpenAI'ın çerçevesi bunu ajana taşıyor. Mantık tutarlı görünüyor, ancak sonucu şu: kullanıcı adına çalışan her istemci aynı gerekçeyi kullanabilir.

Üçüncüsü, engelleme kararının iki uçlu olması. Bir siteyi yapay zeka istemcilerine kapatmak içeriği korur ama görünürlüğü de kapatır. Bu kararı sezgiyle değil ölçümle vermek gerekiyor; nitekim Clarity'nin yeni kazıma-ziyaret oranı tam bu ölçümü sunuyor. Bu bağlantı bizim notumuz.

Dördüncüsü, uygulamanın ağ katmanına kayması. Haberde belirtildiği gibi Cloudflare tarafındaki değişiklikler kararı istemcinin iyi niyetinden çıkarıp altyapıya taşıyor. Gerçekten engellemek isteyen bir site için doğru yer robots.txt değil, ağ kuralları.

Türkiye'deki işletmeler için anlamı

Aşağıdaki değerlendirme kaynaklarda yer almıyor, bizim okumamız. Haberde Türkiye'ye özgü bir kırılım bulunmuyor.

Türkiye'de kurumsal sitelerin robots.txt dosyaları çoğunlukla yıllar önce kurulmuş ve bir daha açılmamış durumda. Bu dosyaya yazdığınız kuralın yapay zeka istemcilerini durdurduğunu varsaymak artık güvenli bir varsayım değil.

İçerik üreten işletmeler için karar iki yönlü. Blog ve rehber içeriğinize yatırım yapıyorsanız, yapay zeka arayüzlerinde görünmek isteyebilirsiniz; o hâlde engellemek işinize gelmez. Buna karşılık özgün araştırma, veri seti ya da ücretli içerik üretiyorsanız korumak isteyebilirsiniz. İkisi farklı kararlar ve tek bir dosyada çözülmüyor.

Pratik olarak üç adım öneriyoruz. Birincisi, robots.txt dosyanızı açıp hangi yapay zeka istemcilerine ne dediğinizi bilerek okuyun. İkincisi, gerçekten engellemek istediğiniz bir şey varsa bunu ağ ya da sunucu katmanında uygulayın; robots.txt tek başına yetmiyor. Üçüncüsü, engellediğiniz istemcilerin size ziyaret gönderip göndermediğini ölçün, çünkü ölçmediğiniz bir engelleme kararı görünürlük kaybını da göremez.

Kaynaklar

Search Engine Journal, robots.txt ve ChatGPT getirme botu · OpenAI geliştirici dokümantasyonu, botlar