robots.txt Yapay Zeka Botu Testi

Bu araç ne yapar?

Araç, yapıştırdığınız robots.txt dosyasını okur ve 13 bilinen arama ve yapay zeka botunun belirttiğiniz adrese erişip erişemeyeceğini hesaplar. Her bot için hangi grubun ve hangi kuralın sonucu belirlediğini de gösterir. Böylece "ChatGPT'yi engelledim mi, yoksa sadece eğitimi mi?" sorusunun cevabını tahmin etmeden görürsünüz.

Hesaplama, robots.txt standardı RFC 9309 ve Google'ın yorumuna göre yapılır:

Bot önce kendi adını taşıyan grubu arar. Bulursa yalnızca o gruba uyar, User-agent: * grubunu görmez.
Kendi grubu yoksa * grubuna uyar. Hiç grup yoksa her yere erişebilir.
Birden fazla kural eşleşirse en uzun (en ayrıntılı) kural kazanır. Eşitlikte Allow kazanır.
* (herhangi bir karakter dizisi) ve $ (adres sonu) joker karakterleri desteklenir.
Applebot'un kendi grubu yoksa Apple'ın belgelerine göre Googlebot kuralları uygulanır.

Türkiye'nin en popüler 483 sitesinin bu botlara nasıl yaklaştığını merak ediyorsanız Türkiye yapay zeka botu raporumuza bakın.

Hangi bot ne işe yarar?

Yapay zeka botları üç gruba ayrılır. Bu ayrımı bilmek önemli: eğitim botunu engellemek çoğu zaman yapay zeka aramalarındaki görünürlüğünüzü etkilemez, ama arama botunu engellemek etkiler.

Grup	Botlar	Engellerseniz
Arama ve görünürlük	Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot	O platformun aramasında ve yapay zeka yanıtlarında sayfanız özetlenmez, kaynak olarak gösterilme şansınız düşer.
Model eğitimi	GPTBot, ClaudeBot, Google-Extended, Applebot-Extended	İçeriğinizin gelecekteki model eğitiminde kullanılmasını istemediğinizi bildirirsiniz. Google-Extended ve Applebot-Extended ayrı tarayıcı değil, yalnızca kontrol etiketidir; Google Arama ve Apple aramasını etkilemez.
Kullanıcı isteğiyle getirme	ChatGPT-User, Claude-User, Perplexity-User	Bir kullanıcı sayfanızı sorduğunda getirilmesi engellenir. OpenAI ChatGPT-User için robots.txt'nin uygulanmayabileceğini, Perplexity ise Perplexity-User'ın genellikle uymadığını belirtiyor.

OpenAI botlarının ayrıntıları ve hazır örnekler için ChatGPT arama sonuçlarında görünmek rehberine, robots.txt'nin temelleri için robots.txt SEO rehberine bakabilirsiniz.

Sonucu okurken nelere dikkat etmeli?

robots.txt bir rica, kilit değil. Kurallara uyan botlar uyar. Gerçek erişim kontrolü için sunucu veya güvenlik duvarı ayarı gerekir.
Güvenlik duvarı ve CDN ayrı bir katman. Cloudflare gibi hizmetler bazı yapay zeka botlarını robots.txt'den bağımsız olarak engelleyebilir. Bu araç yalnızca robots.txt'yi değerlendirir; "İzinli" sonucu, botun sunucunuza gerçekten ulaştığını garanti etmez.
Değişiklikler hemen yansımaz. Google robots.txt'yi genellikle 24 saate kadar önbelleğe alır. OpenAI ve Perplexity de değişikliğin yansımasının yaklaşık 24 saat sürebileceğini söylüyor.
Her alt alan adının kendi dosyası vardır. blog.siteniz.com için ayrı bir robots.txt gerekir.
robots.txt dizinden çıkarmaz. Bir sayfayı Google'dan tamamen çıkarmak için noindex gerekir ve botun bu etiketi görebilmesi için sayfayı tarayabilmesi gerekir.

Yapay zeka aramalarında görünürlüğün genel resmi için AI SEO nedir?, Google tarafı için Google AI Overviews rehberini, robots.txt'nin yanında sık önerilen dosya için llms.txt nedir? yazısını okuyabilirsiniz.

Sık sorulan sorular

GPTBot'u engellersem ChatGPT'de görünmez miyim?

Hayır. OpenAI'a göre GPTBot eğitim içindir. ChatGPT aramada görünmeyi belirleyen bot OAI-SearchBot'tur. GPTBot'u engelleyip OAI-SearchBot'a izin verebilirsiniz.

Google-Extended'ı engellemek AI Overviews'tan çıkarır mı?

Hayır. Google'a göre Google-Extended, Google Arama'daki yer almayı ve sıralamayı etkilemez. AI Overviews ve AI Mode, Google Arama'nın parçasıdır ve Googlebot kurallarına bağlıdır.

Başka bir sitenin robots.txt'sini adresle test edebilir miyim?

Tarayıcı güvenlik kuralları başka sitelerin dosyalarını doğrudan okumamıza izin vermiyor. Dosyayı tarayıcıda açıp içeriğini kopyalamanız yeterli.