Türk Siteleri Yapay Zeka Botlarını Engelliyor mu? 483 Sitelik robots.txt Raporu

İçindekiler

1. Öne çıkan bulgular
2. Hangi bot ne kadar engelleniyor?
3. Sektörlere göre sonuçlar
4. Eski bot adları: yazılmış ama işe yaramayan kurallar
5. robots.txt’si olmayan siteler
6. Site sahipleri için ne anlama geliyor?
7. Yöntem
8. Verileri indirin

Türkiye’nin popüler web sitelerinin büyük çoğunluğu yapay zeka botlarını engellemiyor. Türkiye’nin en popüler 483 sitesinin robots.txt dosyasını tek tek inceledik. Dosyası okunabilen 348 siteden yalnızca %8’i OpenAI’ın eğitim botu GPTBot’u, %2,6’sı ChatGPT aramasını besleyen OAI-SearchBot’u engelliyor. Engelleyenlerin başında haber siteleri geliyor. Daha şaşırtıcı bulgu ise ters yönde: Yapay zeka botlarını robots.txt’de adıyla anan 72 sitenin 43’ü (%60) onları engellemek için değil, açıkça izin vermek için anıyor.

Bu rapor, 2-3 Kasım 2026’da topladığımız verilere dayanıyor. Site bazındaki ham veriyi yazının sonunda CSV olarak indirebilirsiniz. Kendi sitenizi aynı kurallarla test etmek için robots.txt yapay zeka botu testimizi kullanabilirsiniz.

Öne çıkan bulgular

• Eğitim botları en çok engellenenler, ama oranlar düşük. ClaudeBot’u engelleyen sitelerin oranı %8,3, GPTBot’u engelleyenlerin %8. Google-Extended (Gemini eğitimi) için oran %5,5.
• Yapay zeka arama botlarına neredeyse herkes açık. OAI-SearchBot’u engelleyen site oranı %2,6, PerplexityBot’u engelleyenlerin %3,4, Claude-SearchBot’u engelleyenlerin %1,1.
• Haber siteleri daha temkinli. Medya sitelerinin %13’ü en az bir eğitim botunu, %8,7’si en az bir yapay zeka arama botunu engelliyor. Hürriyet, Milliyet, Fanatik, Posta, CNN Türk ve NTV, robots.txt dosyalarında OAI-SearchBot’u ve PerplexityBot’u da engelliyor.
• Bankalar ve operatörler kapıyı açıkça açıyor. Garanti BBVA, Yapı Kredi, Akbank, Turkcell ve Vodafone yapay zeka botlarını tek tek sayıp hepsine izin veriyor.
• Eski bot adları hâlâ yaygın. 35 site, Anthropic’in güncel belgelerinde yer almayan anthropic-ai ve Claude-Web adlarını kullanıyor.
• Sitelerin beşte biri bu konuda hiç karar vermemiş. 48 sitede robots.txt dosyası hiç yok, 41 sitede ise robots.txt adresinde dosya yerine bir HTML sayfası açılıyor.

Hangi bot ne kadar engelleniyor?

Grafikteki botlar üç gruba ayrılıyor. Eğitim botları (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) içeriği gelecekteki yapay zeka modellerinin eğitiminde kullanılmak üzere topluyor. Yapay zeka arama botları (OAI-SearchBot, PerplexityBot, Claude-SearchBot) ise sitenin ChatGPT, Perplexity ve Claude’un arama yanıtlarında kaynak olarak gösterilmesini sağlıyor. Kullanıcı isteğiyle çalışan ajanlar (ChatGPT-User, Claude-User, Perplexity-User) bir kullanıcı sayfayı sorduğunda o sayfayı anlık olarak getiriyor.

Bu ayrım önemli. OpenAI’ın belgelerine göre GPTBot’u engellemek bir sitenin ChatGPT aramadaki görünürlüğünü etkilemiyor, OAI-SearchBot’u engellemek ise etkiliyor. Google da Google-Extended’ın Google Arama’daki sıralamayı etkilemediğini belirtiyor. Ayrıntılar için ChatGPT arama sonuçlarında görünmek rehberimize bakabilirsiniz.

Verideki tutarlı bir örüntü de dikkat çekiyor: Yapay zeka arama botunu engelleyip eğitim botuna izin veren tek bir site bile yok. Engelleme kararı veren siteler önce eğitimi kapatıyor. 18 site eğitim botlarını engellerken yapay zeka arama botlarını açık bırakıyor. Bu, OpenAI ve Anthropic’in her bot için ayrı ad kullanmasının tam da amaçladığı kullanım.

Sektörlere göre sonuçlar

Tablodaki “tümü” satırı, hiçbir sektör grubuna girmeyen sitelerle birlikte hesaplandı. Bazı siteler yalnızca kısmen engelliyor olabilir. Biz her botun ana sayfaya erişip erişemediğine baktık.

Haber siteleri: engelleyenler ve davet edenler

Haber siteleri yapay zeka botlarına karşı en net tavrı alan grup, ama tavır tek yönlü değil. Hürriyet, Milliyet, Fanatik, Posta, CNN Türk ve NTV; GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot ve ChatGPT-User’ı engelliyor. Bu tercih, bu sitelerin içeriklerinin ChatGPT ve Perplexity yanıtlarında özetlenmemesi anlamına geliyor.

Öte yandan Star, Milli Gazete ve Yeni Ankara gibi siteler yapay zeka botlarını robots.txt’de adıyla sayıp izin veriyor. Teknoloji yayıncıları Webtekno, ShiftDelete.Net ve Webrazzi de izin verenler arasında.

Kamu ve üniversiteler

Kamu sitelerinin büyük kısmı yapay zeka botlarıyla ilgili hiçbir kural tanımlamamış. Dikkat çeken istisna Milli Eğitim Bakanlığı (meb.gov.tr): Bakanlığın robots.txt dosyası GPTBot, ClaudeBot, Google-Extended, PerplexityBot, ChatGPT-User, CCBot ve Applebot-Extended’ı engelliyor. Aynı dosya, Internet Archive gibi arşiv botlarını da engelliyor. OAI-SearchBot ise dosyada adıyla geçmediği için izinli.

Üniversitelerde yapay zeka arama botlarını engelleyen site çıkmadı. Eğitim botlarını engelleyen 3 üniversite İstanbul Kültür Üniversitesi, Yeditepe Üniversitesi ve Beykent Üniversitesi.

Bankalar ve operatörler: “Lütfen gelin”

Raporun en ilginç bulgusu bu grupta. Garanti BBVA, Yapı Kredi, Akbank, Turkcell ve Vodafone’un robots.txt dosyalarında GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ve Google-Extended gibi botlar tek tek sayılıyor ve hepsine Allow: / ya da boş Disallow: kuralıyla izin veriliyor.

Teknik olarak bu satırlara gerek yok, çünkü robots.txt’de adı geçmeyen bir bot zaten User-agent: * grubuna uyar. Ama bu açık izin, bu şirketlerin yapay zeka yanıtlarında görünmeyi bilinçli bir hedef olarak gördüğünü gösteriyor. Yapay zeka botlarını adıyla anan 72 siteden 43’ü bu şekilde izin veriyor.

Eski bot adları: yazılmış ama işe yaramayan kurallar

35 site, Anthropic için anthropic-ai ve Claude-Web adlarını kullanıyor. Anthropic’in güncel belgesinde bu adlar yok. Şirket bugün üç ad kullanıyor: ClaudeBot (eğitim), Claude-User (kullanıcı isteği) ve Claude-SearchBot (arama). Bu sitelerin çoğu ClaudeBot’u da listelediği için bir sorun yok. Ama yalnızca eski adı yazan bir site, engellediğini düşündüğü botu aslında engellemiyor olabilir.

Benzer bir durum ChatGPT-User/2.0 gibi sürüm numaralı yazımlarda görülüyor. RFC 9309’a göre bot adı eşleştirmesinde yalnızca ürün adı dikkate alınır. Kurallar bu yüzden çoğu zaman yine çalışır, ama gereksiz karışıklık yaratır.

robots.txt’si olmayan siteler

İncelenen 483 sitenin 48’inde robots.txt dosyası yok (sunucu 404 döndürüyor). 41 sitede ise robots.txt adresinde düz metin yerine bir HTML sayfası açılıyor. Bu genellikle sunucunun bilinmeyen adresleri ana sayfaya ya da bir hata sayfasına yönlendirmesinden kaynaklanıyor.

Her iki durumda da botlar siteyi kısıtlamasız tarayabilir. Bu bir hata sayılmaz, ama bu siteler tarama bütçesini yönetme ve site haritasını bildirme imkânını kullanmıyor. robots.txt SEO rehberimiz bu dosyanın nasıl hazırlanacağını adım adım anlatıyor.

Site sahipleri için ne anlama geliyor?

1. Önce hedefinize karar verin. İçeriğinizin model eğitiminde kullanılmasını istemiyor ama yapay zeka aramalarında görünmek istiyorsanız, yalnızca eğitim botlarını engelleyin. Arama botlarını açık bırakın.
2. Güncel adları kullanın. OpenAI için GPTBot, OAI-SearchBot ve ChatGPT-User; Anthropic için ClaudeBot, Claude-SearchBot ve Claude-User; Perplexity için PerplexityBot ve Perplexity-User; Google için Google-Extended; Apple için Applebot-Extended.
3. Kendi grubunu bulan botun * kurallarını görmediğini unutmayın. Bir bota özel grup açarsanız, * grubundaki yasakları o gruba da yazmanız gerekir.
4. Dosyanızı test edin. robots.txt yapay zeka botu testi bu rapordaki kuralların aynısıyla çalışır.
5. robots.txt tek başına yeterli değil. Güvenlik duvarı veya CDN ayarlarınız, robots.txt’nizden bağımsız olarak botları engelliyor olabilir.

Yapay zeka aramalarında görünürlüğün genel resmi için AI SEO nedir? yazımıza, robots.txt’nin yanında sık önerilen dosya için llms.txt nedir? yazımıza bakabilirsiniz.

Yöntem

Site listesi. Akademik araştırmalarda kullanılan ve manipülasyona dayanıklı bir popülerlik sıralaması olan Tranco listesinin 1 Kasım 2026 tarihli sürümünü (V354N) kullandık. Listeden .tr ile biten en popüler 500 alan adını aldık. Buna, .com uzantılı oldukları için bu filtreye girmeyen 36 büyük Türk sitesini (Trendyol, Hepsiburada, Sahibinden, Habertürk, Ekşi Sözlük gibi) ekledik.

Ayıklama. 536 alan adından 53’ü gerçek bir web sitesi olmadığı için analiz dışında bırakıldı: DNS, reklam ağı, CDN ve barındırma altyapısına ait alan adları, Google ve Yandex gibi küresel platformların yönlendirme adresleri ve yasa dışı yayın ya da bahis siteleri. Analiz kümesi 483 site.

Toplama. robots.txt dosyaları 2 Kasım 2026’da GitHub sunucularından, kendimizi tanıtan bir kullanıcı ajanıyla (SEOWPClub-Arastirma/1.0) toplandı. Okunamayan 101 dosya 3 Kasım 2026’da Türkiye’deki bir ev bağlantısından yeniden denendi. Böylece 483 sitenin 437’sinin (%90) durumu belirlendi. 46 sitenin dosyası iki denemede de okunamadı (güvenlik duvarı engeli veya bağlantı hatası). Bu siteler oranlara dahil edilmedi.

Değerlendirme. Her dosya, RFC 9309 standardı ve Google’ın robots.txt yorumuna göre ayrıştırıldı. Bot önce kendi adını taşıyan gruba, yoksa * grubuna uyar. En uzun eşleşen kural kazanır, eşitlikte Allow kazanır. Applebot’un kendi grubu yoksa, Apple’ın belgelerine uygun olarak Googlebot kuralları uygulandı. Her bot için ana sayfanın (/) erişilebilir olup olmadığına baktık. Oranlar, robots.txt dosyası okunan 348 site üzerinden hesaplandı.

Sınırlar. robots.txt bir rica dosyasıdır, erişim kontrolü değildir. Bir botun robots.txt’ye göre “izinli” olması, güvenlik duvarının onu geçirdiği anlamına gelmez. Tersine, bizim bir dosyayı okuyamamamız da yapay zeka botlarının okuyamadığı anlamına gelmez. Büyük şirketlerin tarayıcıları genellikle doğrulanmış IP adresleriyle izin listelerinde yer alır. Sektör sınıflandırması alan adı uzantısına ve elle yapılan etiketlemeye dayanıyor.

Verileri indirin

Site bazında ham veri (CSV, 483 satır): Her site için Tranco sırası, sektör, robots.txt durumu ve 14 botun izinli/engelli sonucu. Verileri haberde, sunumda veya akademik çalışmada kullanırken kaynak olarak SEOWPClub’ı belirtmeniz yeterli.

Bu araştırmayı düzenli olarak tekrarlamayı planlıyoruz. Verilerde bir hata görürseniz ya da sitenizin robots.txt dosyası değiştiyse bize yazın.

Sık sorulan sorular

Türk siteleri ChatGPT'yi engelliyor mu?

Çoğu engellemiyor. robots.txt dosyası okunan 348 sitenin %8'i OpenAI'ın eğitim botu GPTBot'u, %2,6'sı ChatGPT aramasını besleyen OAI-SearchBot'u engelliyor. OAI-SearchBot'u engelleyen 9 sitenin 6'sı haber sitesi.

Hangi sektör yapay zeka botlarını en çok engelliyor?

Haber ve medya siteleri. robots.txt'si okunan 69 medya sitesinin %13'ü en az bir eğitim botunu, %8,7'si en az bir yapay zeka arama botunu engelliyor. Üniversitelerde yapay zeka arama botunu engelleyen site çıkmadı.

Bu verileri kullanabilir miyim?

Evet. Site bazında ham veriyi CSV olarak indirebilirsiniz. Haberde, sunumda veya akademik çalışmada kullanırken kaynak olarak SEOWPClub'ı belirtmeniz yeterli.

Kendi sitemin durumunu nasıl kontrol ederim?

robots.txt dosyanızı ücretsiz robots.txt yapay zeka botu testimize yapıştırın. Araç bu raporda kullanılan kuralların aynısıyla 13 botun erişimini gösterir.

Kaynaklar

• Tranco: A Research-Oriented Top Sites Ranking (liste V354N, 1 Kasım 2026)
• IETF RFC 9309: Robots Exclusion Protocol (Eylül 2022)
• Google Search Central: Google robots.txt dosyasını nasıl yorumlar?
• Google Search Central: Google'ın yaygın tarayıcıları (Google-Extended)
• OpenAI: Overview of OpenAI Crawlers
• Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
• Perplexity: Perplexity Crawlers
• Apple: About Applebot