Robots.txt Nedir? SEO İçin Doğru Kullanım, Örnekler ve Test

İçindekiler

1. Robots.txt nasıl çalışır?
2. Robots.txt kuralları (Google'ın desteklediği alanlar)
3. Robots.txt örnekleri
4. Sık yapılan robots.txt hataları
5. Robots.txt nasıl test edilir?
6. WordPress'te robots.txt
7. Yapay zeka aramaları (AI Overviews, AI Mode, ChatGPT) açısından robots.txt
8. Sonuç: 5 dakikalık robots.txt kontrolü

Robots.txt, sitenizin kök dizininde duran ve arama motoru botlarına sitenin hangi adreslerini tarayabileceklerini söyleyen düz bir metin dosyasıdır. Asıl işi taramayı yönetmek ve sunucunun gereksiz isteklerle yorulmasını önlemektir. Bir sayfayı Google sonuçlarından gizlemenin yolu değildir; bunun için noindex veya parola koruması gerekir.

Bu yazının ilk sürümünü 2020'de yazmıştım. O günden bu yana çok şey değişti: Google robots.txt test aracını kapatıp yerine Search Console'da bir rapor getirdi, robots.txt'deki noindex desteği tamamen bitti ve dosyaya yepyeni bir kullanıcı grubu eklendi: yapay zeka botları. Aşağıda Google'ın Ekim 2026'da güncellenen belirtimine göre doğru kuralları, sık yapılan hataları ve yapay zeka botlarını nasıl yöneteceğinizi bulacaksınız.

Robots.txt nasıl çalışır?

Googlebot gibi bir tarayıcı bir siteye geldiğinde, sayfaları taramadan önce https://alanadiniz.com/robots.txt adresini okur. Arama motorlarının nasıl çalıştığını düşünürseniz bu dosya, tarama aşamasının kapısındaki tabeladır: Hangi bota hangi yolların kapalı olduğunu yazar.

Google'ın belirtimine göre bilinmesi gereken temel kurallar şunlar:

• Konum: Dosya alan adının en üst dizininde olmalı. /blog/robots.txt gibi alt klasördeki bir dosya dikkate alınmaz.
• Kapsam: Kurallar yalnızca dosyanın bulunduğu ana makine, protokol ve port için geçerlidir. magaza.alanadiniz.com gibi bir alt alan adının kendi robots.txt dosyası olmalıdır.
• Boyut: Google en fazla 500 KiB okur; fazlası yok sayılır.
• Önbellek: Google dosyayı genellikle 24 saate kadar önbellekte tutar. Değişikliğiniz hemen yansımayabilir.
• Büyük-küçük harf: Alan adları (Disallow, disallow) harf duyarlı değildir, ama yol değerleri duyarlıdır. Disallow: /Dosya.html, /dosya.html adresini engellemez.

Robots.txt herkese açıktır. Rakipleriniz dahil herkes dosyanızı okuyabilir. Gizli kalmasını istediğiniz bir yönetim paneli adresini robots.txt'ye yazmak, o adresi ilan etmek demektir.

Dosya yoksa veya hata verirse ne olur?

Bu bölüm, ilk sürümde eksik olan ve pratikte en çok soruna yol açan kısım. Google'ın belirtimine göre:

Buradan çıkan ders: Robots.txt adresinin 500 hatası vermesi, dosyanın hiç olmamasından çok daha kötüdür. Barındırma veya CDN değişikliğinden sonra bu adresi mutlaka tarayıcıda açıp kontrol edin. Google, tarama hızını düşürmek için robots.txt'ye 401 veya 403 döndürmeyi de önermiyor.

Robots.txt kuralları (Google'ın desteklediği alanlar)

Google yalnızca dört alanı tanır: user-agent, allow, disallow ve sitemap. Diğer her şey yok sayılır.

• User-agent: Kuralların hangi bot için olduğunu söyler. * tüm botları kapsar. Bir bot, kendisine en uygun (en özel) grubu uygular ve diğer grupları yok sayar. Yani User-agent: Googlebot grubu yazdıysanız Googlebot artık User-agent: * grubunu okumaz.
• Disallow: Taranmaması gereken yolu belirtir. Disallow: /sepet/ gibi.
• Allow: Kapatılan bir dizin içindeki belirli bir yolu açar. Google, Bing ve RFC 9309 standardını uygulayan diğer tarayıcılar destekler (ilk sürümdeki "yalnızca Googlebot için geçerli" bilgisi artık doğru değil).
• Sitemap: Site haritanızın tam adresi. Herhangi bir grubun içinde olmak zorunda değildir.

Çakışma kuralı: Bir adres hem Allow hem Disallow kuralına uyuyorsa Google en uzun (en özel) yolu uygular. Uzunluklar eşitse en az kısıtlayıcı kural, yani Allow kazanır.

Joker karakterler: * sıfır veya daha fazla karakterle eşleşir, $ adresin sonunu belirtir. Örneğin Disallow: /*.pdf$ PDF ile biten tüm adresleri kapatır.

Artık işe yaramayan kurallar

• Crawl-delay: Google desteklemez. (İlk sürümde "değer milisaniye cinsindendir" yazmıştım; bu yanlıştı. Bu alanı kullanan arama motorları değeri saniye olarak yorumlar.) Google'ın tarama hızını Search Console'daki eski ayardan yönetmek de artık mümkün değil.
• Noindex, nofollow: Google, robots.txt içindeki bu kuralları 1 Eylül 2019'dan itibaren tamamen yok sayıyor. Dizinden çıkarma için sayfadaki meta robots etiketini veya X-Robots-Tag HTTP başlığını kullanın.

Robots.txt örnekleri

1. Her şeye açık, site haritalı (çoğu küçük site için yeterli):

User-agent: *
Disallow:
Sitemap: https://alanadiniz.com/sitemap.xml

2. E-ticaret: sepet, hesap ve dahili arama sayfalarını kapatmak:

User-agent: *
Disallow: /sepet/
Disallow: /hesabim/
Disallow: /arama
Disallow: /*?siralama=
Sitemap: https://alanadiniz.com/sitemap.xml

Dahili arama sonuçları ve sıralama parametreleri, sonsuz sayıda neredeyse aynı adres üretir. Bunları kapatmak, botun zamanını gerçek ürün sayfalarına harcamasını sağlar. Aynı içeriğin farklı adresleri için ayrıca canonical URL kullanın.

3. Bir dizini kapatıp içindeki tek dosyayı açmak:

User-agent: *
Disallow: /indirmeler/
Allow: /indirmeler/katalog-2026.pdf

Sık yapılan robots.txt hataları

1. Geliştirme ortamındaki Disallow: / kuralının canlıya taşınması. Yeni site yayına alınırken en sık yaşanan kazadır. Tüm site taramaya kapanır.
2. Noindex eklenmiş sayfayı robots.txt ile de engellemek. Google sayfayı tarayamazsa noindex etiketini göremez; sayfa sonuçlarda kalabilir. Önce noindex, sayfa dizinden düştükten sonra (gerekirse) robots.txt.
3. CSS ve JavaScript dosyalarını engellemek. Google sayfayı bir tarayıcı gibi işler. Düzen veya içerik bu dosyalara bağlıysa engellemek Google'ın sayfayı anlamasını zorlaştırır.
4. Belirli bot için grup yazıp genel kuralları tekrarlamamak. User-agent: Googlebot grubu açtıysanız * grubundaki kurallar Googlebot için geçerli olmaz; gerekenleri o gruba da yazın.
5. Gizli adresleri robots.txt'ye yazmak. Dosya herkese açıktır. Gizlilik için parola veya sunucu tarafı erişim kontrolü kullanın.

Bu ve benzeri teknik sorunların tam listesi için teknik SEO ve SEO hataları yazılarına bakabilirsiniz.

Robots.txt nasıl test edilir?

İlk sürümde anlattığım "robots.txt Test Aracı" Google tarafından Kasım 2023'te kaldırıldı. Yerine Search Console'da robots.txt raporu geldi. Search Console Yardım'a göre rapor şunları gösterir:

• Google'ın bulduğu robots.txt dosyaları (Alan adı mülkünde ilk 20 ana makine için),
• Her dosyanın en son ne zaman tarandığı ve getirme durumu (Getirildi, 404, başka bir neden),
• Dosya boyutu ve ayrıştırma hataları ile uyarılar,
• Son 30 gündeki farklı sürümler.

Önemli bir engeli kaldırdıysanız dosyanın yanındaki menüden yeniden tarama isteyebilirsiniz. Rapor yalnızca alan adı düzeyindeki mülklerde (Alan adı mülkü veya yolsuz URL öneki mülkü) çalışır. Search Console'u henüz kurmadıysanız Google Search Console nedir yazısından başlayın.

Tek bir adresin engellenip engellenmediğini görmek için Search Console'daki URL Denetimi aracını kullanın. Yapay zeka botlarının sitenize erişip erişemediğini görmek için ise ücretsiz robots.txt yapay zeka botu testimizi kullanabilirsiniz.

WordPress'te robots.txt

WordPress, kök dizinde fiziksel bir dosya yoksa sanal bir robots.txt üretir. Varsayılan içerik şöyledir:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

WordPress 5.5'ten beri çekirdeğin ürettiği site haritası (wp-sitemap.xml) da bu dosyaya eklenir. Yoast SEO veya Rank Math kullanıyorsanız eklentinin araçlar bölümünden dosyayı düzenleyebilirsiniz. Kök dizine bir robots.txt dosyası yüklerseniz sanal dosya devre dışı kalır.

İlk sürümdeki bir bilgi de değişti: Ayarlar > Okuma > "Arama motorlarının bu siteyi dizine eklemesini engelle" kutusu, WordPress 5.3'ten beri robots.txt'ye Disallow: / yazmıyor; bunun yerine sayfalara noindex meta etiketi ekliyor. Bu daha doğru bir yöntem, çünkü Google sayfayı tarayıp noindex'i görebiliyor. Site yayına alındığında bu kutunun işaretli kalmadığından emin olun.

Yapay zeka aramaları (AI Overviews, AI Mode, ChatGPT) açısından robots.txt

Robots.txt artık yalnızca arama motorları için değil, yapay zeka şirketlerinin botları için de kontrol noktası. Burada en önemli ayrım, botun model eğitimi için mi, arama ve kaynak gösterme için mi çalıştığıdır:

Google'ın belgesi Google-Extended için açık konuşuyor: Bu belirteç sitenin Google Arama'ya dahil edilmesini etkilemez ve sıralama sinyali olarak kullanılmaz. Yani Google-Extended'ı engellemek AI Overviews'tan çıkmanın yolu değildir. AI Overviews ve AI Mode, Googlebot'un taradığı ve dizine eklediği sayfaları kullanır; bu özelliklerde görünmeyi sınırlamak için nosnippet gibi sayfa düzeyi kontroller gerekir. Ayrıntılar Google AI Overviews nedir yazısında.

Eğitime kapalı, yapay zeka aramalarına açık bir site için örnek:

User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Disallow:
Sitemap: https://alanadiniz.com/sitemap.xml

Bu kuralla OAI-SearchBot ve Googlebot * grubuna düşer ve siteyi tarayabilir. ChatGPT tarafının ayrıntıları için ChatGPT arama sonuçlarında görünmek rehberine bakın.

Yeni gelişme (30 Ekim 2026): Google, Search Central blogunda yapay zeka eğitimi için şirketler arası ortak bir robots.txt sinyalini destekleyeceğini duyurdu. Sinyal, IETF'teki AIPREF çalışma grubunun çalışmasına dayanıyor. Google'ın tarayıcı belgesine göre bu sinyal user-agent: __usage_ai-training biçiminde yazılacak ve Google bunu 2027'nin başında desteklemeyi hedefliyor. Bir site bu ortak sinyalle eğitime kapanır ve Google-Extended için ayrıca bir şey yazmazsa Google bunu Google-Extended engellenmiş gibi yorumlayacak. Mevcut şirket bazlı kurallar (GPTBot, Google-Extended) çalışmaya devam edecek. Standart henüz kesinleşmediği için bugün dosyanıza eklemek yerine duyuruları izlemenizi öneririm.

Son olarak iki uyarı. Birincisi, robots.txt bir rica dosyasıdır; Google'ın da belirttiği gibi her tarayıcı kurallara uymaz. Uymayan botlar için sunucu veya CDN düzeyinde engelleme gerekir. İkincisi, yapay zeka botları için llms.txt gibi ek dosyalar robots.txt'nin yerini tutmaz; Google, yapay zeka aramasında görünmek için bu tür özel dosyalara gerek olmadığını söylüyor. Türkiye'deki büyük sitelerin bu botlara nasıl yaklaştığını Türkiye yapay zeka bot raporumuzda inceledik.

Sonuç: 5 dakikalık robots.txt kontrolü

1. Tarayıcıda alanadiniz.com/robots.txt adresini açın; 200 döndüğünden emin olun.
2. Disallow: / satırının yanlışlıkla * grubunda olmadığını kontrol edin.
3. CSS, JS ve görsel klasörlerinin kapalı olmadığını doğrulayın.
4. Sitemap satırının doğru ve güncel adresi gösterdiğini kontrol edin.
5. Search Console'daki robots.txt raporunda hata olmadığına bakın.
6. Yapay zeka botları için bilinçli bir karar verin: eğitim ve arama botlarını ayrı ayrı düşünün.

Robots.txt'yi bir kez doğru kurduktan sonra her site taşımasında, alan adı değişikliğinde ve yeni bir yapay zeka botu duyurusunda yeniden gözden geçirmek yeterlidir.

Sık sorulan sorular

Robots.txt ile bir sayfayı Google'dan kaldırabilir miyim?

Hayır. Google'a göre robots.txt bir sayfayı Google'ın dışında tutma yöntemi değildir. Engellenen sayfa, başka sitelerden link alıyorsa açıklamasız bir adres olarak sonuçlarda görünebilir. Sayfayı dizinden çıkarmak için noindex kullanın ve sayfanın taranmasına izin verin; Google noindex etiketini ancak sayfayı tarayabilirse görür.

Crawl-delay Google'da çalışır mı?

Hayır. Google'ın robots.txt belirtimine göre desteklenen alanlar yalnızca user-agent, allow, disallow ve sitemap'tir; crawl-delay yok sayılır. Bing gibi bazı arama motorları bu alanı dikkate alabilir.

GPTBot'u engellersem ChatGPT aramasında görünmez miyim?

Görünmeye devam edebilirsiniz. OpenAI'nin belgelerine göre GPTBot model eğitimi için, OAI-SearchBot ise ChatGPT'nin arama özellikleri için kullanılır ve ikisi ayrı ayrı yönetilir. Eğitimi engelleyip aramaya izin vermek için GPTBot'u engelleyin, OAI-SearchBot'a izin verin.

Robots.txt dosyasını değiştirdim, Google ne zaman görür?

Google robots.txt dosyasını genellikle 24 saate kadar önbellekte tutar. Acil bir değişiklikte Search Console'daki robots.txt raporundan yeniden tarama isteyebilirsiniz.

Kaynaklar

• Google: How Google Interprets the robots.txt Specification (son güncelleme 23 Ekim 2026)
• Google Search Central: Robots.txt Introduction and Guide (Aralık 2025)
• Search Console Yardım: robots.txt report
• Google: Google's common crawlers – Google-Extended (son güncelleme 30 Ekim 2026)
• Google Search Central Blog: Supporting a shared AI training control for websites (30 Ekim 2026)
• Google Search Central Blog: A note on unsupported rules in robots.txt (Temmuz 2019)
• OpenAI: Overview of OpenAI Crawlers
• Make WordPress Core: Changes to prevent search engines indexing sites (2 Eylül 2019)
• Search Engine Roundtable: New Google Search Console Robots.txt Report Replaced Robots.txt Tester Tool (16 Kasım 2023)
• IETF RFC 9309: Robots Exclusion Protocol (Eylül 2022)