Robots.txt SEO Nedir, Nasıl Oluşturulur ve Optimize Edilir

Teknik SEO’nuz üzerinde çalışırken kontrol etmeniz ve optimize etmeniz gereken ilk şeylerden biri robots.txt dosyasıdır. Robots.txt dosyanızdaki bir sorun veya yanlış yapılandırma, sıralamanızı ve trafiğinizi olumsuz yönde etkileyebilecek kritik SEO sorunlarına neden olabilir.

Bu yazıda robots.txt dosyasının ne olduğunu, neden buna ihtiyacınız olduğunu, SEO’nun nasıl optimize edileceğini ve arama motorlarının ona sorunsuz bir şekilde erişebildiğini nasıl test edeceğinizi öğreneceksiniz.

WordPress kullanıyorsanız, bu makalenin sonuna doğru, WordPress sanal robots.txt dosyası nasıl hazırlanır göreceksiniz.

Robots.txt nedir?

Robots.txt, web sitenizin kök dizininde bulunan ve arama motorları tarayıcılarına, tarama ve dizine ekleme işlemi sırasında hangi sayfaları tarayabilecekleri ve dizine ekleyebilecekleri konusunda talimatlar veren bir metin dosyasıdır.

Arama motorlarının nasıl çalıştığına dair önceki makalemi okuduysanız, tarama ve indeksleme aşamasında, arama motorlarının genel web’de bulunan ve indekslerine ekleyebilecekleri sayfaları bulmaya çalıştıklarını bilirsiniz.

Bir web sitesini ziyaret ederken, yaptıkları ilk şey robots.txt dosyasının içeriğini aramak ve kontrol etmektir.

Dosyada belirtilen kurallara bağlı olarak, tarayabilecekleri URL’lerin bir listesini oluştururlar ve daha sonra belirli web sitesi için dizine eklerler.

Bir robots.txt dosyasının içeriği internette herkese açık olarak mevcuttur. Korunmadıkça, herkes robots.txt dosyanızı görüntüleyebilir, bu nedenle başkalarının görmesini istemediğiniz içeriği ekleyeceğiniz yer burası değildir.

Bir robots.txt dosyanız yoksa ne olur?

Bir robots.txt dosyası eksikse, arama motoru tarayıcıları, belirli bir web sitesinin herkese açık tüm sayfalarının taranabileceğini ve dizinlerine eklenebileceğini varsayar.

Robots.txt iyi biçimlendirilmezse ne olur?

Soruna bağlı. Arama motorları, yanlış yapılandırıldığı için dosyanın içeriğini anlayamazlarsa, web sitesine erişmeye devam edecek ve robots.txt’de ne olduğunu görmezden gelecektir.

Yanlışlıkla arama motorlarının web siteme erişmesini engellersem ne olur?

Bu büyük bir problem. Başlangıç ​​olarak, web sitenizdeki sayfaları taramayacak ve dizine eklemeyecekler ve dizinlerinde zaten mevcut olan sayfaları kademeli olarak kaldıracaklar.

Robots.txt dosyasına ihtiyacınız var mı?

Evet, web sitenizin herhangi bir sayfasının veya dizininin arama motoru sonuçlarında görünmesini engellemek istemeseniz bile kesinlikle bir robots.txt dosyanız olması gerekir.

Neden robots.txt kullanmalıyım?

Robots.txt dosyasının en yaygın kullanım örnekleri şunlardır:

#1. Arama motorlarının web sitenizin belirli sayfalarına veya dizinlerine erişmesini engellemek için. Örneğin, aşağıdaki robots.txt dosyasına bakın ve izin verilmeyen kurallara dikkat edin.

Bu ifadeler, arama motoru tarayıcılarına belirli dizinleri dizine eklememelerini söyler. Joker karakter olarak * kullanabileceğinize dikkat edin.

#2. Büyük bir web siteniz olduğunda, tarama ve dizine ekleme çok kaynak tüketen bir süreç olabilir. Çeşitli arama motorlarından gelen tarayıcılar sitenizin tamamını taramaya ve dizine eklemeye çalışacak ve bu ciddi performans sorunları yaratabilir.

Bu durumda, web sitenizin SEO veya sıralamalar için önemli olmayan belirli bölümlerine erişimi kısıtlamak için robots.txt’den yararlanabilirsiniz. Bu şekilde, yalnızca sunucunuzdaki yükü azaltmakla kalmaz, tüm indeksleme sürecini daha hızlı hale getirirsiniz.

#3. Satış ortaklığı bağlantılarınız için URL gizlemeyi kullanmaya karar verdiğinizde. Bu, kullanıcıları veya arama motorlarını kandırmak için içeriğinizi veya URL’lerinizi gizlemekle aynı şey değildir, ancak satış ortaklığı bağlantılarınızın yönetimini kolaylaştırmak için geçerli bir işlemdir.

Robots.txt hakkında bilmeniz gereken iki önemli şey

İlki, robots.txt’ye eklediğiniz tüm kuralların yalnızca yönergeler olmasıdır. Bu, kurallara uymanın arama motorlarına bağlı olduğu anlamına gelir.

Çoğu durumda yaparlar, ancak dizinlerine dahil edilmesini istemediğiniz içeriğiniz varsa, en iyi yol belirli bir dizini veya sayfayı parolayla korumaktır.

İkincisi, robotlarda bir sayfayı veya dizini engelleseniz bile, halihazırda dizinde olan diğer sayfalardan bağlantılar varsa, arama sonuçlarında görünmeye devam edebilir. Diğer bir deyişle, robots.txt dosyasına bir sayfa eklemek, sayfanın kaldırılacağını veya web’de görünmeyeceğini garanti etmez.

Sayfayı veya dizini parolayla korumanın yanı sıra başka bir yol da sayfa yönergelerini kullanmaktır. Her sayfanın bölümüne eklenir ve aşağıdaki örnekteki gibi görünürler:

<meta name=”robots” content=”noindex”>

Robots.txt nasıl çalışır?

Robot dosyası oldukça basit bir yapıya sahiptir. Kullanabileceğiniz önceden tanımlanmış bazı anahtar kelime / değer kombinasyonları vardır.

En yaygın olanları şunlardır: User-agent, Disallow, Allow, Crawl-delay, Sitemap.

User-agent: Hangi tarayıcıların yönergeleri hesaba katması gerektiğini belirtir. Tüm tarayıcıları dahil etmek için * veya bir tarayıcının adını belirterek kullanabilirsiniz, aşağıdaki örneklere bakın.

User-agent yönergesi için mevcut tüm isimleri ve değerleri burada görüntüleyebilirsiniz.

User-agent: * – tüm tarayıcıları içerir.
User-agent: Googlebot – talimatlar yalnızca Google bot içindir.

Disallow: Bir kullanıcı aracısına (yukarıda belirtilmiştir), bir URL’yi veya bir web sitesinin bir bölümünü taramaması talimatını veren yönerge.

Disallow değerinin belirli bir dosya, URL veya dizin olabilir. Google desteğinden alınan aşağıdaki örneğe bakın.

Allow: Hangi sayfalara veya alt klasörlere erişilebileceğini açıkça belirten yönerge. Bu yalnızca Googlebot için geçerlidir.

Ana dizine izin verilmese bile, web sitenizdeki belirli bir alt klasöre erişim vermek için izni kullanabilirsiniz.

Örneğin, Fotoğraflar dizininize erişimi engelleyebilir, ancak Fotoğraflar altında bulunan BMW alt klasörünüze erişime izin verebilirsiniz.

User-agent: *
Disallow: / photos
Allow: / photos / audi /

Crawl-delay: Arama motoru tarayıcılarını web sitenizden sonraki sayfayı taramadan önce belirli bir süre beklemeye zorlamak için bir tarama gecikmesi değeri belirtebilirsiniz. Girdiğiniz değer milisaniye cinsindendir.

Tarama gecikmesinin Googlebot tarafından dikkate alınmadığı unutulmamalıdır.

Google için tarama sıklığı oranını kontrol etmek için Google Arama Konsolunu kullanabilirsiniz (seçenek burada bulunur).

Not: Yeni Google Arama konsolunda bu ayarın kaldırıldığını söylemeliyiz.

Binlerce sayfalık bir web siteniz varsa ve sunucunuzu sürekli isteklerle aşırı yüklemek istemediğiniz durumlarda tarama oranını kullanabilirsiniz.

Çoğu durumda, tarama geciktirme yönergesini kullanmamalısınız.

Sitemap: Site haritası yönergesi, Google dahil olmak üzere başlıca arama motorları tarafından desteklenir ve XML Site Haritanızın konumunu belirtmek için kullanılır.

Robotlarda XML site haritasının konumunu belirtmeseniz bile, arama motorları onu yine de bulabilir.

Örneğin, şunu kullanabilirsiniz:

Sitemap: https://www.ornek.com/sitemap.xml

Önemli: Robots.txt büyük / küçük harfe duyarlıdır. Bu, bu yönergeyi eklerseniz, Disallow: /Dosya.html’nin dosya.html’yi engellemeyeceği anlamına gelir.

Robots.txt nasıl oluşturulur?

Bir robots.txt dosyası oluşturmak kolaydır. İhtiyacınız olan tek şey bir metin düzenleyici (brackets veya not defteri gibi) ve web sitenizin dosyalarına (FTP veya kontrol paneli aracılığıyla) erişimdir.

Bir robot dosyası oluşturma sürecine girmeden önce yapılacak ilk şey, zaten bir tane sahip olup olmadığınızı kontrol etmektir.

Bunu yapmanın en kolay yolu, yeni bir tarayıcı penceresi açmak ve https://www.alanınız.com/robots.txt adresine gitmektir.

Aşağıdakine benzer bir şey görürseniz, bu zaten bir robots.txt dosyanız olduğu ve yeni bir dosya oluşturmak yerine mevcut dosyayı düzenleyebileceğiniz anlamına gelir.

User-agent: *
Allow: /

Robots.txt dosyanızı nasıl düzenleyebilirsiniz?

En sevdiğiniz FTP istemcisini kullanın ve web sitenizin kök dizinine bağlanın.

Robots.txt her zaman kök klasörde (sunucunuza bağlı olarak www veya public_html) bulunur.

Dosyayı bilgisayarınıza indirin ve bir metin düzenleyiciyle açın.

Gerekli değişiklikleri yapın ve dosyayı sunucunuza geri yükleyin.

Yeni bir robots.txt nasıl oluşturulur

Halihazırda bir robots.txt dosyanız yoksa, bir metin düzenleyici kullanarak yeni bir .txt dosyası oluşturun, yönergelerinizi ekleyin, kaydedin ve web sitenizin kök dizinine yükleyin.

Önemli: Dosya adınızın robots.txt olduğundan ve başka bir şey olmadığından emin olun. Ayrıca, dosya adının büyük / küçük harfe duyarlı olduğunu ve bu nedenle tümünün küçük harf olması gerektiğini unutmayın.

Robots.txt’yi nereye koyuyorsunuz? robots.txt her zaman web sitenizin kök dizininde bulunmalı ve herhangi bir klasörde bulunmamalıdır.

Robots.txt örneği

Tipik bir senaryoda, robots.txt dosyanız aşağıdaki içeriğe sahip olmalıdır:

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

Bu, tüm botların web sitenize herhangi bir engel olmadan erişmesine izin verir. Ayrıca, arama motorlarının bulmasını kolaylaştırmak için site haritası konumunu belirtir.

Robots.txt dosyanızı nasıl test edip doğrulayabilirsiniz?

Robots.txt URL’sine giderek robots.txt içeriğinizi görüntüleyebilirsiniz, ancak bunu test etmenin ve doğrulamanın en iyi yolu Google Arama Konsolunun robots.txt Test aracını kullanmaktır.

Robots.txt Test aracına gidin.

Test düğmesine tıklayın.

Her şey yolundaysa, Test düğmesi yeşile dönecek ve etiket İZİN VERİLDİ olarak değişecektir. Bir sorun varsa, izin verilmemesine neden olan çizgi vurgulanacaktır.

Robots.txt test aracı hakkında bilmeniz gereken birkaç şey daha:

Web sitenizden bir URL girmek ve bunun engellenip engellenmediğini test etmek için URL Test Edici’yi (aracın altında) kullanabilirsiniz.

Düzenleyicide herhangi bir değişiklik yapabilir ve yeni kuralları kontrol edebilirsiniz ANCAK bunların canlı robots.txt dosyanıza uygulanabilmesi için dosyanızı bir metin düzenleyiciyle DÜZENLEMENİZ ve dosyayı web sitenizin kök klasörüne yüklemeniz gerekir (yukarıda açıklandığı gibi) ).

Google’a robots.txt dosyanızda değişiklikler yaptığınızı bildirmek için GÖNDER düğmesini tıklayın (yukarıdaki ekrandan) ve açılır pencereden tekrar GÖNDER düğmesini tıklayın (aşağıda gösterildiği gibi seçenek 3).

Robots.txt ve WordPress

Robots.txt hakkında şimdiye kadar okuduğunuz her şey WordPress web siteleri için de geçerlidir.

Robots.txt ve WordPress hakkında bilmeniz gereken tek şey şunlardır:

Geçmişte, WordPress web sitelerinin wp-admin ve wp-include klasörlerine robots.txt yoluyla erişimi engellemesi öneriliyordu.

2012 itibariyle, WordPress bir @header (‘X-Robots-Tag: noindex’); etiketi, robots.txt dosyasında izin vermeme eklemekle aynı işi yapmaya başladı.

Sanal robots.txt dosyası nedir?

WordPress varsayılan olarak sanal bir robots.txt dosyası kullanıyor. Bu, dosyayı doğrudan düzenleyemeyeceğiniz veya dizininizin kök dizininde bulamayacağınız anlamına gelir.

Dosyanın içeriğini görüntülemenin tek yolu tarayıcınıza https://www.domain.com/robots.txt yazmanızdır.

WordPress robots.txt’nin varsayılan değerleri şunlardır:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Arama Motoru Görünürlük Ayarları altında “Arama motorlarının bu siteyi dizine eklemesini engelle” seçeneğini etkinleştirdiğinizde robots.txt şu hale gelir:

User-agent: *
Disallow: /

Temel olarak tüm tarayıcıların web sitesine erişmesini engeller.

WordPress’te robots.txt dosyasını nasıl düzenlerim?

WordPress tarafından sağlanan sanal robots.txt dosyasını doğrudan düzenleyemeyeceğiniz için, onu düzenlemenin tek yolu yeni bir tane oluşturmak ve web sitenizin kök dizinine eklemektir.

Kök dizinde fiziksel bir dosya bulunduğunda, sanal WordPress dosyası dikkate alınmaz.

Robots.txt SEO En İyi Uygulamaları

• Robots.txt dosyanızı test edin ve web sitenizin arama motorlarında görünmesini istediğiniz herhangi bir bölümünü engellemediğinizden emin olun.
• CSS veya JS klasörlerini engellemeyin. Google, tarama ve dizine ekleme işlemi sırasında bir web sitesini gerçek bir kullanıcı gibi görüntüleyebilir ve sayfalarınız JS ve CSS’nin düzgün çalışması için gerekiyorsa engellenmemelidir.
• WordPress kullanıyorsanız, wp-admin ve wp-include klasörlerinize erişimi engellemenize gerek yoktur. WordPress, meta robots etiketini kullanarak harika bir iş çıkarır.
• Her arama motoru botu için farklı kurallar belirlemeye çalışmayın, kafa karıştırıcı olabilir ve güncel tutulması zor olabilir. En iyisi User-agent:*’ı daha iyi kullanın ve tüm botlar için tek bir kural kümesi sağlayın.
• Sayfaların arama motorları tarafından dizine eklenmesini engellemek istiyorsanız, bunu robots.txt yoluyla değil, her sayfanın başlığında kullanarak yapmalısınız.

Sonuç

Robots.txt dosyanızı yapılandırmak veya test etmek için çok fazla zaman harcamanıza gerek yoktur. Önemli olan bir tanesine sahip olmak ve Google Web Yöneticisi Araçları aracılığıyla arama motoru tarayıcılarının web sitenize erişmesini engellemediğinizi test etmektir.

Web sitenizi ilk oluşturduğunuzda veya Teknik SEO denetiminizin bir parçası olarak bir kez yapmanız gereken bir görevdir.