Robots.txt; Arama motoru tarayıcılarının Web sitesinin hangi URL’leri tarayacağı veya taranmayacağı hakkında bilgiler içeren bir metin belgesidir. SEO için oldukça büyük bir öneme sahip olan Robts.txt dosyası; arama motoru botları bu dosyada belirtilen komutlara göre hareket ettiğini belirtmek isterim. Belirtilen komutlar doğrultusunda taranabilir URL listesi oluşturulur ve bu listeye uygun olarak dizine eklenir. Robots TXT Nedir? Nasıl Kullanılır? ve Robots.txt dosyası nasıl oluşturulur? Seo çalışmalarında robots.txt dosyasının önemi nedir? Robots.txt dosyası nasıl olmalıdır? Sorularına cevap vermek istiyorum.
SEO uzmanı, web sitelerini arama motorlarında daha iyi sıralamalara taşıyan stratejiler geliştirebilir.
Robots TXT Dosyası Ne İşe Yarar?
Kısa tanımıyla robots txt nedir sorusuna; bir web sitesinin hangi bölümlerinin taranıp taranmayacağını belirten bir metin dosyası olarak belirttikten sonra bu dosyanın ne işe yaradığından bahsetmek istiyorum. Robots.txt dosyasında oluşturduğunuz komutlar doğrultusunda arama motoru robotlarını tarama işlemlerinde yönlendirmiş olursunuz. Hazırlanan bu dosya ana dizine eklenmek zorundadır. Web sitesinin URL uzantısının sonuna /robots.txt yazarak yayınlanan dosayı görüntüleyebilirsiniz.
Web sunucularının kök dizinine eklenen robots.txt dosyası hazırlamak için herhangi bir yazılım veya programa ihtiyacınız yoktur. Basit bir metin dosyası bu işlemi gerçekleştirmek için yeterlidir. Bu dosyayı hazırlamak için bilmeniz gereken ise; komut bileşenlerinin neler olduğudur.
Robots TXT Dosyası Nasıl Oluşturulur?
Herhangi bir metin oluşturma editörü ile kolaylıkla oluşturabileceğiniz robot.txt dosyasını; belirli protokol formatıyla direktifler vererek oluşturabilirsiniz. Bu dosya için kullanılan protokoller Robots Exclusion Protocol olarak adlandırılmaktadır. Robots TXT Dosyası Nasıl Oluşturulur? sorusuna 3 ana başlık altında cevap vermek gerekir. Grup içi komutlar, Grup dışı komutlar, Notlar ve Yorumlardan oluşmaktadır. Belirttiğimiz bu komut yöntemleri ile oluşturulan robots.txt dosyasını web sitesinin;
- Hangi bölümlerinin dizine ekleneceği
- Hangi bölümlerin dizine eklenmeyeceği
- Arama motorları tarafından dizinin taranıp taranmayacağı
- Hangi arama motorunun izni olup olmadığı belirlenir.
Yukarıda belirttiğimiz izinlerin veya tarama engellerinin belirli bir düzen ve standartta metin belgesi olarak düzenlenmesi gerekmektedir. Bununla birlikte;
- Robots.txt dosyasının web sitesinin kök dizinine yüklenmiş olması
- Dosyanın UTF-8 karakter kodlamasına uygun olması
- Hazırlanan dosyanın web sitenin URL’siyle aynı formatta olması gerekmektedir.
Robots TXT Nedir SEO
Robots TXT Nedir? Nasıl Kullanılır? Sorusunun yanında bu dosyanın SEO ile bağlantısından bahsetmeden geçemeyiz. Özellikle teknik seo çalışmalarında robots.txt dosyasının büyük bir önemi bulunmaktadır. Bu dosyanın seo kurallarına uygun bir şekilde optimize edilmesi ve doğru yapılandırılmış olması gerekir. Web sitenizin arama motorları tarafından erişebilmesi ve istenilen dosaların dizine eklenmesi adına dosyanın doğru düzenlenmesi gerekir. SEO ajansı çalışmaları adına bir robots.txt dosyasının nasıl optimize edilmesi gerektiği ile ilgili bir kaç önemli bilgiyi sizlerle paylaşmak istiyorum.
- CSS ve JS klasörlerini engellemediğinizden emin olun
- WordPress kullanıcısıysanız wp-admin klasörünü engellemeyin
- Tüm arama motorları için tek bir kural (user-agent:*) tercih edin
- Tek bir sayfanın arama motorları tarafından dizine engellenmesini istiyorsanız robots.txt kullanmayın
- Hazırladığınız dosyayı test etmeden yayınlamayın
- Robots.txt dosyasının bir kere oluşturmanız yeterli olacaktır
Arama motorları listesinde ilk sıralarda yer almak adına yapılan SEO çalışmalarında bu dosyanın önemi oldukça büyüktür. Sitenin verimli bir şekilde taranması ve dizine eklenmesi adına hayati rol üstlenir. Bu sebeple doğru direktiflerle hazırlanmış bir robots.txt dosyası sayesinde sitenizin daha önemli sayfalarının daha sık taranmasını sağlayabilirsiniz.
Robots TXT Dosyası Nasıl Olmalı?
Arama motoru robotlarına belirli kurallarla verilen dizine ekleme veya eklememe talimatları robots.txt dosya komutları ile gerçekleşmektedir. Grup komutları olarak bilenen bu komutlar sayesinde: arama motoru robotu engelleme/izin verme. Dizine ekleme/ izin verme. Sayfa engelleme / izin verme ve Tarama gecikmesi belirtmede kullanılır. Basit bir düzeyde hazırlanan bir robots.txt dosyasında 2 ana anahtar kelime bulunduğunu belirtmek isterim. Bu anahtar kelimeler; User-agent ve Disallow dur.
User-agent: Web tarayıcı listesinin belirtilmesidir. Hazırlanan dosyanın ilk kuralıdır. Arama motorlarının tamamını listelemek için ise (*) kullanılır.
Disallow: Taranmasını istemediğimiz kök alan bilgisidir. / karakteriyle başlar ve özellikle bir dizini işaret ediyorsa sonu tekrar aynı karakterle bitirilir.
Yukarıda belirttiğimiz Robots TXT Nedir? Nasıl Kullanılır? sorusuna verdiğimiz cevaplardan sonra bu alanda hazırlanan bir kaç robots.txt dosyasından örnek vererek ne anlama geldiğini sizlerle paylaşmak istiyorum.
- User-agent: *
- Allow: /
User-agent, arama botlarının isimleri gelecek olan yere (*) işareti konularak tüm arama botlarının önü açılmıştır. Bu kodla tüm arama motorlarının indekslemesinin önü açılmıştır.
- User-agent: *
- Disallow: /
User-agent bölümü yine aynı şekilde tüm arama motorlarına izin vermiş olsa da Disallow satırına ( / ) karakteri eklendiğinden dolayı tüm dosyaların taranması engellenmiştir.
- User-agent: *
- Disallow: /images/
- Disallow: /tmp/
- Disallow: /private/
- Disallow: /cgi-bin/
Yukarıda belirtilen robots.txt dosyasındaki komutlar soncunda belirtilen 4 dosyanın disallow ile indekslenmesi engellenmiştir.
Robots.txt Nerede Yer Alır?
Arama motorlarının sitenizi ziyaret ettiğinde hangi sayfaları taraması veya indekslemesi gerektiğini komutlarla belirlediğiniz robots.txt dosyasını, wordpress web sitelerinde farklı eklentilerle oluşturmanız mümkün. Bu eklentilerin başında yoast seo ve all in one seo gelmektedir. Bu eklentilerin SEO araçlar bölümünden dosya düzenleyici sayfasından Create robots.txt file sekmesine tıklayarak dosya oluşturmaya başlayabilirsiniz. İster belirttiğimiz bu iki eklenti sayesinde isterseniz kendiniz bir metin düzenleme belgesi kullanarak kendi robots.txt dosyanızı oluşturabilirsiniz. Bu konuda dikkat etmeniz gereken metin belgesinin adının da robots.txt olmasıdır.
Hazırlanan bu dosyanın site dizinine eklenmesi gerekmektedir. Bu da oldukça basit bir iştir. Tek yapmanız gereken hazırlanan dosyayı site dizininin public_html klasörüne kopyalanmaktır. Bundan sonra yapmanız gereken hazırlanan ve yüklenen bu dosyayı test etmek olacaktır..
Google search console üzerinden yayınlanan robots.txt dosyasının kontrolünü yapabilirsiniz. Robots,txt test aracının sağ alt kısmında bulunan test et butonuna tıklayarak testi başlatın. Daha sonra ekranın sağ üst kısmında bulunan yayınlanan robots.txt dosyasını görüntüle sekmesine tıklayın. Çıkan ekrandan yayınladığınız bu dosyanın içeriğini kontrol edebilirsiniz.