Robots.txt Nedir? Nasıl Düzenlenmelidir?

Robots.txt bir çoğumuzun duyduğu bir terim olarak SEO çalışmalarında sıkça karşımıza çıkar. Peki Robots.txt nedir? Robots.txt dosyası web sitelerinin kök dizinlerinde yer almakta olan düz metin dosyasıdır. İçerisinde bir veya daha fazla kural barındıran ve bu kurallar aracılığı ile web sitesinde yer alan sayfaların erişim yolları konusunda arama motoru botlarına izin verme ya da engelleme işlevine sahiptir.

Robots.txt dosyası sayesinde web sitelerinin sınırlarını belirleyen bir dosya olarak tanımlanabilir. İçerisine girilecek olan komutlar neticesinde botlar hangi yolları izleyebileceklerini, hangi web sayfalarını dizinleyebileceklerini ve hangilerine erişemeyeceklerini net bir şekilde anlarlar. Bu komutlar arama motoru botları tarafından gerçekleştirilecek olan taramaların boyutlarını belirler; böylece karşımıza robot engelleme standartı ya da diğer bir adıyla robot engelleme protokolü çıkar.

Robots Komutları ile Neler Yapılabilir?

Robots.txt nedir sorusuna cevap verdikten sonra robots dosyasının işlevlerine bakmamız gerekir. Robots dosyası sayesinde web siteleri adına büyük önem arz eden işlemler kolay bir şekilde yürütülebilir. Temel olarak 4 çeşit işlemi robots dosyası sayesinde arama motorlarına bilirmek mümkündür.

• Kullanıcı Belirleme
• Dizin İzin verme Engelleme
• Sayfa İzin verme Engelleme
• Gecikme Belirtme

Robots dosyasında belirteceğimiz komutlar sayesinde hangi arama motoru botunun sitemize erişebileceğini belirleyebiliriz; bu sayede kullanıcı belirleme aşamalarını gerçekleştiririz. Ayrıca kullanıcı belirleme komutlarımızdan sonra izin verilen botların hangi dizinlere ulaşabileceğini belirleyebilir ya da engelleyebiliriz. Daha sonra bu diziler içerisnde yer almakta olan sayfalardan hangilerine karar vermemizde mümkündür. En son olarak ise bir arama botunun sitemizde yer alan sayfaları gecikmeli olarak taramasını istiyor ise gecikme belirtme komutunu kullanarak bu işlemi kolayca gerçekleştirmemiz mümkündür.

Robots.txt dosyasını hazırlar iken çok dikkatli davranmakta yarar var. Dosya içerisinde yer alacak olan komutların yanlış belirtilmesi sitenin indekslenmemesine ve arama motorlarında yer almamasına neden olabilecektir.

Robots.txt Nasıl Oluşturulur?

Arama motoru botlarının hareketlerini sınırlamak ve izinlerini belirlemek adına robots.txt dosyasında kullanılabilecek komut çeşitleri bulunmaktadır;

• User-agent
• Allow
• Disallow
• crawl-delay
• Sitemap

Bu komut çeşitlerini arasında yer alan user-agent ile hangi botun engelleneceği ya da hangisine izin vereceği konusunda belirleme yapacağımız bölümdür. Örneğin;

User-agent: *
Disallow: /iletisim/
Allow: /iletisim/sosyal.html

Komut dizinini robots.txt dosyamıza ekledğimizde arama motoru botlarının İletişim uzantısına sahip sayfayı taramayacağını ancak iletişim sayfasının altında yer alan Sosyal sayfasının taranabileceğini belirtmiş oluyoruz. Yukarıda user-agent bölümünde kullandığımız ” * ” ibaresi komut dosyasının tüm arama botlarına geçerli olduğunu göstermektedir.

User-agent: yandexbot
Disallow: /iletisim
User-agent: *
Disallow: /

Bu örneğimizde ise yandex botlarının iletişim sayfasına erişmesine izin vermezken, diğer tüm botların sitede yer alan tüm dizine ulaşmasına izin veriyoruz.

User-agent: yandexbot
Disallow: /iletisim
User-agent: yandexbot
Crawl-delay: 2
User-agent:*

Yukarıda ki örneğimizde ise yandex botunun iletişim sayfasına erişmesine izin vermezken aynı anda gecikme belirleme komutu ile yandex bota tarama süreleri hakkında bilgi de vermiş oluyoruz.

Örneklerimizden de anlayacağınız gibi robots dosyasına ekleyeceğimiz komutlarda kullanacağımız URL’ler domain adresimize ek olan uzantılar şeklinde eklenir. Örneğin aşağıda yanlış bir kullanım örneği göreceğiz;

User-agent: yandexbot
Disallow: www.siteadi.com/iletisim 

Domain adreslerimiz robots.txt dosyasında yer alabilecek olan site haritaları belirtilirken kullanılabilir. Bunların haricinde herhangi bir şekilde komutlarda yer almaz.

User-agent: *
Disallow: /iletisim
Sitemap: https://www.siteadi.com/sitemap.xml

Yukarıda ki komutlar ile tüm arama motoru botlarına sitemizde yer alan iletişim sayfası haricinde ki tüm sayfalara erişim izni verirken aynı anda site haritamızı da onlara göstermiş oluyoruz.

Bu komut yöntemlerinin dışında özel komut sistemleri de bulunmaktadır. Bu özel komutlar ile URL uzantılar içinde yer alan özel işaretleri ya da belirleyeceğimiz herhangi bir durumu engellememiz mümkündür. Örneğin;

User-agent: *
Disallow: /*?


User-agent:*
Disaloow: /*.php$

Yukarıda ki ilk örneğimizde uzantılar içerisinde ” ? ” işareti bulunduran tüm URL’leri arama botları tarafından engelli bir hale getirdik. Ayrıca ikinci örneğimizde ise .php uzantısına sahip olan tüm uzantıları engellemek için bir komut sistemi kullandık. “.php” uzantısının devamına ($) işareti eklediğimizi de unutmayalım. Bu işaret uzantıları engellemek adına kullanılmaktadır.

SEO Nedir? SEO Nasıl Yapılır? SEO Yapılacaklar Listesi yazımızı inceleyerek SEO hakkında detaylı bilgilere ulaşabilirsiniz.