Feed Sayfalarının Engellenmesi

Bu denememizde web sitemizde yer alan "feed" sayfalarının robots.txt üzerinden engellenmesi taranma dışına bırakılması sonucunda tarama bütçesinde iyileşme yakalanması hedeflenmektedir.

Problem

Tarama bütçesinin optimize edilmesi.

Veriler

Feed sayfalarının sürekli olarak taranması ve önemli sayfaların geç keşfedilmesi.

Yöntem

Sorunu çözmek adına robots.txt üzerinde regex yapısı kullanılarak /feed sayfaları tarama haricinde bırakılmıştır.

Sonuçlar

Tarama dışı bırakılan /feed sayfaları sonrasında Google search console tarama istatistiklerinde iyileşmeler gözlemlendiği, özellikle JS ve CSS dosyalarının çok sık taranmaya başlandığı görülmüştür.

Feed sayfalarını robots.txt'den engelleyerek, tarama bütçesini iyileştirmek mümkün mü?

Denedik, evet!

Sürekli olarak Google botları tarafından taranan /feed uzantılı wordpress sayfalarımızın taranmaması adına ve tarama bütçemizde önemli sayfalarımıza yer açmak adına denemeler yaptık.

Bu denemenin ilk adımı olarak söz konusu feed sayfalarının robots.txt dosyasından /*/feed* regex yapısı kullanılarak engelleme yapılmıştır.

Daha sonrasında denemenin sonuçlarını beklemek adına 15 gün beklenmiştir.

İlk deneme yapıldığı gün 21.11.2023 tarihidir.

Deneme neticesinde elde edilen veriler şu şekildedir;

Engelleme sonrasında herhangi bir şekilde Feed yapısı taranmamıştır.
Engelleme sonrasında JS ve CSS dosyalarının taranma sayısı ciddi şekilde artmıştır.
Deneme sonrasında HTML dosyaların taranma sayısı az da olsa artmıştır.
Önemli sayfaların tekrar taranması veya yeni keşfedilme hızı artmıştır.
Deneme ile ilgili görsellere aşağıdan ulaşabilirsiniz.

Deneme ile ilgili görüşlerimizi vermek gerekirse, WordPress üzerinde yer alan feed sayfaları içerisinde çok ciddi ve değerli bilgiler sunmaz. Eğer web sitesinde feed yapısı farklı bir amaç ile kullanılmıyor ise (sitemap gibi) o zaman feed dosyalarının engellenmesinin bir zararı olmayacağını ve aksine yararı olacağını düşünmekteyim.