SEO Uyumlu Robots.txt Ve Sitenin Buna İhtiyacı
arama motorları ile sitenin arasında köprü vazifesi gören robots.txt genel olarak kullanımı bilinmeyen bir site dosyasıdır.
SEO uyumlu Robots.txt bir site için en önemli dosyalardan biri olarak karşımıza çıkmaktadır. Sitenin performansını doğrudan etkilemektedir. Çünkü arama motorları ile site arasında köprü görevi görmektedir.
Robots.txt Nasıl Oluşturulur Nerede Bulunur?
Robots.txt nerede bulunur sorusu da merak edilen konulardan biridir. Genel olarak sitenin ana dizininde yer alır. Genel olarak bunu oluşturmak için FTP bağlantı programları kullanılabilir. Her ne kadar işlevi çok büyük olsa da basit bir txt dosyası olarak karşımıza çıkmaktadır. Herhangi bir txt dosyası programı ile yapılabilir.
Bu programlar ile oluşturulması ve ana dizine atılması yeterlidir. Sitenizde herhangi bir şekilde bulunmuyor ise hemen bir tane yazılması gerekmektedir. Aksi takdirde arama motorları ile sıkıntı yaşanabilir.
Bu şekilde kurallara göre oluşturulan bir robots.txt sitenin en önemli parçalarından biri olacaktır. Sadece arama motorları ile değil, aynı zamanda güvenlik alanında da gerekli bir site dosyasıdır. Hemen hemen her sitede bulunması gerekmektedir. Bunun yanında güvenli bir site olup olmadığı da arama motorları tarafından bu dosyaya bakılarak anlaşılmaktadır.
SEO Uyumlu Robots.Txt Nasıl Olmalı?
- User-agent:
- Disallow: /wp-admin/
- Allow: /wp-admin/admin-ajax.php
- Allow: /wp-content/uploads/
- Disallow: /wp-content/plugins/
- Disallow: /readme.html
- Sitemap:
- Sitemap:
- Sitemap:
Burada örnek SEO Uyumlu Robots.txt dosyası bulunmaktadır. Burada bilinmesi gereken bazı kurallar bulunmaktadır. Bu kurallar bilinir ve uygulanır ise site için her arama motorunda daha iyi sonuç almak olası olacaktır.
Örneğin * işareti ile tüm arama motorlarının botlarını kapsayan kurallar belirtilmektedir. Bunun yerine sadece bir arama motorunun yer alması isteniyor ise o arama motorunun bot kuralları koyulmalıdır. Örneğin Google bot ya da Bing bot gibi.
Sürekli olarak değişen SEO kurallarına göre yazılması gereken dosyalar her geçen gün daha fazla ve farklı içeriklere sahne olmaktadır. Bunları takip etmek ve gerekli çalışmaları yapmak hemen her site için olmazsa olmaz durumdadır. Sadece Google için değil diğer arama motorları için de çalışmalar yapmak ve buna göre güncellemek gerekmektedir.
Kaynaklar:1
