Web Sitesi Robots.txt Dosyası Nedir, Nasıl Ayarlanır?
5 dk okuma
Robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayıp hangilerini taramaması gerektiğini söyleyen basit bir metin dosyasıdır. Yanlış yapılandırıldığında, tüm sitenizin Google'dan gizlenmesi gibi ciddi sonuçlara yol açabilir. Bu yazıda robots.txt'in doğru kullanımını anlatıyoruz.
Robots.txt ne işe yarar?
Bu dosya, arama motoru botlarına yönetim paneli, test sayfaları veya tekrarlayan filtre sonuçları gibi taranmasını istemediğiniz alanları belirtmenizi sağlar. Böylece botların 'tarama bütçesi' önemli sayfalarınıza odaklanır.
Sık yapılan robots.txt hataları
- Yanlışlıkla tüm siteyi engelleyen 'Disallow: /' satırı bırakmak
- Sitemap adresini robots.txt içinde belirtmemek
- Önemli sayfaları yanlışlıkla engellemek
- Dosyayı hiç oluşturmamak (varsayılan davranışa güvenmek her zaman yeterli olmayabilir)
Nasıl kontrol edilir?
Sitenizin robots.txt dosyasına tarayıcıdan 'siteadresi.com/robots.txt' yazarak doğrudan ulaşabilir, hangi alanların engellendiğini görebilirsiniz. Google Search Console'daki robots.txt test aracı da olası hataları gösterir.
Sıkça Sorulan Sorular
Robots.txt olmadan site taranır mı?
Evet, dosya yoksa botlar varsayılan olarak tüm siteyi taramaya çalışır; ama önemli alanları hariç tutmak istiyorsanız bu dosya gereklidir.
Robots.txt sayfaları Google'dan tamamen gizler mi?
Taramayı engeller ama başka bir sayfadan bağlantı varsa sayfa yine de dizine eklenebilir; tam gizlilik için 'noindex' etiketi kullanılmalıdır.
websitesiburada.com Editöryal Ekibi
Bu yazı, platformumuzda listelenen web sitesi uzmanlarıyla yürüttüğümüz projelerden edindiğimiz gözlemler ve güncel fiyat/piyasa verileri baz alınarak editoryal ekibimiz tarafından hazırlanmıştır.
Hakkımızda daha fazla bilgi →Web sitesi yaptırmaya hazır mısınız?
Birkaç soruya cevap verin; ihtiyacınıza uygun uzmanı ve net fiyatı size önerelim.
Web Sitesi İstiyorum