Dijital pazarlama terimi
Robots.txt
Bir web sitesinin kök dizininde yer alan ve arama motoru botlarına sitenin hangi bölümlerini tarayıp hangilerini taramaması gerektiğini bildiren basit metin dosyasıdır; crawl bütçesinin doğru yönetilmesine yardımcı olur. Teknik SEO ekipleri bu dosyayı düzenli denetleyerek yanlış yapılandırmadan kaynaklanan indeksleme kayıplarını önler.
Detaylı açıklama
Bu dosya, arama motoru örümceklerine yönelik kurallar içerir ve genellikle gizli yönetim panelleri, filtrelenmiş arama sonuçları veya tekrar eden sayfalar gibi taranması istenmeyen alanları engellemek için kullanılır. Yanlış yapılandırıldığında önemli sayfaların indekslenmesini de yanlışlıkla durdurabilir.
Dosya, sayfa içeriğini gizlemez; sadece tarama davranışını yönlendirir, bu nedenle hassas verilerin gizlenmesi için güvenli bir yöntem değildir. Sitemap dosyasının konumunu belirtmek için de sık sık bu dosya içinde bir referans bırakılır.
Teknik SEO denetimlerinde bu dosyanın doğru yapılandırılıp yapılandırılmadığını kontrol etmek, crawl bütçesinin gereksiz sayfalara harcanmasını önler ve önemli sayfaların daha hızlı indekslenmesini sağlar.
Sık sorulan sorular
- Robots.txt dosyası sayfaları gizler mi?
- Hayır, sadece botların tarama davranışını yönlendirir; başka yollarla bağlantı verilen sayfalar hâlâ indekslenebilir.
- Robots.txt sitemap ile nasıl ilişkilidir?
- Dosya içine sitemap dosyasının adresi eklenerek arama motorlarına sitenin tüm URL yapısı daha hızlı bildirilebilir.
İlgili Terimler
Topic cluster için dahili bağlantılar — bu kavramlarla birlikte okuyun.
- SEOSEO (Search Engine Optimization), web sitesinin arama motorlarında organik olarak daha görünür olması için yapılan teknik ve içerik çalışmalarının bütünüdür.
- SitemapBir web sitesindeki tüm önemli sayfaların listesini arama motorlarına bildiren XML formatındaki dosyadır; botların site yapısını daha hızlı ve eksiksiz keşfetmesine yardımcı olur. Bu dosyanın güncel tutulması, crawl bütçesinin gereksiz sayfalara harcanmasını önleyerek indekslemeyi hızlandırır.
- Crawl BudgetArama motoru botlarının belirli bir zaman diliminde bir web sitesindeki sayfaları taramak için ayırdığı kaynak miktarını ifade eder; özellikle büyük ölçekli sitelerde önemli sayfaların zamanında indekslenmesini etkiler. Bu kaynağın verimli kullanılması, milyonlarca sayfası olan büyük sitelerde önemli içeriklerin daha hızlı indekslenmesini sağlar.
- Canonical URLAynı veya çok benzer içeriğe sahip birden fazla sayfa arasından arama motorlarına “asıl” kabul edilmesi gereken adresi bildiren HTML etiketi; içerik tekrarından kaynaklanan sıralama sorunlarını önlemek için kullanılır. Özellikle filtreleme parametreleri ve ürün varyantları olan e-ticaret sitelerinde otoritenin sayfalar arasında bölünmesini engeller.