Robots.txt Üreteci

robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi adresleri tarayabileceklerini bildiren düz metin bir dosyadır. Tarama bütçesini yönetmek ve gizli/gereksiz alanları taramadan tutmak için kullanılır.

Dosya, alan adınızın kök dizininde yer almalı ve https://siteniz.com/robots.txt adresinden erişilebilir olmalıdır. Alt dizinlerde (örneğin /klasor/robots.txt) yer alan dosyalar botlar tarafından dikkate alınmaz. Dosya adı tam olarak 'robots.txt' olmalıdır.

Disallow belirtilen yolun taranmasını engeller, Allow ise engellenen bir blok içinde belirli bir yola istisna olarak izin verir. Örneğin /wp-admin/ dizinini engelleyip /wp-admin/admin-ajax.php dosyasına Allow ile izin verebilirsiniz.

Disallow: / satırı, User-agent: * ile birlikte tüm siteyi tüm botlara kapatır; siteniz arama sonuçlarından kaybolabilir. Bu kural yalnızca canlıya çıkmamış staging/test siteleri içindir. Üretim sitenizde yanlışlıkla bırakmamaya dikkat edin.

robots.txt içine 'Sitemap: https://siteniz.com/sitemap.xml' şeklinde tam (mutlak) URL ile eklenir. Bu satır, User-agent bloklarından bağımsızdır ve arama motorlarının site haritanızı hızlıca bulmasını sağlar. Birden fazla sitemap satırı ekleyebilirsiniz.

robots.txt taramayı (crawl) engeller ama indekslemeyi garanti altına almaz; engellenen bir sayfa dış bağlantılarla yine de indekslenebilir. Bir sayfanın arama sonuçlarında kesinlikle görünmemesini istiyorsanız sayfaya noindex meta etiketi ekleyin ve o sayfayı robots.txt ile engellemeyin (aksi halde bot noindex etiketini göremez).