Tarama engeli, bir URL’nin arama sonuçlarından kesin olarak kaldırılması değildir.
Hazır şablonlar
İzin verilen yollar (Allow)
Engellenen yollar (Disallow)
robots.txt çıktısı
User-agent: *
Disallow: /admin/
robots.txt nedir, nasıl çalışır?
robots.txt, sitenizin kök dizininde yer alan ve arama motoru botlarına hangi adresleri tarayabileceklerini bildiren düz metin bir dosyadır. Tarama yönetimi için standart bir protokoldür (Robots Exclusion Protocol).
User-agent: Kuralın hangi bota uygulanacağını belirtir (* tüm botlar).
Allow: Engellenen bir blok içinde belirli yola izin verir. Allow: /admin/yardim/
Sitemap: XML site haritanızın tam URL'sini bildirir, indekslemeyi hızlandırır.
Crawl-delay: Bazı botların istekler arasında bekleyeceği süre (saniye).
robots.txt taramayı (crawl) yönetir; indekslemeyi garanti etmez. Bir sayfanın arama sonuçlarında kesinlikle görünmemesini istiyorsanız noindex meta etiketi kullanın — engellenen sayfalar yine de dış bağlantılarla indekslenebilir.
Sık sorulan sorular
Aklınızdaki sorulara birlikte bakalım
DETAYLARrobots.txt nedir?
İHTİYAÇ / ÇÖZÜM / YAKLAŞIMrobots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi adresleri tarayabileceklerini bildiren düz metin bir dosyadır. Tarama bütçesini yönetmek ve gizli/gereksiz alanları taramadan tutmak için kullanılır.
DETAYLARrobots.txt dosyası nereye konur?
İHTİYAÇ / ÇÖZÜM / YAKLAŞIMDosya, alan adınızın kök dizininde yer almalı ve https://siteniz.com/robots.txt adresinden erişilebilir olmalıdır. Alt dizinlerde (örneğin /klasor/robots.txt) yer alan dosyalar botlar tarafından dikkate alınmaz. Dosya adı tam olarak 'robots.txt' olmalıdır.
DETAYLARAllow ve Disallow arasındaki fark nedir?
İHTİYAÇ / ÇÖZÜM / YAKLAŞIMDisallow belirtilen yolun taranmasını engeller, Allow ise engellenen bir blok içinde belirli bir yola istisna olarak izin verir. Örneğin /wp-admin/ dizinini engelleyip /wp-admin/admin-ajax.php dosyasına Allow ile izin verebilirsiniz.
DETAYLARDisallow: / yazmak neden tehlikelidir?
İHTİYAÇ / ÇÖZÜM / YAKLAŞIMDisallow: / satırı, User-agent: * ile birlikte tüm siteyi tüm botlara kapatır; siteniz arama sonuçlarından kaybolabilir. Bu kural yalnızca canlıya çıkmamış staging/test siteleri içindir. Üretim sitenizde yanlışlıkla bırakmamaya dikkat edin.
WEBSitemap satırı nasıl eklenir?
İHTİYAÇ / ÇÖZÜM / YAKLAŞIMrobots.txt içine 'Sitemap: https://siteniz.com/sitemap.xml' şeklinde tam (mutlak) URL ile eklenir. Bu satır, User-agent bloklarından bağımsızdır ve arama motorlarının site haritanızı hızlıca bulmasını sağlar. Birden fazla sitemap satırı ekleyebilirsiniz.
DETAYLARrobots.txt ile noindex arasındaki fark nedir?
İHTİYAÇ / ÇÖZÜM / YAKLAŞIMrobots.txt taramayı (crawl) engeller ama indekslemeyi garanti altına almaz; engellenen bir sayfa dış bağlantılarla yine de indekslenebilir. Bir sayfanın arama sonuçlarında kesinlikle görünmemesini istiyorsanız sayfaya noindex meta etiketi ekleyin ve o sayfayı robots.txt ile engellemeyin (aksi halde bot noindex etiketini göremez).
Ücretsiz · Bağlayıcı değil
Hesap tamam. Konuşalım mı?
Numaranızı bırakın, biz sizi arayalım. İhtiyacınızı 5 dakikada dinleyip yol haritasını birlikte çıkaralım — satış konuşması değil, teknik sohbet.
