Robots.txt Üretici
Arama motoru botlarını yönetmek için doğru biçimli bir robots.txt dosyası oluşturun.
Tüm botlara izin ver
Kapatırsanız tüm site taramaya kapatılır (Disallow: /)
User-agent: * Disallow: /wp-admin/ Disallow: /cgi-bin/ Disallow: /panel/ Sitemap: https://clou.tr/sitemap.xml
robots.txt nasıl çalışır?
Arama motoru botları bir siteyi taramadan önce robots.txt dosyasını okur ve buradaki direktiflere uyar. Doğru yapılandırılmış bir robots.txt, tarama bütçenizi (crawl budget) önemli sayfalara yönlendirir ve gereksiz/özel sayfaların indekslenmesini engeller.
- Disallow: Belirtilen yolun taranmasını engeller
- Sitemap: XML site haritanızın adresini bildirir (önerilir)
- Crawl-delay: Botların istekler arası bekleyeceği saniye
Site haritanızı oluşturmak için sitemap.xml üreticimizi kullanabilirsiniz.
Sıkça Sorulan Sorular
İlgili Araçlar
SEO URL (Slug) Üretici
Türkçe karakterleri dönüştürerek başlıklarınızdan temiz, SEO uyumlu URL'ler oluşturun.
Meta Etiket Üretici
Title, description ve Open Graph etiketlerinizi oluşturun, Google'da nasıl görüneceğini önizleyin.
Sitemap.xml Üretici
URL listenizden Google'a gönderebileceğiniz geçerli bir sitemap.xml dosyası oluşturun.
Hızlı, güvenli ve Türkiye merkezli hosting
NVMe SSD, ücretsiz SSL ve %99.9 uptime garantisi ile web sitenizi Clou.TR'ye taşıyın.