Robots.txt Nasıl Yazılır? Örnek Dosya ve Sık Yapılan Hatalar

Yeni bir site kurdunuz, arama motorlarına düzgün göründüğünden emin olmak istiyorsunuz ve karşınıza çıkan ilk konu robots.txt oluyor. Ya da tam tersi: sitenizin sayfaları bir sabah Google'dan kayboldu, Search Console "robots.txt tarafından engellendi" diyor ve o dosyaya kimin ne yazdığını bulmaya çalışıyorsunuz. Her iki durumda da işin özü aynı: robots.txt, sitenizin kök dizininde duran düz bir metin dosyasıdır ve tarayıcı botlarına hangi yolları taramamalarını söyler. Tek satırlık bir hata, tüm siteyi arama sonuçlarından silebilecek kadar güçlüdür.

Bu yazıda robots.txt dosyasının söz dizimini satır satır açıklayacağız: User-agent, Disallow, Allow, Sitemap, joker karakterler ve kural önceliği. Ardından WordPress, e-ticaret ve statik site için doğrudan kopyalayıp kullanabileceğiniz tam örnek dosyalar vereceğiz. Dosyayı cPanel'den, FTP'den ve WordPress eklentisinden nasıl oluşturacağınızı adım adım göstereceğiz. Son bölümlerde ise yıllardır tekrar tekrar gördüğüm klasik hataları — Disallow: / kazası, CSS/JS engelleme, robots.txt'yi indeksleme aracı sanma, alt alan adı karışıklığı — gerçek sonuçlarıyla anlatacağız.

Robots.txt Nedir ve Ne İşe Yarar#

Robots.txt, arama motoru botlarına sitenizin hangi bölümlerini taramamaları gerektiğini bildiren, sitenin kök dizininde bulunan düz metin dosyasıdır.

Dosyanın adresi her zaman şudur ve başka bir yerde çalışmaz:

https://alanadiniz.com/robots.txt

Bot siteye gelmeden önce bu adresi ister. Dosya varsa kuralları okur, yoksa 404 alır ve "her yeri tarayabilirim" varsayar. Yani robots.txt'nin olmaması bir hata değildir; küçük ve sade bir sitede dosyanın hiç olmaması gayet normaldir.

Üç noktayı baştan netleştirelim, çünkü robots.txt ile ilgili yanlış anlamaların tamamı bu üçünden çıkar:

1. Robots.txt tarama kontrolüdür, indeksleme kontrolü değildir. Bir sayfayı Disallow ile engellemek, o sayfanın Google'da çıkmayacağı anlamına gelmez. Başka sitelerden ona bağlantı varsa Google sayfayı içeriğini görmeden, sadece bağlantı metnine bakarak indeksleyebilir ve arama sonucunda "Bu sayfa için açıklama kullanılamıyor" notuyla gösterebilir. Bir sayfayı gerçekten arama sonuçlarından çıkarmak istiyorsanız noindex meta etiketi kullanmalısınız.

2. Robots.txt bir güvenlik önlemi değildir. Dosya herkese açıktır; /yonetim/ klasörünü oraya yazarsanız yönetim panelinizin yolunu dünyaya duyurmuş olursunuz. Kötü niyetli botlar bu dosyayı zaten dikkate almaz, üstelik onu keşif haritası olarak kullanır.

3. Kurallara uyulması gönüllüdür. Google, Bing ve Yandex gibi büyük arama motorları uyar. İçerik kazıyıcılar ve spam botları uymak zorunda değildir ve genelde uymaz.

Dosyanın Söz Dizimi ve Direktifler#

Robots.txt basit bir yapıya sahiptir: her satır bir direktif, direktifler User-agent başlığı altında gruplanır.

User-agent grubun başlığıdır. * tüm botlar anlamına gelir. Bir bot dosyayı okurken yalnızca kendisiyle en spesifik eşleşen tek grubu uygular; hem Googlebot hem * grubu varsa Googlebot yalnız kendi grubunu okur, * grubunu tamamen yok sayar. Bu, en sık yapılan mantık hatasıdır:

User-agent: *
Disallow: /gizli/
Sitemap: https://site.com/sitemap.xml

User-agent: Googlebot
Disallow: /test/

Bu dosyada Googlebot /gizli/ klasörünü tarar, çünkü kendi grubunda o satır yoktur. Doğru yaklaşım, Googlebot grubuna da tüm kuralları tekrar yazmaktır.

Disallow ve Allow yol öneki üzerinden çalışır. Disallow: /urun yazarsanız /urun, /urunler, /urun-detay yollarının hepsi engellenir; sadece klasörü kastediyorsanız sonuna eğik çizgi koyun: Disallow: /urun/.

Boş Disallow hiçbir şeyi engellememek demektir:

User-agent: *
Disallow:

Bu dosya "her şey serbest" anlamına gelir. Karıştırmayın: Disallow: / ise "her şey yasak" demektir. Aradaki tek karakter fark, sitenizin arama sonuçlarında var olup olmamasını belirler.

Joker karakterler. Google ve Bing iki özel karakteri destekler:

• * — herhangi bir karakter dizisi
• $ — yolun sonu

# Tüm PDF dosyalarını engelle
Disallow: /*.pdf$

# İçinde ?filtre= geçen tüm URL'leri engelle
Disallow: /*?filtre=

# Sadece tam olarak /gecici ile biten yolu engelle
Disallow: /gecici$

Kural önceliği. Aynı URL'ye hem Allow hem Disallow uyuyorsa, Google daha uzun (daha spesifik) kuralı uygular. Uzunluk eşitse Allow kazanır. Bu davranış istisna yazarken hayat kurtarır:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Burada admin-ajax.php kuralı daha uzun olduğu için o dosya taranabilir kalır — ki bu WordPress'te gereklidir, aksi hâlde bazı ön yüz işlevleri botlar için bozuk görünür.

Yorum satırları # ile başlar ve bot tarafından yok sayılır. Dosyanıza neden hangi kuralı yazdığınızı not düşmek için kullanın; altı ay sonra kendinize teşekkür edersiniz.

Sitemap satırı gruplardan bağımsızdır, dosyanın herhangi bir yerinde durabilir ve mutlaka tam adres içermelidir. Sitemap: /sitemap.xml yazmak geçersizdir. Site haritasını arama motorlarına bildirmenin diğer yolları için site haritası google'a nasıl gönderilir yazısına bakabilirsiniz.

Kopyalanabilir Örnek Dosyalar#

Aşağıdaki dosyalar doğrudan kullanılabilir; alan adını kendi adresinizle değiştirmeniz yeterlidir.

Standart WordPress sitesi:

# WordPress — genel kurulum
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /?s=
Disallow: /*?replytocom=
Disallow: /trackback/
Disallow: /*/feed/

Sitemap: https://alanadiniz.com/sitemap_index.xml

Burada /?s= dahili arama sonuçlarını engeller — bu sayfalar sonsuz sayıda üretilebilir ve tarama bütçenizi boşa harcar. replytocom yorum yanıt bağlantılarıdır ve her yorum için ayrı bir URL üretir.

⚠️ wp-content/uploads klasörünü engellemeyin. Görselleriniz orada durur; engellerseniz Google Görseller'den gelen trafiği tamamen kaybedersiniz.

WooCommerce / e-ticaret sitesi:

# E-ticaret — sepet ve filtre URL'leri
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /sepet/
Disallow: /odeme/
Disallow: /hesabim/
Disallow: /*?add-to-cart=
Disallow: /*?orderby=
Disallow: /*?filter_
Disallow: /*?min_price=
Disallow: /*?rating_filter=

Sitemap: https://alanadiniz.com/sitemap_index.xml

Filtre parametreleri e-ticarette en büyük tarama bütçesi tuzağıdır: renk, beden ve fiyat filtrelerinin kombinasyonu tek kategoriden binlerce benzersiz URL üretir. Bunları engellemek, botun asıl ürün sayfalarınıza vakit ayırmasını sağlar. Aynı sorunun indeksleme tarafındaki çözümü için canonical etiketi nedir yazısını okuyun; iki yöntem birbirini tamamlar.

Statik / kurumsal site:

# Kurumsal site — sade yapı
User-agent: *
Disallow: /gecici/
Disallow: /*.pdf$

Sitemap: https://alanadiniz.com/sitemap.xml

Geliştirme veya test ortamı (yayına almadan önce):

# DİKKAT: bu dosya tüm siteyi taramaya kapatır
# Yalnızca test ortamında kullanın
User-agent: *
Disallow: /

Bu son örnek, birazdan anlatacağımız en pahalı hatanın da kaynağıdır.

Dosyayı Oluşturma: cPanel, FTP ve WordPress#

Robots.txt dosyasını üç yoldan oluşturabilirsiniz; hangisini seçeceğiniz sitenizin yapısına bağlıdır.

Yöntem 1 — cPanel Dosya Yöneticisi:

1. cPanel'e girin, Dosyalar bölümünden Dosya Yöneticisi'ni açın.
2. Sitenizin kök dizinine gidin. Ana alan adı için bu public_html klasörüdür.
3. Üstteki + Dosya düğmesine basın, dosya adını robots.txt yazın, oluşturun.
4. Dosyaya sağ tıklayıp Düzenle'yi seçin, içeriği yapıştırın, kaydedin.
5. İzinleri kontrol edin: 644 olmalıdır. Dosyaya sağ tık → İzinleri Değiştir ile ayarlayabilirsiniz.

Ek alan adları için kök dizin farklıdır; addon domain'in belge kökü genelde public_html/ikinci-alan-adi klasörüdür ve o alan adının robots.txt'si oraya konur. Klasör yapısının nasıl kurulduğunu addon ve parked domain cPanel yazısında ayrıntılı anlattık.

Yöntem 2 — FTP/SFTP ile:

Yerel bilgisayarınızda dosyayı UTF-8 kodlamayla oluşturun (Windows'ta Not Defteri kullanıyorsanız kaydederken kodlamayı UTF-8 seçin, "UTF-8 with BOM" değil) ve kök dizine yükleyin. Komut satırından:

scp robots.txt kullanici@sunucu:/home/kullanici/public_html/robots.txt
ssh kullanici@sunucu "chmod 644 /home/kullanici/public_html/robots.txt"

Yöntem 3 — WordPress sanal dosyası:

WordPress, fiziksel bir robots.txt dosyası yoksa isteği yakalar ve bellekte sanal bir dosya üretir. Yoast SEO veya Rank Math kullanıyorsanız panelden düzenleyebilirsiniz (Yoast: Yoast SEO → Araçlar → Dosya düzenleyici). Eklenti kullanmadan tema functions.php üzerinden de yazabilirsiniz:

add_filter('robots_txt', function ($output, $public) {
    if ('0' === $public) {
        return $output; // site "arama motorlarını engelle" modundaysa dokunma
    }
    $satirlar = [
        'User-agent: *',
        'Disallow: /wp-admin/',
        'Allow: /wp-admin/admin-ajax.php',
        'Disallow: /?s=',
        '',
        'Sitemap: ' . home_url('/sitemap_index.xml'),
    ];
    return implode("\n", $satirlar) . "\n";
}, 10, 2);

⚠️ Bu filtre yalnızca fiziksel dosya yoksa çalışır. Kök dizinde gerçek bir robots.txt varsa sunucu onu servis eder ve PHP hiç devreye girmez. "Eklentiden değiştirdim ama değişmiyor" şikâyetinin sebebi neredeyse her zaman budur — önce public_html içinde fiziksel dosya olup olmadığına bakın.

Kuralları elle yazmak istemiyorsanız robots.txt üretici aracıyla yapıya uygun bir taslak oluşturup üzerinde düzenleme yapabilirsiniz.

Doğrulama: Dosya Gerçekten Çalışıyor mu#

Dosyayı yükledikten sonra üç kontrol yapın; hiçbiri bir dakikadan uzun sürmez.

1. Dosya erişilebilir mi ve doğru içerik dönüyor mu:

curl -sI https://alanadiniz.com/robots.txt | head -n 5
curl -s https://alanadiniz.com/robots.txt

İlk komut HTTP/2 200 ve content-type: text/plain döndürmelidir. text/html dönüyorsa dosyanız yoktur ve gördüğünüz şey 404 sayfanızın içeriğidir — bu durumda botlar dosyayı geçersiz sayar.

2. Yönlendirme zinciri var mı:

curl -sIL https://alanadiniz.com/robots.txt | grep -i "^HTTP\|^location"

www ve https yönlendirmelerinin robots.txt'yi de doğru taşıdığından emin olun. Bir yönlendirme zincirinin ucunda 404 varsa dosya yok sayılır.

3. Belirli bir URL engelleniyor mu: Search Console'daki URL Denetimi aracına şüphelendiğiniz adresi girin; sonuç ekranı "Tarama izin veriliyor mu" satırında net cevap verir. Bir sayfa engelli çıkıyorsa ve olmaması gerekiyorsa robots.txt tarafından engellendi hatası yazısındaki teşhis akışını izleyin.

Siteyi Google'dan Silen Klasik Hatalar#

Bu bölümdeki her madde, sahada gerçekten yaşanmış ve trafik kaybına yol açmış durumlardır.

Hata 1 — Test dosyasını canlıya taşımak. Site geliştirme aşamasında Disallow: / ile kapatılır, yayına alınırken bu satır kaldırılmayı unutulur. Sonuç: Google birkaç gün içinde tüm sayfaları taramayı bırakır, ardından sıralamalar düşer ve sayfalar sonuçlardan çekilir. Yayına alma kontrol listenizin ilk maddesi robots.txt kontrolü olsun.

WordPress'te aynı sonucu üreten ikinci bir düğme daha vardır: Ayarlar → Okuma → Arama motorlarının siteyi dizine eklemesini engelle. Bu kutu işaretliyse WordPress sanal robots.txt'yi Disallow: / olarak üretir ve ayrıca noindex başlığı gönderir. Yeni kurulan sitelerde bu kutunun açık unutulması çok yaygındır.

Hata 2 — CSS ve JavaScript dosyalarını engellemek. Eskiden "tarama bütçesi" gerekçesiyle Disallow: /wp-content/themes/ ve /wp-includes/ yazmak yaygındı. Bugün bu doğrudan zarar verir: Google sayfayı gerçek bir tarayıcı gibi render eder, stil ve script dosyalarını göremezse sayfayı bozuk ve mobil uyumsuz olarak değerlendirir. Search Console'un URL Denetimi ekranındaki "Oluşturulan ekran görüntüsü" bölümü sayfayı stilsiz gösteriyorsa sorun buradadır.

Hata 3 — Robots.txt'yi indeksten çıkarma aracı sanmak. Zaten indekslenmiş bir sayfayı Disallow ile engellerseniz Google o sayfayı artık tarayamaz, dolayısıyla üzerindeki noindex etiketini de göremez ve sayfa indekste kalmaya devam eder. Doğru sıra şudur: önce sayfaya noindex ekleyin, Google'ın onu görüp indeksten düşürmesini bekleyin, sonra isterseniz robots.txt ile engelleyin. Bu ikisini aynı anda yaparsanız sayfa kalıcı olarak sonuçlarda takılı kalabilir.

Hata 4 — Alt alan adını unutmak. Robots.txt yalnızca bulunduğu ana bilgisayar adı için geçerlidir. alanadiniz.com/robots.txt dosyası blog.alanadiniz.com için hiçbir şey ifade etmez; alt alan adının kendi kök dizininde kendi dosyası olmalıdır. Aynı şekilde http:// ve https:// sürümleri de teknik olarak ayrıdır, ancak doğru bir yönlendirme kurulumunda bu sorun kendiliğinden çözülür.

Hata 5 — Yanlış eğik çizgi kullanımı. Disallow: /blog yazmak /blog-yazilari ve /blogger-hakkinda gibi tamamen alakasız yolları da kapatır. Klasör kastediyorsanız Disallow: /blog/ yazın.

Hata 6 — Türkçe karakter ve BOM sorunu. Dosyayı BOM'lu UTF-8 olarak kaydederseniz ilk satırın başına görünmez bir işaret eklenir ve bazı ayrıştırıcılar ilk kuralı okuyamaz. Dosyada yol adlarında Türkçe karakter varsa URL kodlaması kullanın: /ürünler/ yerine /%C3%BCr%C3%BCnler/.

Hata 7 — Crawl-delay yazıp Google'ın uyacağını sanmak. Crawl-delay direktifini Google tanımaz ve yok sayar; Bing ve Yandex kısmen dikkate alır. Google'ın tarama hızını yönetmek istiyorsanız bunu Search Console üzerinden yapmanız gerekir.

Tarama Bütçesi ve Ne Zaman Engellemeli#

Robots.txt'nin gerçek faydası, botun sınırlı zamanını değersiz URL'lere harcamasını engellemektir; buna tarama bütçesi denir.

Ne zaman kural yazmalı, ne zaman yazmamalı:

Küçük bir kurumsal sitede (birkaç yüz sayfa) tarama bütçesi hiç sorun olmaz; oraya karmaşık kurallar yazmak fayda getirmez, sadece hata riski üretir. Bütçe, on binlerce URL üreten e-ticaret ve dizin sitelerinde anlamlı hâle gelir. Sayfalarınızın tarandığı hâlde dizine alınmadığı durumlarda sorun genelde robots.txt değildir; o senaryoyu tarandı dizine eklenmedi hatası yazısında ayrı ele aldık.

Site haritanızın robots.txt'de bildirilmesi de tarama verimliliğini artırır; WordPress tarafında haritanın nasıl üretildiğini ve neyin dâhil edileceğini wordpress xml sitemap yazısında bulabilirsiniz.

Sıkça Sorulan Sorular#

Robots.txt dosyası zorunlu mu#

Hayır, zorunlu değildir. Dosya yoksa arama motorları 404 alır ve sitenin tamamını tarayabileceklerini varsayar; küçük ve sade sitelerde bu tamamen sorunsuz bir durumdur. Dosyayı oluşturmanız gereken durumlar, tarama dışında tutmak istediğiniz bölümlerin bulunması ya da site haritanızı bildirmek istemenizdir. Gereksiz yere karmaşık bir robots.txt yazmak fayda sağlamaz, aksine yanlış kural yazma riski getirir.

Robots.txt ile engellenen sayfa Google'da çıkar mı#

Evet, çıkabilir. Robots.txt taramayı engeller, indekslemeyi değil. Başka sitelerden o sayfaya bağlantı verilmişse Google sayfanın içeriğini görmeden, yalnızca bağlantı metnine dayanarak onu indeksleyebilir ve arama sonucunda açıklama yerine "Bu sayfa için bilgi mevcut değil" benzeri bir not gösterebilir. Bir sayfanın kesinlikle arama sonuçlarında çıkmamasını istiyorsanız robots.txt yerine sayfaya noindex meta etiketi eklemeniz gerekir.

Disallow ile Allow çakışırsa hangisi geçerli olur#

Daha spesifik, yani daha uzun kural geçerli olur. Google eşleşen kuralların karakter uzunluğunu karşılaştırır ve uzun olanı uygular; iki kural aynı uzunluktaysa Allow kazanır. Örneğin Disallow: /wp-admin/ ve Allow: /wp-admin/admin-ajax.php kurallarının birlikte bulunduğu dosyada admin-ajax.php taranabilir kalır, çünkü ikinci kural daha uzundur. Bu davranış, geniş bir engelleme içinde istisna tanımlamanın standart yoludur.

WordPress'te robots.txt dosyasını nereden düzenlerim#

Yoast SEO veya Rank Math kullanıyorsanız eklentinin araçlar bölümündeki dosya düzenleyiciden düzenleyebilirsiniz. Eklenti kullanmıyorsanız tema functions.php içine robots_txt filtresi ekleyerek içeriği kodla üretebilirsiniz. Ancak her iki yöntem de yalnızca kök dizinde fiziksel bir robots.txt dosyası yoksa çalışır; gerçek dosya varsa sunucu doğrudan onu servis eder ve WordPress hiç devreye girmez. Değişikliğiniz yansımıyorsa önce public_html klasöründe fiziksel dosya olup olmadığını kontrol edin.

Alt alan adı için ayrı robots.txt gerekir mi#

Evet, gerekir. Robots.txt yalnızca bulunduğu tam ana bilgisayar adı için geçerlidir, dolayısıyla alanadiniz.com/robots.txt dosyası blog.alanadiniz.com veya shop.alanadiniz.com için hiçbir kural taşımaz. Her alt alan adının kendi belge kökünde kendi robots.txt dosyası bulunmalıdır. cPanel'de alt alan adları genelde ana klasörün altında ayrı bir dizinde durur; dosyayı o dizine koymanız gerekir.

CSS ve JavaScript dosyalarını engellemek zararlı mı#

Evet, ciddi biçimde zararlıdır. Google sayfaları gerçek bir tarayıcı gibi render eder ve bunun için stil ile script dosyalarına erişmesi gerekir. Bu dosyaları engellerseniz Google sayfayı biçimsiz görür, mobil uyumluluk değerlendirmesi bozulur ve sayfanın gerçek düzenini anlayamaz. Search Console'un URL Denetimi ekranındaki oluşturulmuş ekran görüntüsünde sayfanız stilsiz görünüyorsa robots.txt'de tema veya varlık klasörlerini engelleyen bir kural var demektir.

Robots.txt değişikliği ne kadar sürede etkili olur#

Google robots.txt dosyasını genellikle günde bir kez kadar yeniden okur ve önbelleğe alır, dolayısıyla değişikliğin fark edilmesi birkaç saat ile bir gün arasında sürer. Ancak dosyanın okunması ile etkinin sonuçlara yansıması ayrı şeylerdir: yeni açtığınız bir bölümün taranıp indekslenmesi günler, engellediğiniz sayfaların sonuçlardan düşmesi haftalar alabilir. Acil bir durumda Search Console'daki robots.txt raporundan yeniden tarama talep edebilirsiniz.

Robots.txt ile kötü botları engelleyebilir miyim#

Hayır, güvenilir biçimde engelleyemezsiniz. Robots.txt kurallarına uyulması gönüllüdür; içerik kazıyıcılar, spam botları ve zararlı tarayıcılar dosyayı ya hiç okumaz ya da yol keşfi için kullanır. Gerçek engelleme sunucu seviyesinde yapılır: .htaccess veya nginx yapılandırmasıyla user-agent bazlı kural yazmak, güvenlik duvarı üzerinden IP engellemek ya da bir web uygulama güvenlik duvarı kullanmak. Robots.txt'yi güvenlik aracı olarak görmeyin, çünkü içine yazdığınız her yol herkese açıktır.

Kapanış#

Robots.txt küçük bir dosyadır ama etkisi büyüktür: doğru yazıldığında botun vaktini değerli sayfalarınıza yönlendirir, yanlış yazıldığında sitenizi arama sonuçlarından tamamen silebilir. Aklınızda kalması gereken üç şey var. Birincisi, bu dosya tarama kontrolüdür; indeksten çıkarmak için noindex gerekir. İkincisi, güvenlik aracı değildir; içine yazdığınız her yol herkese açıktır. Üçüncüsü, CSS ve JavaScript dosyalarını asla engellemeyin — Google sayfanızı render edemezse doğru değerlendiremez. Dosyayı yazdıktan sonra curl ile içeriğini ve Search Console'un URL Denetimi aracıyla birkaç kritik sayfanın taranabilirliğini mutlaka doğrulayın.

Bu ayarların çoğu barındırma paneli üzerinden birkaç dakikada yapılır; kök dizine erişimin kolay olduğu, dosya yöneticisi ve izin yönetimi düzgün çalışan bir web hosting paketi işi hızlandırır. WordPress kullanıyorsanız sanal robots.txt, site haritası ve SEO eklentisi yapılandırması hazır gelen WordPress hosting paketleri bu adımların çoğunu baştan halleder. Tarama ve indeksleme sorunlarını kendi başınıza takip etmek istemiyorsanız SEO hizmeti teknik denetimi ve düzeltmeleri üstlenir; sunucu seviyesinde bot engelleme, güvenlik duvarı ve erişim kuralları gibi konularda ise sunucu yönetimi hizmeti devreye girer.