"Robots.txt Tarafından Engellendi" Hatası Nedir, Nasıl Çözülür?

Search Console'u açıyorsunuz, Sayfalar raporunda kırmızı bir satır duruyor: robots.txt tarafından engellendi. Altında bazen üç, bazen üç bin URL var. Site canlı, sayfalar tarayıcıda sorunsuz açılıyor, ama Google bunları taramadığını söylüyor. Bu hata özellikle geliştiriciden yeni devralınan sitelerde ve yakın zamanda taşınmış projelerde çok sık görülür: geliştirme ortamında arama motorlarını kapatmak için konulan tek bir satır, canlıya geçerken kimsenin aklına gelmediği için orada kalır ve aylarca sitenin tamamını aramaya kapatır.

Bu yazıda hatanın ne anlama geldiğini, robots.txt dosyanızdaki hangi satırın hangi URL'yi engellediğini URL denetleme aracıyla satır düzeyinde nasıl bulacağınızı, kural eşleşmesinin gerçekte nasıl çalıştığını (çoğu kişinin yanlış bildiği kısım burasıdır), engeli WordPress'te ve düz HTML sitede nasıl kaldıracağınızı ve kaldırdıktan sonra Google'ın önbelleğinin ne zaman yenilendiğini anlatacağım. Ayrıca çok karıştırılan iki uyarıyı — "robots.txt tarafından engellendi" ile "dizine eklendi ancak robots.txt tarafından engellendi" — birbirinden net şekilde ayıracağız, çünkü ikisinin çözümü tamamen farklıdır.

"Robots.txt Tarafından Engellendi" Ne Demek#

Bu uyarı, Googlebot'un sayfanızı indirmeyi bile denemediği anlamına gelir. Sayfada bir hata yoktur, sunucunuz cevap vermemiş değildir, sayfa 404 de vermemiştir. Googlebot URL'yi sıraya almış, taramadan hemen önce alan adınızın kökündeki /robots.txt dosyasına bakmış, o dosyada bu URL'yi kapsayan bir Disallow kuralı görmüş ve isteği hiç göndermeden vazgeçmiştir.

Buradaki kritik ayrım şu: robots.txt tarama kontrolüdür, dizine ekleme kontrolü değildir. Google sayfayı indirmez, içeriğini görmez, başlığını okumaz. Ama başka sitelerden o URL'ye çok sayıda bağlantı geliyorsa, Google URL'yi içeriğini hiç görmeden dizine ekleyebilir. O zaman da arama sonucunda başlık yerine çıplak URL, açıklama yerine "Bu sayfanın açıklaması, sitenin robots.txt dosyası nedeniyle kullanılamıyor" cümlesi görünür. Yıllardır gördüğüm en can sıkıcı senaryo budur: sayfa hem taranmıyor hem de kötü bir görünümle sonuçlarda duruyor.

Engelin kaynağı her zaman tek bir dosyadır ve o dosya her zaman aynı yerdedir:

https://alanadiniz.com/robots.txt

Alt dizinde (/blog/robots.txt) duran bir dosyanın hiçbir hükmü yoktur. Alt alan adları ise ayrı kabul edilir: blog.alanadiniz.com için blog.alanadiniz.com/robots.txt geçerlidir, kök alan adınınki değil. Bu ayrımı bilmeden saatlerce yanlış dosyayı düzenleyen çok kişi gördüm.

Search Console'da Hangi Raporda Görünür#

Uyarı iki farklı yerde, iki farklı anlamla çıkar ve karıştırılırsa yanlış çözüm uygulanır.

Yolu şöyle: Search Console → sol menüde Dizine Ekleme → Sayfalar → aşağıdaki "Sayfalar neden dizine eklenmiyor" tablosu. Satıra tıkladığınızda etkilenen URL örnekleri listelenir. Bu liste örnek listesidir, tam liste değildir; Google genelde bin URL'ye kadar örnek gösterir, gerçek sayı üstteki rakamdır.

Sitenizde Search Console mülkü henüz kurulu değilse ya da alan adı doğrulaması yapılmadıysa bu raporlara hiç erişemezsiniz; önce Search Console kurulumunu tamamlamanız gerekir.

Engelleyen Satırı URL Denetleme Aracıyla Bulma#

Buraya kadar olan kısmı çoğu Türkçe kaynak anlatıyor. Asıl işi gören adım şu ve nedense hiçbir yerde yazmıyor: hangi kuralın eşleştiğini Google size doğrudan söyler.

1. Search Console'un en üstündeki arama kutusuna sorunlu URL'nin tamamını yapıştırın (https:// dahil, mülkünüzle aynı protokol ve alt alan adı olmalı).
2. Enter'a basın, "URL Google'da mevcut değil" ekranı gelsin.
3. Sayfa dizine ekleme bölümünü açın. Orada "Tarama izin veriliyor mu?" satırında Hayır: robots.txt tarafından engellendi yazar.
4. Aynı ekranda sağ üstteki CANLI URL'Yİ TEST ET düğmesine basın. Test bittiğinde açılan panelde Diğer bilgileri görüntüle → robots.txt sekmesine geçin.
5. Google burada size o an kullandığı robots.txt dosyasının içeriğini ve eşleşen satırı vurgulayarak gösterir.

Beşinci adım, tüm işi bitiren adımdır. Kendi gözünüzle "şu satır bu URL'yi kesiyor" dersiniz, tahmin etmezsiniz. Çünkü pratikte robots.txt dosyaları 40-50 satırı bulur, içinde birden fazla User-agent bloğu olur ve insanlar sürekli yanlış bloktaki satırı düzeltip sorunun neden geçmediğini anlamaya çalışır.

İkinci doğrulama noktası Search Console'un Ayarlar → robots.txt raporudur. Bu rapor Google'ın dosyanızı en son ne zaman getirdiğini, getirirken aldığı HTTP durum kodunu ve o anki içeriğini gösterir. Dosyayı değiştirdiyseniz ama burada hâlâ eski içerik görünüyorsa, sorununuz robots.txt'de değil önbellektedir — o kısma birazdan geleceğiz.

Sunucu tarafında hızlı kontrol için:

curl -sI https://alanadiniz.com/robots.txt | head -1
curl -s https://alanadiniz.com/robots.txt

İlk komut durum kodunu verir. 200 bekliyorsunuz. 301 görüyorsanız dosya başka bir adrese yönleniyordur ve yönlendirmenin ucundaki içerik geçerli olur. 403 veya 500 görüyorsanız Google dosyayı okuyamıyor demektir ve bu kendi başına ayrı bir sorundur: Google robots.txt'yi 5xx ile alamadığında sitenin tamamını geçici olarak taranamaz kabul edebilir.

Kural Eşleşmesi Gerçekte Nasıl Çalışır#

Türkçe içerikte en çok atlanan konu bu. İnsanlar dosyanın yukarıdan aşağı okunduğunu ve ilk eşleşen satırın kazandığını sanıyor. Böyle değil. Google'ın kural motoru şöyle çalışır:

• Önce isteği yapan bot için tek bir User-agent bloğu seçilir. Googlebot yazan blok varsa * bloğu tamamen yok sayılır. Bu yüzden * bloğunda Allow: / yazması, Googlebot bloğundaki Disallow: / satırını kurtarmaz.
• Seçilen blok içinde, URL yoluna uyan tüm Allow ve Disallow kuralları toplanır.
• Kazanan, yol karakter sayısı en uzun olan kuraldır. Sıra hiç önemli değildir.
• İki kural aynı uzunluktaysa Allow kazanır.

Bir örnek üzerinden bakalım:

User-agent: *
Disallow: /urun/
Allow: /urun/ozel-kampanya

Burada /urun/ozel-kampanya adresine izin verilir, çünkü Allow kuralının yolu (/urun/ozel-kampanya, 20 karakter) Disallow kuralından (/urun/, 6 karakter) uzundur. /urun/telefon ise engellidir. Dosyada Allow satırının Disallow'dan önce ya da sonra yazması hiçbir şeyi değiştirmez.

Joker karakterler de sık yanlış kullanılır:

Son satır özellikle tehlikelidir çünkü Disallow: (boş değer) "hiçbir şeyi engelleme" demektir, ama Disallow: / (tek eğik çizgi) "her şeyi engelle" demektir. Aradaki fark tek karakterdir ve bir sitenin arama görünürlüğünü tamamen kapatır. Kuralları elle yazmak yerine robots.txt üretici aracını kullanmak bu tür tek karakterlik hataları büyük ölçüde önler; kuralların söz dizimini derinlemesine görmek isterseniz robots.txt nasıl yazılır yazısı satır satır anlatıyor.

En Sık Karşılaşılan Altı Engel Nedeni#

Yıllar içinde bu hatanın kaynağı neredeyse her zaman şu altı başlıktan biri oldu:

1. Geliştirme ortamından kalan Disallow: /. Site staging'de arama motorlarına kapatılır, canlıya alınırken dosya olduğu gibi taşınır. Tek satır, tüm site. En sık sebep budur.
2. WordPress'in "Arama motorlarını engelle" ayarı. Ayarlar → Okuma altındaki tek onay kutusu. İşaretliyse WordPress sanal robots.txt'ye Disallow: / yazar ve ayrıca sitenin başlığına noindex ekler. Yani çift kilit.
3. SEO eklentisinden düzenlenmiş robots.txt. Eklenti panelinden yazılan kurallar fiziksel dosyada değil veritabanında durur; FTP'de dosya aramak sonuç vermez.
4. Güvenlik veya önbellek eklentisinin eklediği kurallar. Bazı eklentiler /wp-content/ ya da /wp-includes/ altını topluca kapatır. Bu, sayfanın CSS ve JS dosyalarının da taranamaması demektir; Google sayfayı çıplak HTML olarak görür ve mobil uyumluluk değerlendirmesi bozulur.
5. Sunucu düzeyinde yanlış yönlendirme. .htaccess içindeki genel bir yönlendirme kuralı /robots.txt isteğini de ana sayfaya çevirir; Google ana sayfanın HTML'ini robots.txt sanır ve ayrıştırılamayan içerik yüzünden beklenmedik davranır.
6. Yanlış belge kökü. cPanel'de eklenen ikinci alan adı kendi klasörüne bakar; siz kök public_html içindeki robots.txt'yi düzenlerken alan adı bambaşka bir dosyayı sunuyordur. Bu senaryonun tamamı addon ve park edilmiş alan adı yapılandırması yazısında ayrıca ele alınıyor.

Engeli Kaldırma: Adım Adım#

WordPress sitesinde:

1. Yönetim paneli → Ayarlar → Okuma → "Arama motorlarının siteyi dizine eklemesini engelle" kutusunun işaretini kaldırın, kaydedin.
2. SEO eklentiniz varsa onun robots.txt düzenleyicisini açın (genelde Araçlar ya da Dosya Düzenleyici altındadır) ve içeriği kontrol edin.
3. FTP ile kök dizine bakın. Fiziksel bir robots.txt dosyası varsa WordPress'in sanal dosyası devre dışı kalır; gerçek içerik odur.
4. Değişiklikten sonra gizli pencerede https://alanadiniz.com/robots.txt adresini açın ve içeriği kendi gözünüzle doğrulayın.

Düz HTML, panel üzerinden yönetilen sitede: cPanel → Dosya Yöneticisi → public_html → robots.txt dosyasını sağ tıklayıp Düzenle. Dosya yoksa oluşturun. Sağlıklı bir başlangıç içeriği şudur:

User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://alanadiniz.com/sitemap.xml

Sunucuya SSH erişiminiz varsa değişiklikten önce mutlaka yedek alın:

cp /var/www/alanadiniz.com/public_html/robots.txt /root/robots.txt.yedek-$(date +%F)
nano /var/www/alanadiniz.com/public_html/robots.txt

Dosya izinleri de gözden kaçar. robots.txt herkes tarafından okunabilir olmalıdır:

chmod 644 robots.txt

İzin 600 ise sunucu dosyayı okuyamaz, ziyaretçiye ve Googlebot'a 403 döner.

Google Önbelleği Ne Zaman Yenilenir#

Bu sorunun cevabı Türkçe kaynaklarda ya hiç yok ya da "birkaç gün" diye geçiştiriliyor. Gerçek şu: Google robots.txt dosyanızı önbelleğe alır ve önbellek genellikle 24 saate kadar geçerli kalır. Yani dosyayı düzelttiğiniz an Googlebot yeni kuralları uygulamaya başlamaz; bir sonraki getirmeye kadar eski kurallara göre davranır.

Beklemeyi kısaltmanın yolu var:

1. Search Console → Ayarlar → robots.txt raporunu açın.
2. İlgili ana bilgisayarın satırındaki üç nokta menüsünden Yeniden tarama iste seçeneğini kullanın.
3. Ardından URL Denetleme aracında sorunlu bir URL için CANLI URL'Yİ TEST ET çalıştırın. Canlı test önbelleği atlar ve size dosyanın güncel hâline göre sonuç verir.
4. Sonuç "Tarama izin veriliyor mu: Evet" dönüyorsa Dizine eklenmesini iste düğmesine basın.

Bundan sonrası artık robots.txt'nin işi değildir; sayfanın gerçekten dizine girmesi ayrı bir süreçtir ve bu aşamada taranan ama dizine eklenmeyen sayfa ya da keşfedildi ancak dizine eklenmedi durumlarıyla karşılaşabilirsiniz. Sayfaların Google'a düzenli ulaşması için site haritanızın da güncel ve gönderilmiş olması gerekir; site haritasını Search Console'a göndermeyi atlamayın.

Search Console'un Sayfalar raporundaki sayının düşmesi ise en yavaş kısımdır. Rapor toplu işlenir; engeli kaldırdıktan sonra rakamın gerçekten düşmesi çoğu sitede bir-iki haftayı bulur. Raporda Düzeltmeyi doğrula düğmesine basmak bu kuyruğu hızlandırır ve süreç bittiğinde size e-posta gelir. Düğmeye bastıktan sonra doğrulama başarısız olursa Google hangi URL'de hâlâ engel gördüğünü listeler; o URL'yi tek tek denetleyip kalan kuralı bulabilirsiniz.

Kasıtlı Engeller: Neyi Kapatmalı, Neyi Kapatmamalı#

Her "robots.txt tarafından engellendi" satırı sorun değildir. Bazı yolların kapalı olması doğrudur ve raporda görünmeleri normaldir. Genel kural şudur: kullanıcıya değer üretmeyen, arama sonucunda görünmesini hiç istemeyeceğiniz teknik adresler kapatılır.

Bir sayfanın arama sonuçlarında kesinlikle görünmemesi gerekiyorsa robots.txt yanlış araçtır. Doğru yöntem sayfayı taranabilir bırakıp <meta name="robots" content="noindex"> etiketi eklemektir. Çünkü Google etiketi görebilmek için sayfayı indirmek zorundadır; robots.txt ile kapattığınızda etiketi hiç göremez ve URL bağlantılar üzerinden yine dizine girebilir. "Dizine eklendi ancak robots.txt tarafından engellendi" uyarısının tek doğru çözümü budur: önce engeli kaldır, Google sayfayı görsün ve noindex etiketini okusun, sayfa dizinden düştükten sonra istersen robots.txt engelini geri koy.

Değişiklikten Sonra Neyi Kontrol Etmeli#

Engeli kaldırdıktan sonra iş bitmiş sayılmaz. Şu beş kontrolü aynı gün yapın:

1. Gizli pencerede https://alanadiniz.com/robots.txt — içerik beklediğiniz gibi mi.
2. curl -sI ile durum kodu 200 mü, herhangi bir yönlendirme var mı.
3. URL Denetleme → canlı test → "Tarama izin veriliyor mu: Evet".
4. Sitenin CSS ve JS dosyalarından birini de denetleyin; tema klasörü kapalıysa sayfa Google'ın gözünde bozuk görünür.
5. robots.txt içinde Sitemap: satırı var mı ve verdiği adres gerçekten açılıyor mu.

Beşinci maddeyi özellikle vurgulamak istiyorum. Sitemap satırı zorunlu değildir ama Google'ın site haritanızı bulmasının en ucuz yoludur ve tek satır maliyeti vardır. Site haritası adresi HTTP yerine HTTPS, www'lu yerine www'suz yazıldığında sorun çıkarmaz; yine de mülkünüzle aynı biçimde yazmanız karışıklığı önler.

Sıkça Sorulan Sorular#

robots.txt dosyasını silsem ne olur#

Dosyayı tamamen silmek, sitenin tamamının taranmasına izin vermekle aynı sonucu verir. Google /robots.txt adresine gider, 404 alır ve "kısıtlama yok" kabul edip taramaya devam eder. Bu davranış güvenlidir; robots.txt'nin olmaması bir hata değildir ve Search Console bunu sorun olarak raporlamaz. Ancak dosyayı silmek yerine içeriğini User-agent: * ve Allow: / olarak düzenlemek daha iyidir, çünkü ileride bir yolu kapatmanız gerektiğinde dosya hazır bekler ve Sitemap satırını da orada tutabilirsiniz.

Engeli kaldırdım ama Search Console hâlâ hata gösteriyor#

Bu normaldir ve neredeyse her zaman önbellek ile rapor gecikmesinden kaynaklanır. Google robots.txt dosyanızı 24 saate kadar önbellekte tutar, Sayfalar raporu ise toplu işlendiği için rakamların düşmesi bir-iki hafta sürebilir. Gerçek durumu hemen görmek için URL Denetleme aracında canlı test çalıştırın: orada "Tarama izin veriliyor mu" satırı "Evet" diyorsa engel gerçekten kalkmıştır. Raporu hızlandırmak için hata satırındaki "Düzeltmeyi doğrula" düğmesini kullanın; süreç tamamlandığında bildirim gelir.

robots.txt ile noindex arasındaki fark nedir#

robots.txt taramayı, noindex ise dizine eklemeyi engeller. robots.txt ile kapatılan bir sayfayı Google indirmez, dolayısıyla içindeki noindex etiketini de göremez; bu yüzden ikisini aynı sayfada birlikte kullanmak noindex'i işlevsiz hâle getirir. Bir sayfanın arama sonuçlarında kesinlikle çıkmaması gerekiyorsa robots.txt engelini kaldırıp sayfaya noindex etiketi koymalısınız. Tarama bütçesini korumak istiyorsanız ve sayfanın dizine girip girmemesi umurunuzda değilse robots.txt uygun araçtır.

WordPress'te robots.txt dosyasını FTP'de bulamıyorum#

WordPress fiziksel dosya yoksa robots.txt'yi sanal olarak üretir, yani dosya sunucuda gerçekten yer almaz. İçeriği Ayarlar → Okuma bölümündeki arama motoru ayarı ve kurulu SEO eklentinizin kuralları belirler. Kalıcı ve elle yönetilen bir dosya istiyorsanız kök dizine gerçek bir robots.txt oluşturmanız yeterlidir; fiziksel dosya varsa WordPress sanal üretimi devre dışı bırakır ve sizin dosyanız sunulur. Bu yüzden değişiklik sonrası tarayıcıdan adresi açıp hangi içeriğin geldiğini mutlaka doğrulayın.

Alt alan adım için ayrı robots.txt gerekir mi#

Evet, her alt alan adının kendi robots.txt dosyası vardır ve ana alan adınınki alt alan adını bağlamaz. blog.alanadiniz.com için geçerli dosya https://blog.alanadiniz.com/robots.txt adresindedir. Aynı şekilde HTTP ve HTTPS de Google açısından farklı kaynaklardır, ancak pratikte HTTP adresi HTTPS'e yönlendiriliyorsa yönlendirmenin ucundaki dosya kullanılır. Test ve staging ortamlarınızı kapatırken bu ayrımı hatırlayın: staging alt alan adına koyduğunuz Disallow: / canlı siteyi etkilemez, tersi de doğrudur.

Tüm siteyi engelleyen satır hangisidir#

Disallow: / satırı, ait olduğu User-agent bloğu için sitenin tamamını kapatır. Tek eğik çizgi tüm yolların önekiyle eşleştiği için istisnasız her URL bu kurala takılır. Buna karşılık değeri boş bırakılmış Disallow: satırı hiçbir şeyi engellemez ve tamamen zararsızdır; aradaki fark yalnızca bir karakterdir. Dosyanızda Disallow: / görüyorsanız ve site canlıysa, bu satır neredeyse kesinlikle geliştirme ortamından kalmıştır ve kaldırılması gerekir.

CSS ve JS dosyalarını engellemek zararlı mı#

Evet, zararlıdır. Google sayfayı gerçek bir tarayıcı gibi oluşturur ve bunun için stil ile betik dosyalarına erişmesi gerekir. Tema veya eklenti klasörlerini toptan kapattığınızda Google sayfayı biçimsiz ham HTML olarak görür; mobil uyumluluk ve sayfa deneyimi değerlendirmeleri bundan olumsuz etkilenir. Yönetim arayüzü gibi gerçekten gizli kalması gereken yolları kapatın, ancak wp-content ve wp-includes altındaki varlık dosyalarını taranabilir bırakın. URL Denetleme aracının ekran görüntüsü sekmesi, Google'ın sayfanızı nasıl gördüğünü test etmenin en hızlı yoludur.

robots.txt değişikliğinin etkisi sıralamama ne zaman yansır#

Engelin kalkması taramayı hemen mümkün kılar ama sıralama etkisi kademelidir. Google önce URL'yi tarar, sonra işler, sonra dizine ekler; bu zincir tek sayfa için birkaç günde tamamlanabilir, binlerce sayfalık bir sitede haftalara yayılır. Site tamamen kapalıyken açıldıysa toparlanma daha da uzun sürer, çünkü Google sitenin tamamını yeniden keşfetmek zorundadır. Süreci hızlandırmak için güncel bir site haritası gönderin ve önemli sayfalar için URL Denetleme aracından dizine ekleme isteğinde bulunun.

Kapanış#

"Robots.txt tarafından engellendi" hatası göründüğü kadar karmaşık değildir: kaynağı her zaman tek bir dosya, çoğu zaman tek bir satırdır. İşi kolaylaştıran şey tahmin etmeyi bırakıp URL Denetleme aracının canlı testine bakmaktır — Google eşleşen kuralı size doğrudan gösterir. Kural motorunun "en uzun kural kazanır" mantığını, Disallow: / ile boş Disallow: arasındaki tek karakterlik farkı ve robots.txt'nin dizine ekleme değil tarama kontrolü olduğunu bildiğinizde bu hatayı bir daha teşhis etmeniz dakikalar alır. Engeli kaldırdıktan sonra 24 saatlik önbelleği ve rapor gecikmesini hesaba katın; canlı test "Evet" diyorsa iş bitmiştir, raporun güncellenmesini beklemek yeterlidir.

Bu tür ayarların bir kısmı barındırma tarafındaki yapılandırmayla iç içedir: yanlış belge kökü, çalışmayan .htaccess yönlendirmeleri ve alt alan adı karışıklıkları genelde panel seviyesinde çözülür. cPanel üzerinden dosya yöneticisi ve alan adı yapılandırmasına doğrudan erişmek için web hosting paketlerine ya da WordPress'e özel yapılandırılmış WordPress hosting tarafına bakabilirsiniz. Siteniz düzenli bakım, güncelleme ve teknik SEO takibi gerektiriyorsa bu işi üstlenen WordPress bakım ve SEO hizmetleri de bu kontrolleri sizin yerinize periyodik olarak yapar.