AI Botları Sunucumu Yoruyor: GPTBot ve ClaudeBot Nasıl Engellenir

Hafta içi bir sabah cPanel'in kaynak kullanımı grafiğine bakıyorsunuz ve CPU çizgisi son üç gündür tavanda takılı kalmış. Ziyaretçi sayınız değişmemiş, yeni bir kampanya yayınlamamışsınız, hatta Analytics'te trafik biraz düşmüş bile. Ama sunucu nefes alamıyor: sayfalar 4-5 saniyede açılıyor, arada 503 hatası düşüyor, paylaşımlı pakette "kaynak limitini aştınız" uyarısı geliyor.

Erişim logunu açtığınızda tablo netleşir. Aynı IP bloğundan gelen, saniyede birkaç istek atan, sitenizin arşiv sayfalarını, etiket kombinasyonlarını ve ürün filtrelerini tek tek dolaşan bir tarayıcı vardır. User-agent satırında GPTBot, ClaudeBot, Bytespider ya da meta-externalagent yazar. Bu botlar Googlebot gibi nazik davranmaz; çoğu sitenin sunucu kapasitesini hesaba katmadan, elinden geldiğince hızlı tarar.

Bu yazıda üç şeyi sırayla yapacağız: yükün gerçekten AI botlarından geldiğini logdan kanıtlayacağız, hangi botun ne işe yaradığını ayırt edip neyi engelleyeceğimize karar vereceğiz, ardından robots.txt'in neden yeterli olmadığını gösterip Apache, Nginx ve Cloudflare katmanlarında gerçek engellemeyi kuracağız. Sonunda da engellemenin işe yarayıp yaramadığını doğrulamanın yolunu göstereceğim.

Sunucuyu Gerçekten AI Botları mı Yoruyor?#

Tahminle iş yapmayın. "Herhalde AI botlarıdır" diyerek bir kural yazmak, bir hafta sonra Googlebot'u da engellediğinizi fark etmenizle biter. Önce ölçün.

Kombine log formatındaki erişim logunda user-agent altıncı tırnak alanıdır. En çok istek atan yirmi tarayıcıyı şöyle listelersiniz:

# Nginx
awk -F'"' '{print $6}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20

# Apache / cPanel (ham log ev dizininde durur)
awk -F'"' '{print $6}' ~/access-logs/ornek.com | sort | uniq -c | sort -rn | head -20

# Sıkıştırılmış eski loglar da dahil
zcat -f /var/log/nginx/access.log* | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn | head -20

Çıktının ilk satırlarında insan tarayıcı imzaları yerine bot isimleri görüyorsanız teşhis nettir. Bir adım daha ileri gidip bilinen AI tarayıcılarını tek tek sayın:

LOG=/var/log/nginx/access.log
for ua in GPTBot OAI-SearchBot ChatGPT-User ClaudeBot Claude-User Claude-SearchBot \
          PerplexityBot Bytespider CCBot Amazonbot meta-externalagent Applebot-Extended; do
  printf '%-22s %8s\n' "$ua" "$(grep -c -- "$ua" "$LOG")"
done

Sadece istek sayısı yanıltıcı olabilir; asıl acıtan şey trafiktir. Bir botun tükettiği bant genişliğini bulmak için kombine logdaki onuncu alanı (yanıt boyutu) toplayın:

grep GPTBot /var/log/nginx/access.log | awk '{s+=$10} END {printf "%.1f MB\n", s/1048576}'

Bir müşteri sunucusunda ölçtüğümüz gerçek bir örnekte, bir WooCommerce mağazasının günlük 41 GB çıkış trafiğinin 26 GB'ı tek bir tarayıcıya aitti; bot, ürün filtreleri yüzünden aynı 900 ürünü binlerce farklı URL kombinasyonuyla tekrar tekrar indiriyordu. Yani sorun botun kendisi değil, botun sitenizde bulduğu sonsuz URL uzayıydı.

Son olarak botun hangi sayfalara saldırdığına bakın. Kalıp buradan çıkar:

grep ClaudeBot /var/log/nginx/access.log | awk '{print $7}' \
  | sed 's/?.*//' | sort | uniq -c | sort -rn | head -15

Filtre parametreleri, takvim arşivleri veya arama sonuç sayfaları listenin başındaysa, engellemeden önce o URL'leri kapatmak tek başına yükün yarısını çözebilir. Sunucu tarafında hangi kaynağın tükendiğini takip etmek için cPanel kaynak kullanımı izleme yazısındaki grafikleri log verisiyle yan yana koyun.

Hangi Bot Ne İş Yapıyor: Eğitim, Arama ve Kullanıcı Tetikli Tarayıcılar#

Buradaki en kritik nokta şu: "AI botu" tek bir şey değil. Aynı şirket birden fazla tarayıcı çalıştırır ve bunların amaçları birbirinden bağımsızdır. Hepsini birden kapatırsanız yükü kesersiniz ama ChatGPT veya Claude bir kullanıcıya cevap verirken sitenize kaynak olarak atıf yapamaz hale gelir. Bu, gitgide büyüyen bir trafik kanalını kendi elinizle kapatmak demektir.

Kabaca üç kategori vardır:

Bu tablodaki en çok yanlış anlaşılan satır sonuncusudur: Google-Extended gerçek bir tarayıcı değil, robots.txt içinde kullanabileceğiniz bir izin anahtarıdır. Onu engellemek Googlebot'u engellemez, arama sıralamanızı etkilemez. Aynı mantık Applebot-Extended için de geçerlidir.

Pratik strateji şu olmalı: eğitim tarayıcılarını ve saf veri kazıyıcıları kapatın, arama ve kullanıcı tetikli botları açık bırakın. Böylece sunucu yükünün büyük kısmını keser, ama bir kullanıcı Claude'a ya da ChatGPT'ye soru sorduğunda sitenizin kaynak gösterilmesine engel olmazsınız. Zaten yükü asıl yaratan da eğitim tarayıcılarıdır; kullanıcı tetikli botlar günde birkaç yüz istekten fazlasını nadiren atar.

robots.txt Bir Rica, Engelleme Değildir#

robots.txt bir güvenlik mekanizması değil, gönüllü bir protokoldür. Sunucunuz dosyayı okuyup kimseyi durdurmaz; botun kendisi dosyayı okur ve uymayı seçer. Büyük operatörler (OpenAI, Anthropic, Google) genellikle uyar. Kimliğini gizleyen kazıyıcılar ve sahte user-agent kullananlar için hiçbir anlam ifade etmez.

Yine de ilk adım olarak yazılmalıdır, çünkü kurallara uyan botları hiç sunucuya gelmeden caydırır. Amacınız "eğitimi kapat, aramayı aç" ise dosyanız şöyle görünür:

# Eğitim tarayıcıları — kapalı
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# Arama ve kullanıcı tetikli botlar — açık
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://ornek.com/sitemap.xml

Üç kural dikkat ister. Birincisi, User-agent satırları tam eşleşme değil ön ek eşleşmesiyle çalışır; Claude yazarsanız ClaudeBot, Claude-User ve Claude-SearchBot'un üçünü birden kapatırsınız. İkincisi, her bot kendi bloğunu okur; blokları boş satırla ayırmazsanız kurallar birleşir. Üçüncüsü, Crawl-delay direktifini Googlebot ve OpenAI botları yok sayar, bazı küçük tarayıcılar dikkate alır — yani yavaşlatma stratejisi için güvenilecek bir araç değildir.

Sözdizimi ayrıntıları ve daha geniş örnekler için robots.txt nasıl yazılır yazısına bakın. Yanlışlıkla arama motorlarını da kapatırsanız Search Console'da göreceğiniz uyarının çözümü ise robots.txt tarafından engellendi hatası yazısında.

.htaccess ile Apache Tarafında Gerçek Engelleme#

Paylaşımlı hostingdeyseniz elinizdeki en güçlü araç .htaccess'tir. Burada bot artık "rica" ile değil, HTTP 403 ile karşılanır. Apache 2.4 için temiz yöntem SetEnvIf ile bir bayrak koyup erişimi ona göre reddetmektir:

<IfModule mod_setenvif.c>
    BrowserMatchNoCase "GPTBot"        yapay_zeka_botu
    BrowserMatchNoCase "ClaudeBot"     yapay_zeka_botu
    BrowserMatchNoCase "CCBot"         yapay_zeka_botu
    BrowserMatchNoCase "Bytespider"    yapay_zeka_botu
    BrowserMatchNoCase "Amazonbot"     yapay_zeka_botu
    BrowserMatchNoCase "Diffbot"       yapay_zeka_botu
    BrowserMatchNoCase "ImagesiftBot"  yapay_zeka_botu
</IfModule>

<RequireAll>
    Require all granted
    Require not env yapay_zeka_botu
</RequireAll>

BrowserMatchNoCase "ClaudeBot" yazarken dikkat edin: bu kalıp Claude-User ile eşleşmez, çünkü ortada tire vardır. Yani arama ve kullanıcı botlarını yanlışlıkla kapatmazsınız. Ama BrowserMatchNoCase "Claude" yazsaydınız üçünü birden keserdiniz.

mod_rewrite tercih ederseniz aynı işi tek bir koşulla yaparsınız:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|Amazonbot|Diffbot) [NC]
RewriteRule ^ - [F,L]

403 yerine 429 (Too Many Requests) döndürmek isterseniz — ki bazı botlar 429'u "sonra tekrar dene" olarak yorumlayıp yavaşlar — kuralı şöyle değiştirin:

RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot) [NC]
RewriteRule ^ - [R=429,L]

Bir uyarı: .htaccess her istekte, hem de dizin ağacında yukarı doğru okunur. Yüzlerce satırlık bir bot listesi yazarsanız her ziyaretçi bunun bedelini öder. Otuz-kırk kalıbı geçiyorsanız engellemeyi Nginx veya Cloudflare katmanına taşımak daha doğrudur. Dosyanın temel kurulumu ve sık yapılan hatalar için .htaccess dosyası oluşturma yazısı işinizi görür.

Nginx'te User-Agent Bloklama ve Hız Sınırı#

Kendi VDS'inizi yönetiyorsanız Nginx tarafında hem daha hızlı hem daha esnek çalışırsınız. Doğru yapı map bloğudur; if yığını yazmaktan çok daha performanslıdır:

# http {} bloğu içinde
map $http_user_agent $yapay_zeka_botu {
    default                                   0;
    "~*GPTBot"                                1;
    "~*ClaudeBot"                             1;
    "~*CCBot"                                 1;
    "~*Bytespider"                            1;
    "~*Amazonbot"                             1;
    "~*(Diffbot|ImagesiftBot|Omgilibot)"      1;
}

# server {} bloğu içinde
server {
    listen 443 ssl;
    server_name ornek.com;

    if ($yapay_zeka_botu) {
        return 403;
    }

    # ... kalan yapılandırma
}

if direktifi Nginx'te genel olarak riskli kabul edilir, ancak server bağlamında return ile kullanılması güvenli ve yaygın olan istisnadır.

Tamamen engellemek yerine yalnızca frenlemek istiyorsanız — sitenizin AI arama sonuçlarında kalmasını isteyip yükü kontrol altına almak gibi — hız sınırını sadece botlara uygulayabilirsiniz. Buradaki numara, map bloğunun boş dize döndürmesidir: Nginx boş anahtarlı istekleri limitin dışında tutar.

map $http_user_agent $bot_limit_anahtari {
    default                                          "";
    "~*(GPTBot|ClaudeBot|OAI-SearchBot|PerplexityBot)" $binary_remote_addr;
}

limit_req_zone $bot_limit_anahtari zone=aibots:10m rate=20r/m;

server {
    location / {
        limit_req zone=aibots burst=10 nodelay;
        limit_req_status 429;
        # ...
    }
}

Bu yapılandırmada normal ziyaretçiler hiç etkilenmez, botlar ise dakikada 20 isteğe iner. Nginx tarafında hız sınırı ve güvenlik başlıklarının bütününü Nginx rate limit ve güvenlik başlıkları yazısında ele almıştık.

Cloudflare ile Sunucuya Hiç Ulaşmadan Engelleme#

En verimli katman en dıştaki katmandır. Sunucunuz isteği hiç görmezse CPU da harcamaz. Cloudflare kullanıyorsanız iki seçeneğiniz var.

Birincisi hazır anahtar: Security bölümündeki bot ayarlarında yer alan "AI tarayıcılarını engelle" seçeneği, Cloudflare'in bakımını yaptığı listeye göre bilinen yapay zeka kazıyıcılarını tek tıkla durdurur. Liste güncel tutulduğu için yeni çıkan botları takip etmek zorunda kalmazsınız. Dezavantajı ince ayar yapamamanızdır — eğitim ve arama botlarını ayıramazsınız.

İkincisi kendi WAF kuralınızı yazmaktır. Custom Rules bölümünde ifade editörüne şunu girin:

(http.user_agent contains "GPTBot") or
(http.user_agent contains "ClaudeBot") or
(http.user_agent contains "CCBot") or
(http.user_agent contains "Bytespider") or
(http.user_agent contains "Amazonbot")

Eylem olarak Block yerine Managed Challenge seçmek daha yumuşak bir yaklaşımdır: gerçek tarayıcılar geçer, otomatik istemciler takılır. Yalnızca ağır sayfaları korumak isterseniz koşula bir yol filtresi ekleyin:

(http.user_agent contains "GPTBot" and starts_with(http.request.uri.path, "/urun/"))

Cloudflare'in genel yapılandırması ve DNS tarafı için Cloudflare DNS ve CDN, saldırı anında devreye alınan agresif mod içinse Cloudflare Under Attack modu yazılarına bakabilirsiniz.

User-Agent Yalan Söyleyebilir: Sahte Botları Ayırt Etmek#

Buraya kadar yazdığımız kuralların hepsi user-agent başlığına güveniyor. Oysa bu başlık istemcinin kendi beyanıdır ve tek satır curl ile taklit edilebilir. Ciddi kazıyıcılar zaten kendilerini normal bir Chrome gibi tanıtır.

Bu yüzden iki şeyi ayırın: kurallara uyan botları yönlendirmek için user-agent yeterlidir, kimliğini gizleyen kazıyıcıları durdurmak için davranış tabanlı savunma gerekir. İkincisi için elinizdeki araçlar hız sınırı, IP başına eşzamanlı bağlantı limiti, JavaScript challenge ve gerektiğinde Fail2ban kurulumu ile log tabanlı otomatik yasaklamadır.

Bir botun gerçekten iddia ettiği kişi olup olmadığını doğrulamak isterseniz ters DNS kontrolü yapın. Büyük operatörler tarayıcılarının IP aralıklarını yayımlar ve bu IP'lerin PTR kayıtları kendi alan adlarına çözümlenir:

# Logdaki şüpheli IP'nin ters kaydına bak
dig -x 203.0.113.45 +short

# Dönen isim tekrar aynı IP'ye çözümleniyor mu? (ileri-geri doğrulama)
dig +short crawler.example.com

İki yön de tutuyorsa bot gerçektir. PTR kaydı yoksa ya da alakasız bir hosting sağlayıcısına düşüyorsa, elinizdeki şey GPTBot değil, GPTBot taklidi yapan bir kazıyıcıdır ve onu IP bazlı kurallarla karşılamanız gerekir.

Engelledikten Sonra Doğrulama ve İzleme#

Kuralı yazdınız, peki çalışıyor mu? Tahmin etmeyin, test edin:

# Bot gibi davran — 403 beklenir
curl -s -o /dev/null -w '%{http_code}\n' -A "GPTBot/1.2" https://ornek.com/

# Normal ziyaretçi — 200 beklenir
curl -s -o /dev/null -w '%{http_code}\n' -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" https://ornek.com/

# Arama botunu kapattınız mı? — 200 olmalı (kasıtlı olarak açık bıraktıysanız)
curl -s -o /dev/null -w '%{http_code}\n' -A "OAI-SearchBot/1.0" https://ornek.com/

Üçüncü test en önemlisidir. .htaccess veya WAF kuralınızda Claude gibi geniş bir kalıp kullandıysanız, açık bırakmayı planladığınız arama botunu da yanlışlıkla kapattığınızı ancak burada fark edersiniz.

Sonrasında bir hafta boyunca iki şeyi izleyin. Birincisi, sunucu tarafında 403 dönen istek sayısı ve CPU eğrisi — düşüş belirgin olmalı. İkincisi, Search Console'da tarama istatistikleri; Googlebot'un istek sayısında ani bir düşüş varsa kuralınız çok geniş demektir, hemen daraltın.

# Bugün kaç istek 403 ile karşılandı ve kimler?
awk '$9 == 403' /var/log/nginx/access.log | awk -F'"' '{print $6}' \
  | sort | uniq -c | sort -rn | head -10

Log dosyalarının şişmesini önlemek ve bu analizleri düzenli yapabilmek için logrotate ile log yönetimi yazısındaki döngü ayarlarını uygulamanızı öneririm; aksi halde birkaç hafta sonra analiz edecek log değil, disk dolduran bir dosya bulursunuz.

Engellemek Her Zaman Doğru Cevap Değil#

Son bir uyarı. Yükü kesmenin en kalıcı yolu bazen botu engellemek değil, botun tarayacak bu kadar sayfa bulmamasını sağlamaktır. Sonsuz URL üreten üç klasik kaynak vardır:

1. Filtre ve sıralama parametreleri. ?renk=mavi&beden=42&sirala=fiyat gibi kombinasyonlar birkaç yüz üründen yüz binlerce URL yaratır. Bunları robots.txt içinde Disallow: /*?*sirala= gibi kalıplarla veya canonical etiketiyle kapatın.
2. Takvim ve arşiv sayfaları. Aylık arşivler geriye doğru sonsuza gider; birçok takvim eklentisi 2099'a kadar sayfa üretir.
3. Site içi arama sonuçları. ?s= ile başlayan her sorgu yeni bir sayfadır ve genellikle veritabanına en pahalıya mal olan sayfadır.

Bu üçünü kapattığınızda tarama hacmi çoğu sitede kendiliğinden yüzde 70-80 düşer ve hiçbir botu engellemenize gerek kalmaz. Yükün kaynağı gerçekten paket kapasitenizi aşan bir trafik hacmiyse, paylaşımlı hosting kaynak limitleri yazısındaki eşiklere bakıp kurallarla oynamak yerine kaynak artırmayı da değerlendirin.

Karar verirken kendinize tek bir soru sorun: bu bot bana ziyaretçi getirebilir mi? Cevap "hayır" ise gönül rahatlığıyla kapatın. "Belki" ise engellemek yerine hız sınırı koyun. Yapay zeka arayüzlerinden gelen tıklama oranı henüz küçük ama düzenli olarak büyüyor; bugün tasarruf ettiğiniz birkaç yüz megabaytın bedelini bir yıl sonra kaynak gösterilmeyen bir site olarak ödemek istemezsiniz.

Sıkça Sorulan Sorular#

GPTBot'u engellersem Google sıralamam düşer mi?#

Hayır. GPTBot OpenAI'ye ait bir tarayıcıdır ve Google'ın arama dizinini besleyen Googlebot ile hiçbir ilgisi yoktur. Aynı şekilde Google-Extended direktifini kapatmak da arama sıralamanızı etkilemez; o token yalnızca Google'ın üretken yapay zeka ürünlerinin içeriğinizi kullanıp kullanamayacağını belirler. Arama görünürlüğünüzü etkileyen tek şey Googlebot ve Googlebot-Image erişimidir.

robots.txt yazdım ama bot hâlâ geliyor, neden?#

robots.txt teknik bir engel değil, gönüllü bir protokoldür. Sunucu dosyayı okuyup kimseyi durdurmaz; botun kendisi okuyup uymayı seçer. Ayrıca büyük tarayıcılar dosyayı genellikle saatlik değil, günlük ya da daha seyrek aralıklarla önbelleğe alır, bu yüzden değişikliğin etkisini görmek bir-iki gün alabilir. Gerçekten durdurmak istiyorsanız .htaccess, Nginx veya WAF katmanında 403 döndürmelisiniz.

Tüm AI botlarını topluca engellemek mantıklı mı?#

Genellikle değil. Eğitim tarayıcıları (GPTBot, ClaudeBot, CCBot) sunucu yükünün büyük kısmını yaratır ve engellenmeleri size görünürlük kaybettirmez. Buna karşılık arama ve kullanıcı tetikli botlar (OAI-SearchBot, Claude-SearchBot, ChatGPT-User, Claude-User) çok daha az istek atar ve sitenizin yapay zeka yanıtlarında kaynak olarak gösterilmesini sağlar. İkisini ayırmak, yükü kesip görünürlüğü korumanın tek yoludur.

Sahte user-agent kullanan kazıyıcıları nasıl durdururum?#

User-agent tabanlı kurallar sadece kimliğini doğru bildirenlere işler. Kendini Chrome gibi tanıtan kazıyıcılar için davranışa bakmanız gerekir: IP başına istek hızı sınırı, eşzamanlı bağlantı limiti, JavaScript challenge ve log tabanlı otomatik yasaklama. Şüpheli bir IP'nin gerçekten iddia ettiği bot olup olmadığını ters DNS kaydını sorgulayıp dönen ismi tekrar çözümleyerek doğrulayabilirsiniz.

Botu engelledim ama CPU hâlâ yüksek, sırada ne var?#

Engellemenin işe yarayıp yaramadığını önce logdan doğrulayın: 403 dönen istek sayısı artmış olmalı. Artmadıysa kuralınız çalışmıyordur. Artmış ama CPU düşmediyse yükün kaynağı bot değildir; büyük ihtimalle optimize edilmemiş veritabanı sorguları, önbelleksiz çalışan bir CMS ya da ağır bir eklenti söz konusudur. Bu durumda yavaş sorguları ve süreç tablosunu incelemeye geçin.