Yapay zekâ botları ve robots.txt: kontrol listesi

Bir yapay zekâ asistanının sizi cevabında anabilmesi için önce sitenizi okuyabilmesi gerekir. Siteleri okuyan programlara "bot" (tarayıcı) denir ve hangisinin içeri girebileceğini sitenizin kökündeki küçük bir metin dosyası söyler: robots.txt. Bu dosyadaki tek bir yanlış satır, sitenizi ChatGPT'nin arama cevaplarından tamamen çıkarabilir.

Dosyanıza bakın (1 dakika)

Tarayıcıya sitenizin adresini yazıp sonuna /robots.txt ekleyin. Örnek: ornekotel.com/robots.txt. Üç durumdan biriyle karşılaşırsınız:

Dosya yok: botlar için engel yok demektir; sorun değil.
User-agent: * altında Disallow: /: sitenin tamamı bütün botlara kapalı. Site yapım aşamasında kalmış olabilir; hemen düzeltilmeli.
Bot adlarının tek tek yazıldığı satırlar: aşağıdaki tabloyla karşılaştırın.

Hangi bot ne yapar?

Şirketlerin kendi açıklamalarına göre botlar iki gruba ayrılır: arama ve cevap için okuyanlar ile model eğitimi için toplayanlar. İkisi ayrı ayrı yönetilebilir.

Arama ve cevap için (görünmek istiyorsanız açık kalmalı):

Googlebot: Google aramasının botu. Google'ın yapay zekâ özetleri ve AI Mode da normal arama dizinini kullanır; Googlebot'u engellerseniz ikisinden de çıkarsınız.
OAI-SearchBot: ChatGPT'nin arama özelliği için. OpenAI: bu botu engelleyen siteler ChatGPT'nin arama cevaplarında gösterilmez. Değişikliğin OpenAI tarafında işlenmesi yaklaşık 24 saat sürebilir.
PerplexityBot: Perplexity'nin arama sonuçlarında siteleri göstermek ve bağlantı vermek için. Perplexity'ye göre model eğitimi için kullanılmaz.
Claude-SearchBot: Anthropic'in Claude'u için arama sonuçlarının kalitesini artırmaya yönelik okuma. Engellenirse kullanıcı aramalarında görünürlüğünüz azalabilir.

Kullanıcı isteğiyle açılan sayfalar:

ChatGPT-User, Perplexity-User, Claude-User: bir kullanıcı sohbet sırasında sayfanızı açtırdığında devreye girer. OpenAI ve Perplexity, kullanıcı isteğiyle yapıldığı için bu ziyaretlerde robots.txt kurallarının uygulanmayabileceğini yazıyor.

Model eğitimi için (tercih sizin):

GPTBot (OpenAI), ClaudeBot (Anthropic): içeriği yapay zekâ modellerinin eğitimi için toplar.
Google-Extended: ayrı bir bot değil, robots.txt'de kullanılan bir işaret. İçeriğinizin Google'ın yapay zekâ modellerinin eğitiminde ve bazı başka sistemlerinde kullanılıp kullanılmayacağını belirler. Google'a göre Google-Extended, sitenin Google aramasında yer almasını ya da sıralamasını etkilemez.

Kısacası: eğitim botlarını kapatmak sizi arama cevaplarından çıkarmaz; arama botlarını kapatmak çıkarır.

Örnek bir robots.txt

Aramada ve yapay zekâ cevaplarında görünmek isteyen, yönetim panelini ise kapalı tutmak isteyen bir işletme için sade bir örnek:

User-agent: *
Allow: /
Disallow: /yonetim/

Sitemap: https://ornekotel.com/sitemap.xml

Eğitim botlarını kapatmak isterseniz ayrıca şu satırları ekleyebilirsiniz:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

robots.txt tek kapı değil

Dosyanız doğru olsa bile botlar başka yerlerde takılabilir:

Barındırma ya da güvenlik duvarı: bazı barındırma ve CDN (siteyi hızlandıran ara sunucu) hizmetlerinde "yapay zekâ botlarını engelle" seçeneği vardır. Google da taramaya yalnızca robots.txt'de değil, CDN ve barındırma altyapısında da izin verilmesini öneriyor. Panelinizdeki bot ayarlarına bakın.
noindex etiketi: sayfanın kodunda "dizine alma" komutu varsa Google o sayfayı aramada göstermez.
Resimdeki metin: menünüz ya da fiyat listeniz yalnızca bir fotoğrafta ise botlar onu metin olarak okuyamayabilir.
Giriş duvarı: üyelik isteyen sayfaları botlar göremez.

10 dakikalık kontrol listesi

robots.txt açıldı ve okundu.
User-agent: * altında Disallow: / yok.
Googlebot, OAI-SearchBot, PerplexityBot ve Claude-SearchBot engellenmiyor.
Eğitim botları (GPTBot, ClaudeBot, Google-Extended) için bilinçli bir karar verildi.
Dosyada site haritasının adresi var.
Barındırma panelinde "yapay zekâ botlarını engelle" ayarı kontrol edildi.
Önemli sayfalarda noindex yok.
Adres, hizmetler ve fiyatlar metin olarak yazılı.

Bu kontrollerden sonra asistanların sizi gerçekten anıp anmadığını görmek için 15 dakikalık ChatGPT testini yapabilirsiniz.

Yapay zekâ botları sitenizi okuyabiliyor mu? robots.txt kontrol listesi