2026 AI bot crawler listesi
GEO stratejisinde bilmeniz gereken başlıca AI bot user-agent'ları:
| Bot | Sahip | Amaç |
|---|---|---|
| GPTBot | OpenAI | ChatGPT retrieval ve eğitim |
| OAI-SearchBot | OpenAI | ChatGPT Search / Browse |
| Google-Extended | Gemini ve AI Overviews | |
| ClaudeBot | Anthropic | Claude web erişimi |
| PerplexityBot | Perplexity | Perplexity arama indeksi |
Detaylı GEO altyapısı için GEO yapay zeka optimizasyonu hizmet sayfamıza bakın.
robots.txt checklist
- Allow GPTBot ve OAI-SearchBot: ChatGPT görünürlüğü için kritik.
User-agent: GPTBotveAllow: / - Google-Extended: Gemini ve AI Overviews için ayrı kural bloğu. Googlebot'tan bağımsızdır.
- PerplexityBot: Perplexity citation için allow.
- Admin/staging engelle:
/wp-admin/,/staging/, parametreli filtre URL'leri disallow. - Sitemap referansı:
Sitemap: https://example.com/sitemap.xml - Çakışma kontrolü: CDN ve WAF seviyesinde bot engeli olmadığını doğrulayın.
llms.txt yapılandırması
llms.txt, kök dizinde yer alan Markdown formatında bir dosyadır. LLM'lere hangi sayfaların öncelikli, hangi içeriğin özetlenebilir olduğunu bildirir. Önerilen yapı:
- Site ve marka tanımı (1 paragraf)
- Öncelikli pillar URL listesi (GEO hedef sayfalar)
- İletişim ve kaynak linkleri
- Opsiyonel: hariç tutulacak bölümler
LLM SEO rehberimiz crawler + içerik stratejisini birleştirir.
Politika kararları: allow vs block
Tüm AI botları engellemek kısa vadede "güvenlik" hissi verse de GEO görünürlüğünü sıfırlar. Önerilen yaklaşım: public içeriği allow, hassas/ham veriyi disallow. Rakipleriniz allow ederken siz engellerseniz citation payını kaybedersiniz.
Test ve doğrulama
- Google Search Console robots.txt test aracı
- curl ile user-agent simülasyonu:
curl -A "GPTBot" -I https://example.com/ - Server log'larında AI bot hit kontrolü (30 gün)
- ChatGPT/Perplexity prompt audit ile crawl sonrası indekslenme doğrulama
90 günlük uygulama planı (özet)
- 0–30 gün: AI bot audit, robots.txt revizyonu, WAF/CDN kontrolü
- 30–60 gün: llms.txt oluşturma, sitemap güncelleme, log izleme
- 60–90 gün: Prompt citation testi, politika dokümantasyonu, aylık review
Sık Sorulan Sorular
GPTBot'u engellemek ChatGPT'de görünmez miyim?
Evet. GPTBot ve OAI-SearchBot engellendiğinde ChatGPT retrieval katmanında içeriğiniz kaynak havuzuna girmez. GEO için allow önerilir.
llms.txt zorunlu mu?
Henüz resmi bir standart değil ama hızla benimseniyor. Öncelikli içerik sinyali vererek LLM kaynak seçimini yönlendirir.
Googlebot ile Google-Extended aynı mı?
Hayır. Googlebot organik indeks için crawl eder; Google-Extended ayrı user-agent ile Gemini/AI eğitim ve retrieval için kullanılır.
Hangi sayfaları AI botlardan gizlemeliyim?
Admin panelleri, staging, kullanıcı hesap sayfaları, ham API çıktıları ve telifli/kısıtlı içerik disallow edilmelidir.
Sonuç
robots.txt ve llms.txt, GEO'nun teknik kapısıdır. AI bot erişimini bilinçli yönetmeden içerik stratejisi tek başına citation üretmez.
Mizemedia olarak bu konuda uçtan uca destek sunuyoruz. GEO yapay zeka optimizasyonu sayfamızdan detaylı bilgi alın, ücretsiz teklif isteyin veya bizimle iletişime geçin.
İlgili rehberler:
