User-agent: * Allow: / # Kullanıcıya özel alanlar. Taranmaları hem gereksiz hem tarama bütçesi # israfı; hiçbiri arama sonucunda işe yaramaz. Disallow: /*/dashboard Disallow: /*/profile Disallow: /*/transcripts Disallow: /*/billing Disallow: /*/upload Disallow: /*/imports Disallow: /*/login Disallow: /*/register Disallow: /*/password # Olcum ucu, sayfa degil. bingbot /en/funnel, /ru/funnel, /ja/funnel ve # /ko/funnel adreslerini taradi; dordu de 404 dondu. Taranacak bir sey yok, # yalniz tarama butcesi harcaniyor -- ve Googlebot bizi zaten gunde 15 # sayfa tarayabiliyor. Disallow: /*/funnel Disallow: /api/ Disallow: /horizon/ Disallow: /stripe/ Disallow: /auth/ # Paylaşım bağlantıları gizli değil ama indekslenmemeli: adresi bilen # görebilsin, arayan bulamasın. Disallow: /share/ # Sıralama sinyalini bölen izleme parametreleri. Disallow: /*?*utm_ Disallow: /*?*fbclid= Disallow: /*?*gclid= # --- Yapay zekâ arama motorları --------------------------------------- # # Bir soruyu şimdi cevaplamak için sayfa okuyan tarayıcılar: ChatGPT # araması, Perplexity, Claude, Gemini'nin temellendirmesi, Apple ve # Meta'nın asistanları. Birinin "ses yazıya çevirme" sorusuna WhoScribe # adının karışıp karışmayacağına bunlar karar veriyor; bu yüzden yıldız # kuralına düşerek değil, bilerek yazılıyorlar. # # Engellemek, o platformların bizi kaynak göstermesini de engelliyor — # eğitim verisinden çıkmakla aramadan çıkmak aynı düğmede. # # Google-Extended ve Applebot-Extended kendi başlarına tarayıcı değil, # birer devre dışı bırakma anahtarı: burada izinli olmaları sayfalarımızı # Gemini ve Apple Intelligence cevaplarına aday tutuyor. # # Yasaklar yineleniyor: bir bot kendi adına yazılmış grubu bulduğunda # "User-agent: *" grubunu tümüyle yok sayar. Yalnız "Allow: /" yazmak, # yukarıdaki panel/API/paylaşım yasaklarını tam da bu botlar için # kaldırmak demekti. User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-SearchBot User-agent: Claude-User User-agent: anthropic-ai User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: DuckAssistBot User-agent: MistralAI-User Allow: / Disallow: /*/dashboard Disallow: /*/profile Disallow: /*/transcripts Disallow: /*/billing Disallow: /*/upload Disallow: /*/imports Disallow: /*/login Disallow: /*/register Disallow: /*/password # Olcum ucu, sayfa degil. bingbot /en/funnel, /ru/funnel, /ja/funnel ve # /ko/funnel adreslerini taradi; dordu de 404 dondu. Taranacak bir sey yok, # yalniz tarama butcesi harcaniyor -- ve Googlebot bizi zaten gunde 15 # sayfa tarayabiliyor. Disallow: /*/funnel Disallow: /api/ Disallow: /horizon/ Disallow: /stripe/ Disallow: /auth/ Disallow: /share/ # Yalnız eğitim için tarayan, karşılığında hiçbir yerde kaynak # göstermeyen tarayıcılar. Verdiğimizin karşılığı yok. User-agent: CCBot User-agent: Bytespider Disallow: / Sitemap: https://whoscribe.ai/sitemap.xml