Xenforo Robots.txt dosyanız nasıl olmalı?

PaulWalker

🏅
Kıdemli Üye
Katılım
8 Ocak 2025
Konular
87
Mesajlar
92
Tepkime puanı
50
Konum
İstanbul
TL
270
Robots.xt dosyası botlara sınırlama getirmenizi sağlar. Xenforo da standart robots.txt dosyası aşağıdaki şekilde olmalıdır. Siz kendi gereksinimlerinize göre ekleme veya çıkarmalar yapabilirsiniz.


Kod:
User-agent: Mediapartners-Google
Allow:
 
User-agent: ia_archiver
Allow:
 
User-agent: duggmirror
Disallow: /
 
User-agent: *
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /conversations/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /search/
Disallow: /neler-yeni/
Disallow: /uyeler/
Disallow: /ara/
Disallow: /giris/
Allow: /
 
Sitemap: https://siteadresi.com/sitemap.php
Sitemap: https://siteadresi.com/sitemap.xml
Sitemap: https://siteadresi.com/forumlar/-/index.rss
 
Moderatör tarafında düzenlendi:
Üst Alt