# Robots.txt ottimizzato per controllo traffico bot

# Regole generali per tutti i bot
User-agent: *
# Mantieni le tue attuali restrizioni
Disallow: /cdn-cgi/
Disallow: /banner/
Disallow: /forum/memberList.php
Disallow: /forum/posting.php
Disallow: /forum/ucp.php
Disallow: /forum/memberlist.php
Disallow: /area_riservata/
Disallow: /forum/postingBook.php
Disallow: /ajax/tabellino_partite.php
Disallow: /ajax/password_dimenticata.php
Disallow: /print_ranking.php
Disallow: /forum/ignore.php
Disallow: /forum/viewpost.php


# Regole specifiche per bot particolarmente aggressivi
User-agent: BLEXBot
Disallow: /

User-agent: AhrefsBot
Crawl-delay: 1800

# Altri bot che possono essere limitati o bloccati
User-agent: SemrushBot
Crawl-delay: 30

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Crawl-delay: 30

User-agent: PetalBot
Crawl-delay: 20

# Bot AI che possono essere molto aggressivi
User-agent: GPTBot
Crawl-delay: 60

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Crawl-delay: 60

User-agent: Claude-Web
Crawl-delay: 30

User-agent: anthropic-ai
Crawl-delay: 30

User-agent: Bytespider
Crawl-delay: 30

# Regole più permissive per i motori di ricerca principali
User-agent: *Google*
Crawl-delay: 5

User-agent: Bingbot
Crawl-delay: 10

User-agent: Slurp
Crawl-delay: 10