############################################
# Default rules for all bots (server-side)
############################################
User-agent: *
Disallow: /admin
Disallow: /login
Disallow: /register
Disallow: /dashboard
Disallow: /api
Disallow: /go


############################################
# Google (does NOT support crawl-delay)
############################################
User-agent: Googlebot
Disallow: /admin
Disallow: /login
Disallow: /register
Disallow: /dashboard
Disallow: /api
Disallow: /go


############################################
# Bing (supports crawl-delay)
############################################
User-agent: Bingbot
Disallow: /admin
Disallow: /login
Disallow: /register
Disallow: /dashboard
Disallow: /api
Disallow: /go
Crawl-delay: 1


############################################
# Yandex (supports crawl-delay)
############################################
User-agent: Yandex
Disallow: /admin
Disallow: /login
Disallow: /register
Disallow: /dashboard
Disallow: /api
Disallow: /go
Crawl-delay: 3


############################################
# AI Crawlers – fully blocked
############################################
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Amazonbot
Disallow: /


############################################
# Sitemap
############################################
Sitemap: https://www.voucherhive.co.uk/sitemap/voucherhive.co.uk.xml