User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/uploads/wpforms/
Disallow: /wp-json/
Disallow: /wp-content/cache/

# --- БЛОКИРОВКА МУСОРНЫХ ПАРАМЕТРОВ (Виновники нагрузки) ---
Disallow: /?s=
Disallow: /search/
# Блокируем бесконечные теги и пагинацию новостей
Disallow: /*?news_tags=
Disallow: /*?newslist_tags=
Disallow: /*?popular_tags=
Disallow: /*?topnews_tags=
Disallow: /*?tags=
Disallow: /*?start=
Disallow: /*?news_start=
Disallow: /*?newslist_start=
Disallow: /*?popular_start=
Disallow: /*?topnews_start=
Disallow: /*&news_tags=
Disallow: /*&newslist_tags=
Disallow: /*&popular_tags=
Disallow: /*&topnews_tags=

# --- ПРАВИЛА ДЛЯ БОТОВ (Дублируем запреты!) ---
User-agent: SemrushBot
Crawl-delay: 10
Disallow: /*?news_tags=
Disallow: /*?tags=
Disallow: /*?start=

User-agent: AhrefsBot
Crawl-delay: 10
Disallow: /*?news_tags=
Disallow: /*?tags=
Disallow: /*?start=

User-agent: DotBot
Crawl-delay: 10
Disallow: /*?news_tags=
Disallow: /*?tags=
Disallow: /*?start=

# Facebook бот (meta-externalagent) часто игнорирует Crawl-delay, но запреты читать должен
User-agent: FacebookBot
Disallow: /*?news_tags=
Disallow: /*?tags=
Disallow: /*?start=

User-agent: MJ12bot
Disallow: /

Sitemap: https://abu.by/sitemap_index.xml