User-agent: *

# здесь и далее закрываем для индексации служебные URL
Disallow: /cgi-bin/
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /v50yo8qn5s/
Disallow: /jq8hm5ul4v/
Disallow: /index.php
Disallow: /search?*
Disallow: *?hauth_action

Clean-param: hauth_action *
Clean-param: switch_user *

Disallow: *?*               # ссылки с параметрами
Disallow: *utm*=            # ссылки с utm-метками
Disallow: *openstat=        # ссылки с метками openstat
Disallow: *from=            # ссылки с метками from

# здесь и далее открываем для индексации изображения, файлы и скрипты
Allow: /assets/*.jpg        
Allow: /assets/*.jpeg 
Allow: /assets/*.gif 
Allow: /assets/*.png 
Allow: /assets/*.pdf 
Allow: /assets/*.doc 
Allow: /assets/*.docx 
Allow: /assets/*.xls 
Allow: /assets/*.xlsx 
Allow: /assets/*.ppt 
Allow: /assets/*.pptx 
Allow: /assets/*.js 
Allow: /assets/*.css
Allow: *?page= # открываем для индексации страницы пагинации

# указываем главное зеркало сайта и путь к Sitemap
Host: https://businessofrussia.com/
Sitemap: https://businessofrussia.com/sitemap

# защита сайта от Ботов статистических систем, которые мы не используем
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: Riddler
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: trovitBot
Disallow: /
User-agent: Detectify
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: LinkpadBot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: FlipboardProxy
Disallow: /