# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
User-Agent: *
Allow: /stylesheets/
Allow: /images/
Allow: /assets/
Allow: /images/*.png
Allow: /images/*.jpg
Allow: /images/*.svg
# ЗАКРИВАЄМО те, що створює сміття в індексі (згідно з вашим CSV)
Disallow: /images/data/my_files/
Disallow: /images/data2/my_files/
Disallow: /images/data3/my_files/
Disallow: /images/data4/my_files/ # Файли користувачів (PDF, DOC тощо)
Disallow: /exports/ # Посилання на експорт (CSV/PDF)
Disallow: /widgets/ # Технічні віджети
Disallow: /*?view= # Параметри віджетів
Disallow: /*?all_posts=true # Дублікати сторінок блогу
Disallow: /qactions
Disallow: /help/
Disallow: /grouping/
Disallow: /forums/
Disallow: /topics/
Disallow: /tags/
Disallow: /apps/
Disallow: /export_single_record/
# Блокуємо параметри, які додаються до URL (вони починаються з ?)
# Це не зачепить ваші пости, бо в них текст 'excel' є частиною шляху, а не параметра
Disallow: *?*widget=true
Disallow: *?*excel
Disallow: *?*csv
Disallow: /auth/
Disallow: /sidekiq/
Disallow: /mthsidekiq/
Disallow: /checkout
Disallow: /cart
Disallow: /orders
Disallow: /user
Disallow: /account
Disallow: /password
Disallow: /stores
Disallow: /spammers
Disallow: /forum_posts
Disallow: /developers-log
Disallow: /rest_apis/
Disallow: /check_cache/
Disallow: /subforms/
Disallow: /search/
Disallow: /contact_form
Disallow: /dtypes/
Disallow: /check_fs_reloaded
Disallow: /actions
Disallow: /automations
Disallow: /widgets/check_record_widget_rendered
Disallow: /forgot_password
Disallow: /resend_activation
Disallow: /reset_password_by_phone
Disallow: /reset_password
Disallow: /activate_by_phone
Disallow: /activate
Disallow: /login
Disallow: /signup
Disallow: /change_password
Disallow: /change_password_page
Disallow: /*?*locale=
Disallow: /*?*sort=
Disallow: /*?*all_posts=
Disallow: /*?*dtype=
Sitemap: https://quintadb.ru/sitemap_ru.xml.gz