# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file # # To ban all spiders from the entire site uncomment the next two lines: User-Agent: * Allow: /stylesheets/ Allow: /images/ Allow: /assets/ Allow: /images/*.png Allow: /images/*.jpg Allow: /images/*.svg # ЗАКРИВАЄМО те, що створює сміття в індексі (згідно з вашим CSV) Disallow: /images/data/my_files/ Disallow: /images/data2/my_files/ Disallow: /images/data3/my_files/ Disallow: /images/data4/my_files/ # Файли користувачів (PDF, DOC тощо) Disallow: /exports/ # Посилання на експорт (CSV/PDF) Disallow: /widgets/ # Технічні віджети Disallow: /*?view= # Параметри віджетів Disallow: /*?all_posts=true # Дублікати сторінок блогу Disallow: /qactions Disallow: /help/ Disallow: /grouping/ Disallow: /forums/ Disallow: /topics/ Disallow: /tags/ Disallow: /apps/ Disallow: /export_single_record/ # Блокуємо параметри, які додаються до URL (вони починаються з ?) # Це не зачепить ваші пости, бо в них текст 'excel' є частиною шляху, а не параметра Disallow: *?*widget=true Disallow: *?*excel Disallow: *?*csv Disallow: /auth/ Disallow: /sidekiq/ Disallow: /mthsidekiq/ Disallow: /checkout Disallow: /cart Disallow: /orders Disallow: /user Disallow: /account Disallow: /password Disallow: /stores Disallow: /spammers Disallow: /forum_posts Disallow: /developers-log Disallow: /rest_apis/ Disallow: /check_cache/ Disallow: /subforms/ Disallow: /search/ Disallow: /contact_form Disallow: /dtypes/ Disallow: /check_fs_reloaded Disallow: /actions Disallow: /automations Disallow: /widgets/check_record_widget_rendered Disallow: /forgot_password Disallow: /resend_activation Disallow: /reset_password_by_phone Disallow: /reset_password Disallow: /activate_by_phone Disallow: /activate Disallow: /login Disallow: /signup Disallow: /change_password Disallow: /change_password_page Disallow: /*?*locale= Disallow: /*?*sort= Disallow: /*?*all_posts= Disallow: /*?*dtype= Sitemap: https://quintadb.ru/sitemap_ru.xml.gz