User-agent: Yandex Disallow: /cgi-bin # служебная папка для хранения серверных скриптов Disallow: /index.php #закрытие динамических ссылок ввод масок Disallow: /*?* Disallow: /*% Disallow: */page/ # страницы пагинации Disallow: /*?page= Disallow: /*&page= Disallow: /search # результаты поиска Disallow: *PHPSESSID= #Исключать из индекса страницы, которые содержат индикаторы сессий. Disallow: *session_id= #Исключать из индекса страницы, которые содержат индикаторы сессий. Disallow: /wp- # файлы WP: /wp-json/, /wp-includes, /wp-content/plugins запретить сканирование всех служебных файлов, связанных с wp Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /*print= # страницы для печати Disallow: /admin # Закрываем админку Disallow: /xmlrpc.php # защита от взлома пароля административной части, а также защита от DDoS-атаки Disallow: /*.pdf Disallow: /*.xls Disallow: /*.doc Disallow: /*.ppt Disallow: /*.txt Disallow: *refSourceId= Disallow: *s_airport= Disallow: *s_actype= Disallow: /author/ # архив автора Disallow: /users/ # архив авторов Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой Disallow: */feed # все фиды Disallow: */rss # rss фид Disallow: */embed # все встраивания Disallow: */embed$ # Все встраивания. Символ $ — конец строки Disallow: *openstat= # Ссылки с метками openstat Disallow: /readme.html # закрыть доступ к стандартному файлу о ПО Disallow: */*facebook.com*/* Disallow: */*twitter.com*/* Disallow: */*instagram.com*/* Crawl-delay: 5 #Чем выше значение, тем медленнее краулер станет обходить страницы сайта. #Директива Clean-param дает возможность запрещать поисковому роботу обход страниц с динамическими параметрами, контент которых не имеет отличий от основной страницы. Clean-param: utm_source&utm_medium&utm_term&utm_content&utm_campaign&yclid&gclid&_openstat&from / Clean-param: etext Clean-param: ts_dosearch&s_flyfrom&s_country&s_j_date_from&s_j_date_to&s_nights_from&s_nights_to&s_adults&s_child&s_stars&s_regular&s_region_to&jet-theme-core Clean-param: child_age_1 Clean-param: s_meal Clean-param: x_hotel_codes Clean-param: s_currency Clean-param: s_form_mode Clean-param: s_hotel_services Clean-param: child_age_2&s_rating Allow: */wp-*/*.js # внутри /wp- (/*/ - для приоритета) Allow: */wp-*/*.css # внутри /wp- (/*/ - для приоритета) Allow: */wp-*/*.png # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.jpg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.jpeg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.gif # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.svg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.webp # файлы в плагинах, cache папке и т.д. Sitemap: https://fnstour.ru/sitemap_index.xml #указать местоположение карты сайта User-agent: Googlebot Disallow: /cgi-bin # служебная папка для хранения серверных скриптов Disallow: /wp- # файлы WP: /wp-json/, /wp-includes, /wp-content/plugins Disallow: /search # результаты поиска Disallow: */page/ # страницы пагинации Disallow: /*print= # страницы для печати Disallow: /xmlrpc.php # защита от взлома пароля административной части, а также защита от DDoS-атаки Disallow: /admin Disallow: /readme.html Disallow: /license.txt Disallow: /xmlrpc.php Disallow: /privacy-policy Disallow: /*.pdf Disallow: /*.xls Disallow: /*.doc Disallow: /*.ppt Disallow: /*.txt Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: */trackback Disallow: */feed Disallow: */*facebook.com*/* Disallow: */*twitter.com*/* Disallow: */*youtube.com*/* Disallow: */*instagram.com*/* Allow: *.css # открыть все файлы стилей Allow: *.js # открыть все с js-скриптами Allow: */wp-*/*.js # внутри /wp- (/*/ - для приоритета) Allow: */wp-*/*.css # внутри /wp- (/*/ - для приоритета) Allow: */wp-*/*.png # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.jpg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.jpeg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.gif # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.svg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.webp # файлы в плагинах, cache папке и т.д. Sitemap: https://fnstour.ru/sitemap_index.xml #указать местоположение карты сайта User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-includes/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /admin Disallow: /readme.html Disallow: /license.txt Disallow: /xmlrpc.php # защита от взлома пароля административной части, а также защита от DDoS-атаки Disallow: /privacy-policy Disallow: /tag/ Disallow: /author/* Disallow: /template.html Disallow: /trackback Disallow: /index.php Disallow: /*?page= Disallow: /*&page= Disallow: /*?* Disallow: /*% Disallow: */disclaimer/* Disallow: *?attachment_id= Disallow: */trackback Disallow: */page Disallow: *?replytocom Disallow: *refSourceId= Disallow: *s_airport= Disallow: *s_actype= Disallow: *?p= Disallow: *? Disallow: *PHPSESSID= Disallow: *session_id= Allow: /wp-admin/admin-ajax.php #разрешает индексацию асинхронных JS-скриптов, которые используются в некоторых темах. Allow: /*/*.css Allow: /*/*.js Allow: */wp-*/*.js # внутри /wp- (/*/ - для приоритета) Allow: */wp-*/*.css # внутри /wp- (/*/ - для приоритета) Allow: */wp-*/*.png # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.jpg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.jpeg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.gif # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.svg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.webp # файлы в плагинах, cache папке и т.д. Sitemap: https://fnstour.ru/sitemap_index.xml #указать местоположение карты сайта