Как стать автором
Обновить

Яндекс поддержал расширенный формат robots.txt

Время на прочтение 1 мин
Количество просмотров 931
Робот Яндекса поддержал в robots.txt директиву Allow, спецсимволы "*" и "$". В Помощи рассказано (help.yandex.ru/webmaster/?id=996567), как интерпретируется robots.txt и приведены примеры.

Файл robots.txt используется веб-мастерами, чтобы объяснить роботу поисковой системы, какие страницы и разделы сайта нельзя индексировать, а какие можно. Стандарт предусматривает небольшой набор директив, поэтому написание правил индексации для крупных сайтов является сложной задачей. Новые директивы могут существенно облегчить задачу веб-мастеров.
Теги:
Хабы:
+15
Комментарии 5
Комментарии Комментарии 5

Публикации

Истории

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн
Геймтон «DatsEdenSpace» от DatsTeam
Дата 5 – 6 апреля
Время 17:00 – 20:00
Место
Онлайн