Вслед за апгрейдом Google свой поисковый краулер обновила также поисковая система Yahoo. Здесь обновления более масштабные, новый краулер получил имя Yahoo! Slurp 3.0 и такой же статус user-agent (Yahoo! Slurp/3.0). На команды к старому user-agent “Slurp/2.0” новый робот уже не будет реагировать, зато будет отзываться на общее короткое обращение “Slurp” сообщается в корпоративном блоге.
Как понятно из названия, это краулер третьего поколения. Впрочем, компания не стремится разглашать информацию о том, в чём его конкретные отличия от предыдущей версии. Она только предупреждает всех аналитиков, которые отслеживают поведение поисковых ботов, о том, чтобы они внесли соответствующие коррективы, поскольку Slurp 3.0 будет вести себя иначе. В частности, программа будет запускаться с гораздо меньшего набора IP-адресов, хотя все они по-прежнему будут соответствовать домену crawl.yahoo.net (вся техническая информация здесь). Для точной идентификации краулера компания настоятельно рекомендует использовать способ обратной проверки DNS, потому что старые IP-адреса скоро исчезнут из логов.
Как понятно из названия, это краулер третьего поколения. Впрочем, компания не стремится разглашать информацию о том, в чём его конкретные отличия от предыдущей версии. Она только предупреждает всех аналитиков, которые отслеживают поведение поисковых ботов, о том, чтобы они внесли соответствующие коррективы, поскольку Slurp 3.0 будет вести себя иначе. В частности, программа будет запускаться с гораздо меньшего набора IP-адресов, хотя все они по-прежнему будут соответствовать домену crawl.yahoo.net (вся техническая информация здесь). Для точной идентификации краулера компания настоятельно рекомендует использовать способ обратной проверки DNS, потому что старые IP-адреса скоро исчезнут из логов.
