CrawlerOrby Bot
CrawlerOrby — это веб-краулер сервиса crawler.orby-tech.space. Он используется владельцами сайтов для SEO-мониторинга их собственных ресурсов и автоматической отправки пингов IndexNow в Bing и Yandex при значимых изменениях контента.
User-Agent
Краулер идентифицирует себя следующей строкой:
CrawlerOrby/1.0 (+https://crawler.orby-tech.space/bot)Как запретить краулинг
Если вы не хотите, чтобы CrawlerOrby обходил ваш сайт, добавьте в файл robots.txt следующие строки:
User-agent: CrawlerOrby
Disallow: /Обратите внимание: краулер сканирует только сайты, добавленные самим владельцем в свой
аккаунт. Если вы получаете нежелательные запросы — скорее всего, кто-то добавил ваш сайт в
систему. Запрет в robots.txt мгновенно прекратит краулинг.
Контакт для жалоб
Если краулер ведёт себя некорректно, нагружает сервер или нарушает правила — напишите нам:
Укажите в письме URL вашего сайта, время некорректных запросов и IP-адрес, с которого они поступали. Мы разберёмся в течение рабочего дня.