Для субдоменів – SEO форум
Досвідчений
Всім привіт задався ось таким питанням. Є основний сайт підрозділи (міста) виведені у вигляді субдоменів. сайт.ру .ру
В останні 3 дні Yandexbot просто дістав сканувати кожну сторінку на всіх субдоменах безперервно. Чим збільшив навантаження на сервер більш ніж на 300% (звичайне навантаження 30-40% в останні 3 дні навантаження не падає нижче 97%)
Вирішив поставити Crawl delay 10 на всіх субдоменах Yandex. Але логічно це не вирішить проблему, оскільки він все одно буде одночасно звертатися до всіх субдоменів продовжуючи навантажувати процесор.
Тепер питання хтось пробував прописувати в роботі основного домену crawl delay переносилося це правило на субдомени?