DDoS з несподіваного напряму або «чи варто бояться ботів ПС»
Хочу розповісти цікаву історію про взаємодію з пошуковими роботами, зокрема з ботами великого і могутнього Яндекса.
Преамбула. У мене є виділений сервер, на якому крутиться близько кількох десятків сайтів. Проблем не було ніколи, машинка бадьора, нова. Кілька днів тому надійшов репорт, що все зависло. Довелося робити віддалену перезавантаження. Пізніше зауважив, що навантаження на ЦП зросло до 60% з 10% і почало триматися на цьому рівні. Я, звичайно, насторожився, але мало. І ось учора все висне геть-чисто. Перезавантажую - провантаження і знову повний штиль. Усі сайти йдуть поза доступом. Після моніторингу процесів побачив завантаження mysql 99.9%. Здивувався, пішов шукати сайт, з якого йде таке завантаження. Знайшов, відсіяв інші запити і побачив, що хтось наполегливо довбає в 40к запитів за секунду, перевантажуючи бідну БД по «саме не можу». Починаю копати логи та бачу підмережі, з яких йдуть ці запити. Підключаюся до сервера, прописую DROP в iptables маскою /24, і все нормалізується.
Зауважив, що ддосер посилає ідентифікацію Яндекс-бота. Трохи це здивувало, але мало. Вирішив перевірити, і виявилося, що дві підмережі, які мені довелося забанити, належать саме павучкам Яндекса.
На даний момент фільтр закритий від індексації через htaccess, боти розбанені, а я чекаю на відповідь від підтримки Яндекса.
І я розумію, якби я був передбачливішим — подібних проблем не було б. Але все ж.
А у нас тут можна отримати грант на тестовий період Яндекс.Хмари. Варто лише у полі «секретний пароль» запровадити «Хабр»