MegaIndex - зупинити божевілля, DL internet solutions
У цій замітці йтиметься про сервіс www.megaindex.org та його "ненаситні" боти. Відразу обмовлюся - цілком можливо, що комусь цей сервіс дуже потрібний. Однак для себе жодного, навіть теоретичного застосування не знайшов.
У той же час саме "ненаситність" і "нахабність" його ботів змушує вживати якихось заходів для захисту серверів від зайвих навантажень. Ні, звичайно ж, він не "валить" сервер, не створює критичних навантажень (принаймні на моїх серверах та серверах моїх клієнтів), але все ж таки, часом відчутно набридає.
Ось приклад із життя отриманий простим аналізом логів не найвідвідуванішого ресурсу за один із днів:
Більше 50% запитів на сайт було здійснено ботом MegaIndex! Для чого йому стільки? Ніхто його туди не запрошував! Я прихильник лояльного ставлення до різних ботів, але не в таких же кількостях!
На самому сайті компанії MegaIndex якийсь Хіврін Миколай радісно написав:
За 5 днів індексатор вже опрацював понад 60% сайтів у СНД та понад 7% сайтів у світі.
Вибачте, але це ж БЕЗУМ'Я. Весь Інтернет на локальному жорсткому диску? Навіщо? Навіщо такими темпами?
При цьому цей робот зовсім ігнорує директиви robots.txt.
Звісно, кожен вирішує собі сам. І я не нав'язуюсь, але вважаю, що від таких ботів потрібно захищатись. Для тих, хто теж хоче даю простий рецепт, як заблокувати MegaIndex бота і при цьому не навантажувати сервер.
Для тих, хто використовує Apache - прописати директиву в .htaccess:
Для тих щасливчиків, хто вже відмовився від Apache та використовує nginx - додати до конфігу рядки:
* (MegaIndex) ) return 403; >
Такий конфіг змусить сервер для MegaIndex робота віддавати відповідь "403 Forbidden" і більше ненапружуватися. Все просто та легко.
У себе я ще й закриваю автоматично доступ по айпі у фаєрволі, приблизно тому що описано в замітці "Елементи захисту від DDOS за допомогою nginx + ipfw".
Щиро сподіваюся, що ця нотатка комусь полегшить життя.