Поштова система провайдера та спам ризики та практика, Securelist
Поштові сервіси у діяльності хостинг-провайдера
Більшість користувачів комерційної (платної) електронної пошти зараз користуються послугами саме спеціалізованих хостинг-провайдерів, оскільки замовникам зручно отримувати послуги хостингу веб-сайту та пошти в одному місці. Зберігаються такі користувачі, які використовують поштові скриньки на серверах своїх провайдерів доступу (dialup, виділена лінія, GPRS тощо), але в основному комерційні послуги електронної пошти зараз надаються саме хостинг-провайдерами.
Ризики та проблеми через спам
Провайдери хостингу надають комерційні послуги електронної пошти, а отже, несуть певну відповідальність за якість таких послуг відповідно до законодавства, яке регулює галузь зв'язку. Зниження якості послуг веде до певних ризиків для провайдера. До таких ризиків, які, зокрема, виникають через наявність проблеми спаму, можна віднести надмірні навантаження на поштові сервери та уповільнення доставки пошти; втрату частини легітимної пошти через використання помилкових систем захисту від спаму; потрапляння до різних чорних списків через клієнтів-спамерів і, як наслідок, втрату частини пошти і так далі. Розглянемо ризики докладніше.
Ризики: чорні списки
Основним ризиком зараз я назвав би різні <чорні списки , які створюються 'ініціативними' користувачами Інтернету. Готовий визнати, деякі з таких списків є цілком розумними. Але є й такі, що створюються екстремально налаштованими людьми, які вносять у такі списки величезні мережі, не замислюючись про наслідки своїх дій.
Багато чорних списків працюють так, що, потрапляючи до такого списку, ви стаєтезаручником його власника. Трапляється, що ви просто не можете бути видалені з нього . Буває, що вимагають за це гроші. Це два основні варіанти, з якими ми стикаємось. Бувають і «м'якіші» списки, але в них наші сервери, як правило, не потрапляють. Це говорить про те, що найбільше потрібно саме власникам хуліганських чорних списків. Наприклад, одержати прибуток. Цей шлях збагачення я з упевненістю називаю злочинним, хоча в багатьох випадках законодавством така діяльність не визначається як злочинна.
Дуже часто фільтрація за чорними списками без огляду на їх власників та їхню адекватність використовуються на безкоштовних поштових системах та на корпоративних серверах. Рідше такі списки використовують провайдери, оскільки вони самі стикаються з негативними наслідками попадання в такі списки і більш тверезо оцінюють можливість використання чорних списків без розбору.
Основні проблеми доставляють саме адміністратори корпоративних поштових серверів, які часто не дуже обізнані в питаннях захисту від спаму і використовують можливості щось пофільтрувати все підряд. Таким чином вони 'підставляють' своїх роботодавців, оскільки маса абсолютно легітимної пошти від цього втрачається.
Наша компанія використовує в процесі захисту від спаму два чорні списки, адекватність яких ми віримо, і ця віра перевірена практикою. Скарг щодо використання нами цих списків ми не отримуємо зовсім.
Ризики: зайвий трафік на мережу провайдера та надмірне навантаження на поштові сервери
Ще один серйозний ризик для провайдера - це помітний трафік на мережу провайдера. Приймаючи спам для своїх клієнтів, провайдер платить за трафік, який створюється цим спамом. У великих провайдерів це сотні гігабайт 'сміттєвих' данихщомісяця. Можливо, для великих провайдерів це непомітний обсяг даних, але, ми знаємо, копійка рубль береже.
До того ж спам доводиться зберігати на жорстких дисках поштових серверів. За нашою власною статистикою спам складає 90-95 відсотків від загального обсягу пошти. Тобто лише одна десята пошти, яка зберігається у провайдера, це те, що потрібно користувачеві. Інші 90% збережених даних - це спам, який користувачеві не потрібен. Для зберігання потрібні диски, за диски треба платити, а задоволеність користувача від роботи з послугою помітно знижується. Диски в поштових серверах дорогі, тому що серйозний сервер - це серйозне навантаження, в першу чергу, саме на диски, і нам доводиться використовувати для зберігання пошти дорогі дискові масиви.
Виходить, що провайдери платять величезні гроші за зберігання величезної кількості спаму. Мені відомі випадки, коли дискова підсистема поштового сервера провайдера коштує близько 100 тисяч доларів, і на ній зберігається спам. Витрати надання послуг електронної пошти через це зростають, на це відволікаються значні кошти. Це є серйозним ризиком для провайдера.
З іншого боку, прийому величезного потоку пошти потрібні дуже серйозні потужності (процесори і пам'ять) самих серверів. Кількості спаму зростає, доводиться купувати нові сервери. Це теж гроші, які відволікаються від основної діяльності хостинг-провайдера.
Ризики: необхідність створення служби ABUSE
Потрібно витрачати час та гроші на навчання співробітників, оплачувати той час, який вони витрачають на розгляд скарг. Це кілька годин на день. Відповідно, знаючи середні зарплати технічного персоналу, можна підрахувати приблизні витрати на службу ABUSE. Для великих провайдерів це чотиризначні цифри у доларах.щомісяця. Знову ж таки, ці гроші витрачаються далеко не на основну діяльність.
Ризики: клієнти-спамери
Не можна надавати якісну послугу без захисту від спаму
Зараз неможливо уявити серйозну поштову систему без захисту від спаму. Це так, хоча б тому, що клієнти, незадоволені величезною кількістю сміття в ящику, шукають де краще і легко змінюють провайдера з цієї причини. Пропозицій на ринку є величезна кількість, і багато провайдерів декларують, що вони захищають пошту від спаму. У нашій практиці є сотні випадків, коли нашу компанію обирали саме через серйозні можливості захисту від спаму.
Відсутність грамотної системи захисту від спаму реальна втрата грошей. Так само як і у разі використання неписьменної системи захисту — клієнти напевно змінять провайдера, коли з його вини пропаде кілька важливих ділових листів. Цьому існує безліч прикладів із практики.
Що робити
Вище були позначені ризики та витрати провайдерів, пов'язані зі спамом. Що ж робити?
По-перше,обов'язково потрібно мати політику компанії щодо протидії спаму, яка описує ставлення компанії до спаму, що і як компанія робить у різних випадках, як реагують на проблеми, що виникають, різні технічні служби. Політик має бути дві: внутрішня та публічна. Внутрішня політика визначає взаємодію служб компанії, а публічна позначає ставлення компанії до спаму та розміщується на офіційному сайті провайдера.
Цілі створення політик — забезпечення чіткої роботи технічних служб та інформування зацікавлених осіб про те, як компанія ставиться до спаму і що робить у цьому напрямку. Потрібно, щоб зацікавлені особи, які бажають дізнатися, як компанія ставиться до спаму,обов'язково мали змогу це зробити просто та швидко.
По-друге,потрібно захищати поштові сервери від спаму, знижуючи таким чином витрати на обробку та зберігання сміття та підвищуючи ступінь задоволеності клієнтів від використання послуг провайдера. Чим менше спаму доставляється на сервер провайдера, тим менше грошей витрачається на обслуговування поштової системи ('залізо', storage, abuse, :), і тим більше задоволені клієнти. Усе це призводить до збільшення доходів.
Що ми робимо в компанії .masterhost
Ми використовуємо трирівневу систему захисту від спаму, яка показує чудові результати. За статистикою за тривалий час близько 90-97% листів відкидається як спам, і при цьому ми практично не отримуємо скарг на помилкові спрацьовування та неправильну фільтрацію.
Все це разом дає більш ніж задовільні результати. Тобто ми не забиваємо диски сміттям та не отримуємо скарг від клієнтів на неправильні спрацьовування. Варто зазначити, що кілька скарг таки є, але воно настільки мізерне, що згадувати про нього у чисельному вираженні просто безглуздо.
Звичайно, кожному з нечисленних клієнтів (їх два-три десятки при сотнях тисяч поштових скриньок), які побажали відмовитися від фільтрації спаму для конкретної скриньки або цілого домену, така можливість надається на першу вимогу.
Чого хочуть клієнти
При виборі стратегії захисту від спаму потрібно виходити, в першу чергу, з інтересів клієнтів, тому що саме в їх інтересах проводиться фільтрація пошти, що здешевлює експлуатацію поштової системи провайдером. Клієнтам потрібно:
Це головні потреби клієнтів. Виходячи з цього, потрібно виробляти політику та методологію захисту від спаму.
Як захиститися від спаму новими методами, які продукти годяться
На ринку є кілька продуктів, які дають змогу аналізувати пошту. Ми маємо досвід роботи як з безкоштовними, так і з платними програмами. Безкоштовні продукти, як правило, працюють, переважно вивчаючи заголовок і тіло листа щодо наявності підозрілих слів або виразів, а платні, як правило, використовують ці ж методи плюс базу даних за зразками спаму, яка оновлюється через Інтернет в реальному часі.
Звичайно, привабливо було б заощадити та використати те, за що не потрібно платити. Однак, у цьому випадку буде потрібна величезна додаткова робота: фільтр доведеться довго вивчати тому, що таке спам, а що ні, і надалі постійно стежити за його роботою та коректністю прийнятих ним рішень. Такий підхід — не для провайдерів, тому що в цьому випадку постійно витрачається час технічного персоналу, який потрібний для проведення цих робіт. Крім того, потрібна певна додаткова кваліфікація. До того ж, байесовський фільтр, як правило, застосовується в таких продуктах, неможливо навчити правильно визначати спам для десятків тисяч різних користувачів. Це швидше індивідуальне рішення. Будуть помилки.
Набагато більш привабливими виглядають платні рішення, які передбачають просте впровадження, бази, що постійно оновлюються, і кваліфіковану технічну підтримку. У цьому випадку запуск системи фільтрації спаму нагадує встановлення антивіруса на поштовий сервер (що дуже просто), а не багатомісячну епопею боротьби з незрозуміло кимсь написаним безкоштовним продуктом, незрозуміло як працюючим.
Тобто простота впровадження та мінімальні зусилля щодо підтримки працездатності системи — відмінні якості платних продуктів. Для провайдерів цедуже актуально, оскільки крім захисту від спаму існують десятки чи сотні інших завдань, а штат технічних фахівців у провайдерів зазвичай досить невеликий.
Як ми вибирали платний продукт
Ми виходили з того, що не хочемо витрачати багато часу на початковий запуск та підтримку системи надалі. Ми хотіли, щоб система працювала ефективно і насамперед працювала ефективно з фільтрації саме українського спаму. Ми порівняли кілька платних систем, більшість із яких були зарубіжної розробки. Ціни на всі системи були приблизно однакові, а український спам, що не дивно, найкраще фільтрувала система української розробки. Втім, з англомовним і східним спамом система працює теж цілком задовільно.
Ще одним критерієм вибору була продуктивність системи. Звичайно, нам було б не дуже цікаво відвести під фільтрацію спаму десять фізичних серверів. Це дорого, їх потрібно адмініструвати, підтримувати та мати запас комплектуючих. Вибрана нами в результаті система Spamtest компанії 'Ашманов і Партнери' чудово запрацювала на одному сервері, де крім цієї системи знаходиться і ще один з поштових серверів, що приймають пошту для клієнтів (relay, MX).
Система працює на сервері Intel SR1300 із двома процесорами Intel Xeon 2.66GHz на операційній системі FreeBSD 4.10. Система Spamtest використовує 10-15 відсотків ресурсів процесорів. Це більш ніж задовільний показник, тому що через неї проходить 2-3 мільйони листів щодня.