Як в інтерактивному режимі аналізувати та переглядати логи веб-сервера Apache на Linux
Чи працюєте ви в бізнесі веб-хостингу, або самостійно запускаєте кілька сайтів на VPS, швидше за все, ви хочете відобразити статистику відвідувань, таку як топ відвідувачів, запитані файли (в динаміці або за підсумком), смугу пропускання, клієнтські браузери, сайти, що посилаються і т.д.
Встановлення GoAccess у Linux
У Debian, Ubuntu, Mint та похідних запустіть наступну команду для встановлення GoAccess:
У CentOS вам потрібно включити репозиторій EPEL, а потім:
У Fedora просто використовуйте команду yum:
Якщо ви хочете встановити GoAccess з вихідних кодів, щоб задіяти просунуті опції (такі як локація GeoIP), встановіть необхідні залежності для вашої операційної системи, а потім зробіть такі кроки:
Це встановить версію 0.8.5, але ви завжди можете перевірити, яка версія останньої на Стариці завантаження на веб-сайті цього проекту.
Оскільки GoAccess не вимагає подальшої конфігурації, встановивши її, ви готові до запуску.
Робота GoAccess
Для початку використання GoAccess просто запустіть її, вказавши шлях до логів доступу (файл access) Apache.
Для Debian і похідних запуск GoAccess:
Для заснованих на Red Hat дистрах запуск GoAccess:
Коли ви запускаєте GoAccess вперше, вас зустріне наступний екран, у якому потрібно вибрати дату та формат лога. Ви можете перемикатися між опціями, використовуючи пропуск, а для продовження натиснути F10. Щодо дати та форматів логів, можливо, ви захочете звернутися до документації Apache, якщо вам потрібно освіжити вашу пам'ять.
У нашому випадку вибираємо Choose Common Log Format (CLF):
Переглядаємо статистику веб-сервера з GoAccess
1. Унікальні відвідувачі за день (HTTPзаголовки, що мають однаковий IP, однакову дату та однаковий агент розглядаються як один унікальний візит)
2. Запрошені файли (URL сторінок)
3. Запитані статичні файли (наприклад, PNG, JS, etc)
4. URL, що посилаються (URL з якого прийшов кожен запит)
5. Код відповіді HTTP 404 Not Found
Пропонуємо до вашої уваги новий курс від командиThe Codeby - "Тестування Веб-Додатків на проникнення з нуля".Загальна теорія, підготовка робочого оточення, пасивний фазинг та фінгерпринт, Активний фазинг, Вразливості, Пост-експлуатація, Інструментальні засоби, Social Engeneering та багато іншого.Детальніше .
6. Операційні системи
8. Хости (клієнтські IP)
9. Коди статусів HTTP
10. Топ сайтів, що посилаються
11. Топ пошукових фраз, що використовуються при переході з пошукової машини Google
Якщо вам також хочеться аналізувати архівні логи, ви можете перенаправити їх вміст GoAccess наступним чином.
Для Debian та похідних:
Для дистрибутивів, заснованих на Red Hat:
Якщо вам потрібний більш детальний звіт по будь-якій з наведених вище секцій (від 1 до 11), то послідовно перемикатися між модулями можна використовуючи TAB (або SHIFT + TAB для зворотного порядку перемикання). Вибравши будь-який модуль (зверніть увагу на нумерацію - нумерація модулів починається з 0, тобто перший модуль має номер нуль) його можна розгорнути натиснувши ENTER або o або пробіл.
Інші інтерактивні команди:
j - вниз усередині модуля
k - вгору всередині модуля
s — для сортування всередині модулів
/ — пошук усередині модулів (дозволені регулярні вирази)
q - усередині модуля - згортає модуль; в основному вікні - вихід із програми
Модулі самі згортатимуться, коли ви перемикатиметеся на наступний.
g - перехід до першого пункту (працює і в модулях і в основному вікні)
G - перехід до останнього пункту (працює і в модулях і в основному вікні)
c - задає або змінює колірну схему
Якщо останнім часом ваша система не була дуже зайнята, деякі з вищезгаданих секцій не покажуть багато інформації, але ця ситуація може змінитися зі збільшенням запитів на ваш веб-сервер.
Збереження звітів для офлайн аналізу
Буде час, коли вам не захочеться перевіряти стан вашої системи в реальному часі, але захочеться зберегти це для офлайн аналізу або друку. Для генерації HTML звіту просто перенаправте висновок згаданих раніше команд GoAccess в HTML файл. Все, що залишиться, це відкрити ваш веб-браузер збережений файл.
Як уже було сказано у статті, GoAccess — це неоціненний інструмент, який забезпечить вас, як системного адміністратора, статистикою HTTP у візуальному звіті на льоту. Хоча, за умовчанням, GoAccess видає свої результати у стандартний висновок, ви можете зберегти висновок у файли JSON, HTML чи CSV. Це перетворює GoAccess на неймовірно корисний інструмент для моніторингу та відображення статистики веб-сервера.
Представляємо вашій увазі курс від командиcodeby - "Комплекс заходів щодо захисту персональних даних, анонімності в інтернеті і не тільки" Детальніше .