ComparseR для роботи з індексом сайту або Як видалити все - соплі - за 1 хвилину

Я одразу ж спробував її на ділі та залишився під враженням! Справді дуже крута штука! ComparseR дозволяє вивчити індекс сайту.

Програма ComparseR для аналізу індексації сайту

Функції та особливості ComparseR

Основне призначення програми ComparseR - це дізнатися, які сторінки існують на сайті, які з них в індексі, які немає. Або навпаки, які непотрібні сторінки з Вашого сайту потрапили до індексу.

Особливості ComparseR:

Вміє сканувати сторінки в індексі Google та Яндекс для подальшої роботи з ними.
Можливість автоматичного видалення (пакетно) непотрібних сторінок з індексу Яндекса та Google (не потрібно залазити на панелі вебмайстрів).
Краулер для детальної інформації на сторінках сайту (коди відповіді сервера, title, description, кількість заголовків та ін. інформація, подробиці нижче).
Порівняння реально існуючих сторінок сайту з пошуковою видачею. З легкістю можна знайти сторінки, які, наприклад, дають 404 помилку, але знаходяться в індексі. Там же у програмі видалити все це пакетно. Маса можливостей.
Можливість роботи з сервісами антикапчі, проксі, XML яндекса
Збір статистики, зручне відображення проблем із сайтами (виділення червоним).
Можливість розвантаження структури сайту.
Створення sitemap.xml, особливо актуально, якщо двигун не WordPress.
Пошук вихідних посилань із сайту.
Сканування зображень на сайті, значення їх title, alt та ін.
І багато багато іншого.

Програма ComparseR інтуїтивно зрозуміла, виглядає так:

Як видалити непотрібністорінки з індексу

Google

Припустимо, мені потрібно видалити сторінки з індексу Google. Вони випадково потрапили туди до індексу і я хочу позбавити їх.

Також можна відсортувати по колонці “Відповідь сервера” та видалити сторінки, які віддають 404 помилку та потрапили до індексу, якщо такі є. Ну або ви бачите, що непотрібні сторінки потрапили в індекс, забороняєте його індексування спочатку за допомогою robots.txt, наприклад, потім ставите видалення вже в цій програмі.

Яндекс

З Яндексом абсолютно все одно, ви зможете також легко подивитися, які сторінки у Вас потрапили в індекс, при необхідності дописати правило в Robots.txt і скористатися "Видалити URL" в ComparseR вже у вкладці "Яндекс". Аналогічно також можна додати сторінки до “аддурилки”, якщо це вам потрібно.

У програмі ще є так званий "Краулер". Хто працював з програмами типу Netpeak Spider, Xenu та ін. зрозуміють що це. Йде сканування сторінок Вашого сайту і ви отримуєте інформацію за ними (натисніть, щоб збільшити):

Тут доступна така інформація:

Порядковий номер.
Відповідь сервера.
URL-сторінки.
Довжина URL
Title сторінки.
Глибина.
Meta robots.
Rel canonical.
Тип контенту
Джерело.
Robots.txt (allow/disallow).
Швидкість завантаження.
Розмір сторінки (Kb).
Description.
Довжина опису.
Кількість заголовків h1.
Сам заголовок.
Довжина h1.
Кількість заголовків, безпосередньо сам заголовок та довжина h2, h3, h4, h5, h6.

Як бачите багато потрібної інформації, можна висмикнути.

А у вкладці "Зовнішні посилання" можнапобачити з якого URL вашого сайту і куди йдуть посилання:

Статистика та структура

У програми є чудовий блок "Статистика та структура" у правій частині:

Навівши мишкою на неї, можна побачити такий блок:

Дуже зручно! Наприклад, натиснувши в розділі “Файл robots.txt” disallow: 1 (див. стрілку вище), можна відразу побачити, які сторінки потрапили в індекс Яндекса, незважаючи на те, що вони заборонені до індексування в robots.txt:

І цю сторінку знову можна легко видалити через кнопку “Додати/Видалити URL”.

Дуже багато інформації та фільтрів у вкладці "Статистика": можна подивитися які сторінки потрапили в індексі, які ні, де є дублі в метатегах та інше. Зручно.

Структура сайту

Там же у вкладці “Статистика та структура” можна переглянути структуру сайту:

Таким чином можна спарсити структуру якого-небудь сайту, який дуже сподобався і відрізняється добре продуманою структурою. Якісь добрі ідеї перейняти собі. Або подивитися на структуру свого сайту, щоб дізнатися, як бачать його пошукові системи. За потреби можна зберегти все у файлі.

Також з легкістю можна створити карту сайту sitemap.xml. Для WordPress сайтів – це дуже просто реалізувати за допомогою плагінів, наприклад, WordPress SEO. Якщо ж двигун самописний або якийсь складний, можна просто скористатися програмою ComparseR:

Не знаю як вам, але програма мені дуже сподобалося. Постійно доводилося вручну колупатися в індексі та дивитися: які ж непотрібні сторінки потрапили до індексу Яндекса чи Google. Тепер дуже наочна картина перед моїми очима, причому досить зручна та зрозуміла. І не потрібно "залипати" вЯндекс для проведення аудитів. Дуже крута річ. Аналогічно легко перевірити, які сторінки НЕ потрапили в індекс.

Так, програма платна, але має демо-режим для повного ознайомлення, працювати можна зі 150 сторінками сайту. І більше жодних обмежень. Якщо у вас ще сайт не дуже великий, то цього цілком достатньо.

А як ви аналізуєте пошуковий індекс? Вручну чи за допомогою якихось спеціальних програм/сервісів?