Файл для joomla 2
Важливим моментом при самостійному просуванні та розкручуванні сайту є підвищення показника індексації сайту. Оскільки домінують у рунеті пошукові системи Яндекс та Google, тому варто приділити особливу увагу індексації сайту в Яндексі та Google. Тому що від цього залежатиме успішне просування сайту в цілому комплексі етапу розкручування.
При обході пошуковими роботами сайтів з метою індексації спочатку відбувається перевірка файлу robots.txt, і в залежності від прописаних у ньому правил здійснюються подальші дії пошукового робота.
За відсутності файлуrobots.txt для joomla, дії пошукового робота до сайту можуть бути різні: проіндексувати, частково проіндексувати або взагалі проігнорувати. За наявності файлу robots.txt, причому грамотно складеного, пошуковий робот здійснюватиме цілеспрямовану індексацію сайту.
Ось так виглядає стандартний файл robots.txt у дистрибутиві Joomla 2.5 після встановлення сайту на сервер.
Даний файлrobots.txt для joomla працездатний, але в ньому необхідно зробити зміни, які суттєво підвищать ефективність індексації сайту пошуковими роботами.
Ось які потрібно зробити поправки для файлу.
Правило Disallow: /images/ створює заборону на індексацію до папки для картинок на сайті. Закриття папки images від індексування означає відмову від участі у пошуку за картинками Яндекса та Google. Цю директиву потрібно видалити з файлу robots.txt.
Для участі зображень у пошуку за картинками Яндекса та Google необхідно прописувати атрибути Alt та Title. Так як ці атрибути будуть ключовими словами для пошуку за картинками Яндекса та Google.
При роботі на панеліЯндекс - Вебмайстер розділ "Виключені сторінки" видається повідомлення: HTTP-статус: Ресурс не знайдено (404) і показані сторінки навмисно заборонені до індексування. Однією з причин такого повідомлення є відсутність правила, що вказує шлях до файлу Sitemap. Цей недолік повинен бути відновлений. Як зробити карту сайту та файл Sitemap дивіться у статті:
Також обов'язково слід додати у файл robots.txt окреме правило User-agent: Yandex для вставки директиви Host, що визначає головне дзеркало сайту для Яндекса (дзеркало сайту - це URL сайту з www або без).
Яким правилом можна закрити:
- сторінки для друку
- індексацію каналів новин
- PDF файли
- динамічні посилання
- сторінки пошуку та інші сторінки
Щоб віддати перевагу пошуковику Яндекс, необхідно User-agent: Yandex ставити на початку файлу. У результаті файл robots.txt має виглядати так:
Цей приклад перестав бути еталоном, але можна прийняти за основу.
Після коригування файлу (ви також можете додавати свої правила до robots.txt), перевірка файлуrobots.txt для joomla є обов'язковою. Так як у разі помилки, справжні сторінки можуть бути закриті для робота і зникнуть з пошуку.
потрібно додати підготовлений список та натиснути кнопку “Перевірити” І ви отримаєте результат проведеної роботи.