Головний файл на сайті

можна
Що таке взагалі файл Robots.txt і навіщо він потрібний? Файл, що знаходиться в генеральному каталозі Вашого ресурсу, який містить інструкції для пошукових машин, має назву Robots.txt. З його допомогою можна відкрити або закрити доступ до певних сторінок або розділів Вашого сайту, встановити базове дзеркало ресурсу, а також прописати місцезнаходження файлу sitemap. Robots.txt – дуже корисний файл. Прослідкувати це можна на прикладі обмеження доступу до технічних розділів Вашого ресурсу. Якщо індексація для технічних розділів на Вашому сайті відкрита, то пошукові роботи намагатимуться закрити її до них, чим можуть випадково прикрити доступ і до потрібних сторінок сайту.

Robots.txt - головний файл на сайті. Як завантажити robots.txt

Завантажити robots.txt можна з кореневого каталогу на вашому сайті. Створити цей файл можна безпосередньо за допомогою програми Блокнот. Насамперед, що зробить пошукова машина, зайшовши до Вас на ресурс, намагатиметься завантажити robots.txt і ознайомиться з інструкціями, розташованими в ньому.

Налаштувати robots.txt можна застосовуючи дві базові директиви: Usеr-аgеnt та Disаllоw. За допомогою першої ми визначимо, яка пошукова система закриватиме індексацію, яка розташована у другій директиві. Наприклад: Usеr-аgеnt:* Disаllоw:/ – інструкція, що знаходиться в такому вигляді, заборонятиме індексування сторінок всього сайту для пошукових роботів. Прописуючи шлях до окремого файлу чи директорії після директиви Disallow, робот перестане їх індексувати. Примітка: не пишіть кілька шляхів до файлів (каталогів) в одному рядку У цьому випадку директива не працюватиме. Якщо Вам потрібно відкрити доступ доконкретним сторінкам сайту, застосовуємо директиву під назвою Allow.

У robots.txt ще можна зустріти такі директиви:

- Директива Host. Застосовується в тих випадках, якщо ресурс має 2 і більше дзеркал. Ця директива визначає основне дзеркало, і саме воно показуватиметься у всіх видачах пошукових систем;

– за допомогою директиви Sitemap пошуковий робот може ознайомитися зі структурою Вашого сайту;

– за допомогою директиви Crawl-delay можливе встановлення затримки між завантаженням сторінок на Вашому сайті для пошуковика. Це дуже корисна команда у випадку, якщо на Вашому ресурсі дуже багато сторінок;

– директива Rеquest-ratе призначена для встановлення періодичності завантаження сторінок пошуковим роботом. Розглянемо наступний приклад: Request-rate: 6/9 – робот завантажуватиме шість сторінок за 9 секунд.

- Використовуючи директиву Visit-timе, стає можливим визначити діапазон часу, в проміжку якого можна завантажувати сторінки. Час встановлюється Лондоном так: Visit-time: 0400-0600.

Неправильне налаштування або регулювання роботів.

Мій robots.txt для WordPress

Перевірити правильність налаштування robots.txt можна за допомогою сервісу Яндекс.Вебмайстер, який називається аналіз robots.txt. Все, що потрібно, так це вписати ім'я свого домену, і Ви побачите свої помилки або завантажити robots.txt і надати його на перевірку сеошнику-професіоналу.

Підпишись на оновлення блогу по RSS, Email, twitter!