Створення файлу
- Створення файлу Robots.txt. Роль файлу sitemap.xml
- Як зробити свою пошукову систему
- Як переглянути файли сайту
Текстовий документ, що знаходиться в основній директорії ресурсу, називається Robots.txt. Зміст файлу включає інструкції для роботів-пошуковиків. Основними його можливостями є заборона конкретних сторінок веб-сайту до індексації, а також вказівка його головного дзеркала. Крім того, Robots.txt вказує шлях до файлу sitemap.xml.
Головною перевагою файлу Robots.txt є можливість закриття індексації деяких сторінок ресурсу. Якщо такі сторінки відкриті, пошукова система намагатиметься самостійно їх закрити. Однак може статися і казус, який полягає у випадковому закритті пошуковою системою потрібних сторінок.
А зараз розглянемо додаткові директиви, які використовуються файлом Robots.txt
Host – застосовується лише у разі наявності кількох дзеркал ресурсу. Ця директива визначає основне дзеркало, яке буде показано користувачам у результатах пошукової видачі.
Sitemap – команда, яка допомагає роботу-пошуковику визначити місцезнаходження файлу, що містить карту веб-сайту.
Crawl-delay – застосовується з метою паузи між завантаженням сторінок ресурсу. Ця директива є корисною у разі наявності на сайті безлічі сторінок. Приклад застосування: Crawl-delay: 7 – пауза складатиме сім секунд.
Request-rate – використовується для позначення періодичності завантаження сторінок роботом-пошукачем. Приклад застосування: Request-rate: 1/7 – завантаження однієї сторінки відбувається за сім секунд.
Visit-time – полягає у визначенні проміжку часу, колиРобот має можливість завантажувати сторінки. Потрібно пам'ятати, що час має виставлятися за Грінвічем. Приклад застосування Visit-time: 0200-0400.