Що в мета тезі robots можна заборонити пошукачам
Діями пошукових роботів можна керувати (принаймні дуже хочеться в це вірити), і не тільки за допомогою файлу robots.txt дозволяючи або забороняючи індексування окремих сторінок або цілих розділів сайту, але і за допомогою спеціального для них (роботів англ. robots) призначеного мета тега, включеного до секції head будь-якої сторінки.
Про те які вказівки можна давати роботам пошукових систем у мета тегах сторінки, що можна дозволяти, а що забороняти в даному тегу ми поговоримо в даній статті.
Мета тег robots: директиви роботам пошукових систем
Звичайний тег meta для роботів у секції head сторінки виглядає так:
Директиви в мета тезі robots
Як дозволити чи заборонити архівування - збереження копії сторінки
Як заборонити використання для сторінок описів з відкритого проекту ODP та Yahoo директорії
- noodp - забороняє використовувати як опис сторінки її опис в ODP
- noydir – забороняє показувати в пошуковій видачі опис сторінки з директорії Yahoo
Як заборонити відображення сніпету в результатах пошукової видачі
- nosnippet - забороняє створювати та відображати опис (сніппет від англ. snippet) у результатах пошуку
Використання декількох директив в одному META тегу
Для того, щоб використовувати відразу декілька директив для роботів, не потрібно створювати додаткові теги, всі директиви та вказівки можна вказувати в одному, розділяючи їх комою та пробілом. Наприклад:
Вказівки для одного робота конкретної пошукової системи
Якщо, наприклад, ви заходите встановити заборону на індексування або дати інші директиви одному певному роботу, конкретної пошукової системи(наприклад: Google або Яндекс), то в цьому випадку ваш тег META має виглядати так:
У цьому випадку буде доречним використання кожного робота окремих meta тегів. Імена роботів інших пошукових систем ви знайдете у базі даних.
Пріоритет директив мета тегів robots у разі конфліктів вказівок
У разі конфліктів між декількома директивами в одному або кількох тегах пошуковий робот Яндекса буде використовувати значення за замовчуванням, тобто, що дозволяє індексацію та інші дії. А робот Google у разі конфлікту двох чи кількох вказівок вважатиме пріоритетною і використовуватиме заборонну директиву.