Як заборонити індексацію сайту
Рожевий песик, дуже рожевий песик. Рожевий песик на будь-який смак. Рожевий песик. Купуйте рожевий песик. Рожевий песик. Тільки тут і зараз - рожеві собачки<Р>Рожева собачка.
Зрозуміло, що такий текст буде сильно оптимізований за словом "рожевий песик". Однак, це є порушенням та спробою обдурити пошукову систему. І теги в даному випадку кажуть Яндексу не індексувати цю ділянку тексту. Іншими словами, пошуковик не накладатиме на таку сторінку жодних санкцій, оскільки всі протиправні прийоми заховані від пошукового робота за допомогою тега.
На жаль, теги не стандартні. Це "винахід" Яндекса. Іноді, такого ж інструмента дуже не вистачає для Google. Googlebot, ти туди не ходи. Ти сюди ходи. (Атрибут nofollow)
Це рішення теж не можна переносити, тобто працює тільки для робота Google. Однак, знати про це все ж таки варто. Дуже зручно використовувати атрибут nofollow при оптимізації сторінок для більшого Page Rank від Google. (Про Page Rank я розповім докладніше в одному з наступних випусків). Висновки
Ми розглянули основні способи, які можна використовувати для керування індексування вашого сайту різними пошуковими роботами. Єдине універсальне рішення – це використання файлу robots.txt. Всі інші методи не універсальні. Вони застосовні лише для певних пошукових систем (не виключено, що багато хто з них увійдуть у майбутньому до стандартів HTML), але знати про них необхідно.