Як закрити контент від індексації керівництво
Іноді виникають такі ситуації, коли потрібно закрити від індексації частину контенту. Далі розглянемо все на прикладах.
Часто необхідні речі, які необхідно приховати від індексації Яндексом та Google:
- Приховати від пошуку технічну інформацію
- Закрити від індексу не унікальний контент
- Приховати наскрізний, що повторюється всередині сайту, контент
- Закрити сміття, які потрібні користувачам, але для робота виглядають як дубль
Як закрити від індексації домен та піддомен
Для того, щоб закрити від індексації домен можна використовувати
1. Robots.txt
Для цього прописуємо в ньому наступні рядки:
За допомогою цієї маніпуляції ми закриваємо сайт від індексації всіма пошуковими системами.
При необхідності Закрити від індексації конкретною пошуковою системою, можна додати аналогічний код, але із зазначенням Юзерагенту.
Іноді ж треба навпаки відкрити для індексації лише якоїсь конкретної ПС. У такому випадку потрібно скласти файл Robots.txt у такому вигляді:
Таким чином ми дозволяємо індексувати сайт тільки одного ПС. Однак мінусом є те, що при використанні такого методу, 100% гарантії не індексації немає. Проте, потрапляння закритого таким чином сайту в індекс, носить скоріше виняток.
Для того, щоб перевірити коректність вашого файлу Robots.txt можна скористатися даним інструментом, просто перейдіть за цим посиланням http://webmaster.yandex.ru/robots.xml.
2. Додавання Мета-тега Robots
Також можна закрити домен від індексації за допомогою Додавання до Коду кожної сторінки Тега:
Куди писати META-тег "Robots". Як і будь-який META-тег вінповинен бути поміщений у область HEAD HTML сторінки:
Цей метод працює краще ніж Попередній, тим більше його легше використовувати точково ніж Варіант з Роботсом. Хоча застосування його до всього сайту також не складе особливих труднощів.
3. Закриття сайту за допомогою .htaccess
Для того, щоб відкрити доступ до сайту тільки по паролю, потрібно додати файл .htaccess, додаємо такий код:
Після цього доступ до сайту буде можливим лише після введення пароля.
Захист від Індексації при такому методі є стовідсотковим, проте є нюанс, що складно просканувати сайт на наявність помилок. Не всі парсер можуть проходити через процедуру Логіна.
Закриваємо від індексації частину тексту
Дуже часто трапляється така ситуація, що необхідно закрити від індексації.
Скажу відразу, що поширений у свій час метод за допомогою тега не працює.
Однак є альтернативний метод закриття від індексації, який дуже схожий за своїм принципом, а саме метод закриття від індексації за допомогою Javascript.
Закриття контенту від індексації за допомогою Javacascript
Даний метод гугл не дуже схвалює, так як він завжди говорив, що потрібно віддавати однаковий контент роботам і користувачам. І навіть розсилав листи в середині минулого року про те, що потрібно відкрити для індексації CSS та JS файли.
Однак на даний момент це один із найдієвіших методів боротьби з індексацією небажаного контенту.
Як закрити від індексації конкретну сторінку
Для того, щоб закрити від індексу конкретну сторінку найчастіше використовуються такі методи:
- Роботс txt
- Мета robots noindex
В разіПерший варіант закриття сторінки в цей файл потрібно додати такий текст:
?У такий спосіб дана сторінка не буде індексуватися з великою часткою ймовірності. Однак використання даного методу для точкової боротьби зі сторінками, які ми не хочемо віддавати на індексацію, не є оптимальним.
Так, для закриття однієї сторінки від індексу краще скористатися міткою
Для цього просто потрібно додати до області HEAD HTML сторінки. Даний метод дозволяє не перевантажувати файл robots.txt зайвими строчками.
Адже якщо Вам потрібно буде закрити від індексу не одну сторінку, а наприклад 100 або 200, то потрібно буде додати 200 рядків у цей файл. Але це в тому випадку, якщо всі ці сторінки не мають загального параметра, за яким їх можна ідентифікувати. Якщо такий параметр є, їх можна закрити так.
Закриття індексації Розділу за параметром в URL
Для цього можна використовувати 2 методи:
Наприклад, у нас на сайті є розділ, в якому знаходиться неунікальна інформація або інформація, яку ми не хочемо віддавати на індексацію і вся ця інформація знаходиться в 1 папці або 1 розділі сайту.
Тоді для закриття цієї гілки достатньо додати в Robots.txt такі рядки:
Також можна закрити певне розширення файлу:
Даний метод досить простий у використанні, проте, як завжди, не гарантує 100% неіндексації.
Тому краще додатково робити ще закриття за допомогою
Який має бути доданий до секції Хед на кожній сторінці, яку потрібно закрити від індексу.
Так само можна закривати від індексу будь-які параметри Ваших УРЛ, наприклад:
Однозначно найпростішим варіантом є закриття від індексації за допомогою Роботс.тхт, проте, якпоказує практика — це завжди дієвий метод.
Небезпечні методи закриття індексації у robots.txt
Також існує досить грубий метод Закриття чогось - або від роботів, а саме заборона на рівні сервера на доступ робота до конкретного контенту.
1. Блокуємо всі запити від небажаних User Agents
Це правило дозволяє заблокувати небажані User Agent, які можуть бути потенційно небезпечними або просто перевантажувати сервер непотрібними запитами.
У цьому випадку поганим роботом можна вказати будь-яку пошукову машину, парсер або що-небудь ще.
Подібні техніки використовуються, наприклад, для приховання від робота Ахрефса посилання з сайту, який був створений/зламаний, щоб конкуренти сеошники не побачили справжніх джерел маси сайту.
Однак цей метод варто використовувати, якщо ви точно знаєте, що хочете зробити і розумно оцінюєте наслідки від цих дій.
2. Використання HTTP-заголовка X-Robots-Tag
Заголовок X-Robots-Tag, виступає як елемент HTTP-заголовка для певного URL. Будь-яка директива, яка може використовуватися в метатезі robots, застосовується також і до X-Robots-Tag.
У X-Robots-Tag перед директивами можна вказати назву агента користувача. Приклад HTTP заголовка X-Robots-Tag, який забороняє показ сторінки в результатах пошуку різних систем.
Висновок
Ситуації, коли необхідно закрити контент від індексації трапляються досить часто, іноді потрібно почистити індекс, іноді потрібно приховати якийсь небажаний матеріал, іноді потрібно зламати чужий сайт і вказати роботсі disalow all, щоб викинути сайт дзеркало з індексу.
Основні та найдієвіші методи ми розглянули, як їх застосовувати — справа вашої фантазії іцілей, які ви переслідуєте.
Знижки для новачків:
Підпишіться на цікаві оновлення мого блогу, щоб бути в тренді останніх тенденцій розробки та просування сайтів: