Дублі сторінок яку шкоду, як знайти і що робити Блог колишнього оптимізатора з ПМР, вже не про SEO,
Присутність внутрішніх дублів сторінок на мережному ресурсі може спричинити помилки в індексації сайту. Крім цього наявність дублів сторінок може призвести до того, що всі результати просування ресурсу зведуть нанівець. Наприклад, якщо на сторінках, просуванням яких ви займаєтеся, присутні дублі, то після здійснення чергового апдейту будь-який з них може замінити потрібну сторінку у видачі. Це у свою чергу здебільшого призводить до суттєвого просідання позицій. Відбувається це у зв'язку з тим, що у дубля на відміну від сторінки, яку ви просуваєте, немає ніякої посилальної маси.
Звідки можуть братися дублі сторінок?
Дублі сторінок бувають як нечіткими, так і чіткими
У свою чергу нечіткими дублями є сторінки, на яких розміщений хоч і різний, проте разом з тим у більшості аспектів дуже схожий контент.
Як можна з'ясувати, чи є на ресурсі дублі?
Точно визначити, чи є на ресурсі дублі сторінок, можна за допомогою пошукової системи Яндекс. Для того щоб здійснити пошук дублів потрібно шматок тексту сторінки, яку підозрюють у дублях, ввести в пошуковий рядок у розширеному пошуку, вказавши при цьому в рядку «на сайті» належний вам домен. Шматок тексту необхідно вводити лише у лапках. Усі сторінки, які знайде Яндекс, можуть бути нечіткими чи чіткими дублями.
Щоб здійснити це необхідно в рядок пошуку ввести в лапках фрагмент тексту сторінки, що перевіряється, і через пропуск зробити вказівку області пошуку - site:examplesite.ru.
У разі виявлення дублів сторінки це буде виглядати такчином:
Якими способами можна позбутися дублів сторінок?
Директива Disallow у Robots.txt
Директива Disallow в основному застосовується для заборони індексації сторінок ресурсу пошуковими роботами, а також для видалення з бази вже проіндексованих сторінок. Даний варіант є найбільш оптимальним у тих випадках, коли дублі сторінок розташовані в конкретних директоріях або якщо структура URL дає можливість закрити кілька дублів одним правилом.
Наприклад, якщо потрібно закрити всі без винятку сторінки з результатами пошуку по ресурсу, що знаходяться в папці www.examplesite.ru/search/, достатньо в Robots.txt прописати наступне правило:
Як інший приклад можна навести наступний. Якщо знак "?" є безпосереднім ідентифікатором сеансу, то можна заборонити індексацію всіх сторінок, які містять цей знак, одним правилом:
Так можна забороняти до індексації чіткі дублі: сторінки ідентифікаторів сесій, сторінки для друку тощо, сторінки пошуку по сайту і так далі
Тег rel=canonical
Тег rel=canonical застосовується у тому, щоб вказати пошуковим роботам, яка сторінка із групи дублів має брати участь у пошуку. Таку сторінку називають канонічною. Для того, щоб вказати її пошуковим роботам, потрібно на другорядних сторінках прописати URL-адресу канонічної сторінки:
Цей метод рятування від дублів найкраще підходить у тих випадках, коли дублів досить багато, проте варто враховувати, що закрити їх єдиним правилом у Robots.txt не можна через особливості URL.
301 редирект
Налаштувати редирект з однієї сторінки на іншу можливо, прописавши у файлі .htaccess наступне правило:
Redirect 301 /category/old-page.html http://www.melodina.ru/category/new-page.html
Також при необхідності можна налаштувати масовий редирект зі сторінок одного типу на сторінки іншого типу, проте для цього необхідно, щоб структура URL була ідентичною.
Творчий підхід
Іноді трапляється так, що сторінки, які мають ознаки нечітких дублів, насправді містять корисний контент і видаляти їх з індексу немає потреби. І тут виникає цілком резонне питання – що робити? Потрібно у разі унікалізувати, додавати чи змінювати контент.
Наприклад, якщо проблема з нечіткими дублями виникла через занадто об'ємну навігацію, то необхідно пошукати способи, за допомогою яких можна збільшити контентну частину, або ж зменшити наскрізні блоки.
Наприклад: Стильна [жіноча] [шкіряна] торба чорного кольору [Chanel] [з ручкою] на кожен день.
За час своєї роботи я треба помітити, зустрічав досить багато різних варіантів внутрішніх дублів на ресурсах різного ступеня складності. Однак жодного разу я не стикався з такою проблемою, яку вирішити не було б можливості. Найголовніше вчасно позбутися дублів поки потрібні сторінки не випадатимуть з індексу, в результаті чого ресурс втрачатиме трафік.