Що впливає на індексацію сайту у пошукових системах
Аналіз доступності ресурсу
Ми наполягаємо на тому, щоб усі розпочинали свій шлях з оцінки спільної роботи та функціональності сайту. Якщо пошукові системи чи ваші відвідувачі не отримують доступу на ресурс чи якісь його частини, це тривожний сигнал до того, що щось пішло негаразд.
Ось що ми перевіряємо в першу чергу, щоб уникнути таких стоп-моментів.
Улюблений усіма нами файл robots.txt використовується для обмеження пошукових роботів у доступі до розділів вашого сайту.
Його досить просто можна перевірити і вручну, переконавшись, що обмеження стоять правильно, не забороняючи доступ всім і кожному до важливих розділів сайту. Допомогти з перевіркою robots.txt вам зможе сервіс Яндекса - Вебмайстер.
Для цього потрібно:
пройти шлях "tools" - "robotstxt"
ввести у вікно вихідний код файлу
отримати дані перевірки та внести виправлення
Перевірка HTTP
Це наступний крок перевірки вашої доступності. І важливий він тому, що гірше нікуди для відвідувача чи пошукового робота не потрапити на сторінку зі злощасними помилками діапазону 4хх та 5хх (наприклад, знаменита програмна помилка 404).
Якщо під час виправлення ви налаштували редирект, то не забувайте ось про що. Двічі перевірте також код стану HTTP 301, який відповідає за переміщення URL в нові місця. Адреса нового розташування ресурсу вказується в полі Location (у заголовку одержуваного пакету протоколу HTTP). І якщо ви вказали його правильно (і скрізь, де необхідно), пошуковий робот знайде переміщені змінені URL без будь-яких проблем.
XML Карта сайту
XML Карта вашого сайту забезпечує пошуковим роботамлогічне та швидке пересування по вашому ресурсу. Це важливо, тому що у разі затримки оцінка стану вашого сайту буде відбуватися значно повільніше, і це обов'язково вплине на його ранжування.
Ось кілька важливих питань, на які варто відповісти, щоб зрозуміти, в якому стані зараз є карта вашого сайту:
Чи представлена вона у вигляді добре сформованого XML-документа?
Чи слід вона Sitemap-протоколу?
Чи ви знайдете самостійно, без карти сайту сторінки, які в ній з якоїсь причини не відображаються?
Чи є у вашій карті сайту сторінки, які не належать до конкретного дочірнього розділу чи підрозділу?
Чому ми спитали саме про це? Все просто.
Пошукові роботи, перевіряючи ваш сайт та його структуру, мають на увазі певну модель карти сайту, не знайшовши яку, можуть заблукати і не здійснити перевірку належним звичним і головне повноцінним шляхом оглянувши всі закутки.
Якщо у вашій карті є сторінки, які не мають дочірніх розділів — це осиротілі посилання, які потребують турботи. Варто знайти для них місце в архітектурі сайту і переконатися, що кожна знайшла хоча б одне внутрішнє посилання.
Архітектура сайту
Архітектура сайту визначає його майбутню структуру вздовж і поперек: вертикальну глибину (кількість рівнів) та горизонтальну будову ресурсу.
Головний критерій оцінки якості архітектури - підрахунок кліків, що потрібні, щоб дістатися від головної сторінки до інших важливих розділів.
Другий момент – це оцінка ієрархії сайту. Оскільки найважливіші сторінки обов'язково повинні мати пріоритет в архітектурі всього сайту.
В ідеалі потрібно прагнути більш плоскої архітектури сайту, що використовує одночасно вертикальні ігоризонтальні елементи побудови.
Але навіть найкращі за структурою ресурси можуть бути негативно оцінені пошуковими роботами, якщо їхня довіра підривають навігаційні елементи, що блокують доступність сайту. Ми говоримо зараз про Flash та Jvascript.
Продуктивність Сайту
Цей блок робіт пропускати неможливо. Він повинен завершити перевірку доступності вашого сайту, підказавши вам, які показники вимагають покращення.
Всі користувачі обмежені обсягом уваги, яку вони готові приділити одному ресурсу. І якщо ваш сайт погано підвантажується, то ризик втрати клієнтів стає максимальним. Хоча пошукові роботи не мають людського поняття «терпіння», вони також мають обмежену кількість часу на вивчення одного ресурсу в Інтернеті. Що означає, якщо ваш ресурс гальмує, це ризик і відвідувачів втратити, і перевірку від пошукових систем проходити рідше.
Оцінити продуктивність сайту можна за допомогою десятків інструментів, детальніше ми писали про це в нашому останньому матеріалі про самостійний аналіз сайтів. Ви можете звернутися, скажімо, до ресурсу Sitespeed або його аналогів, але найважливіше для вас буде після перевірки – оцінити ситуацію та ступінь її занедбаності. Ну і, звичайно, виправити те, про що вам говорять показники.
Аналіз індексації сайту у пошукових системах
Команда «site:»
Більшість пошукових систем використовують команду для пошуку контенту на конкретному ресурсі.
Ви можете використовувати її, щоб отримати приблизну оцінку кількості сторінок, які були проіндексовані в цій пошуковій системі. Наприклад, якщо ми шукаємо в Google оцінку ресурсу seomoz.org, то бачимо, що пошукова машина проіндексувала приблизно 60,900 сторінок:
Зрозуміло, ця цифра є приблизною. Але навіть приблизна оцінка часом буває дуже цінною. Адже вона дасть вам розуміння подальшого сценарію, який може бути одним із трьох:
1. Індекс і фактичні показники приблизно рівнозначні - це ідеальний сценарій, що показує, що пошукові системи успішно індексують всі сторінки вашого сайту.
2. Підрахунок індексу значно менший, ніж фактична кількість сторінок - цей сценарій свідчить нам про те, що пошукові системи з якоїсь причини не проіндексували цілу стос ваших сторінок. У цьому випадку вам важливо зрозуміти, чи ви визнали проблему в ході аудиту доступності сайту — і якщо так, то виправляти її через отримані дані про помилки. Якщо ж ні — доведеться провести комплексний аудит сайту, визначаючи проблему і стоп-моменти в індексації. І почати з того, щоб дізнатися, чи не потрапляє низка сторінок у бан або під покарання пошукових машин з якоїсь причини.
3. Підрахунок індексу значно перевищує фактичну кількість сторінок — у разі, зазвичай, йдеться у тому, що ваш контент продубльований (наприклад, одна сторінка доступна через кілька точок входу, чи дві сторінки мають дуже подібний контент).
Коли на вашому сайті з'являється дубльований контент, пошукові роботи намагаються визначити, яка зі сторінок є початковим джерелом, а яка її дублем. І, на жаль, не може зробити це зі 100% точністю, тому найчастіше в пошукову видачу потрапляє не та сторінка, яка потенційно важлива для вас. До того ж, якщо на вашому сайті буде дуже багато дублів, то пошуковий робот може незабаром взагалі припинити відвідувати ваш сайт, не оцінюючи його контент як унікальний.
І звичайно ще однією проблемою появи дублів може стати крадіжка вашого контенту(Сподіваємося, що не навпаки). І якщо у потенційного злодія буде успішний, з погляду пошукових машин, ресурс, то на жаль і ах, але саме він може стати номером один, що вплине на ваші позиції у видачі.
Як знайти дублі у межах свого ресурсу?
По-перше, ви завжди можете звернутися до Яндекс.Вебмайстер або його аналога в Google, пройшовши простий шлях: Оптимізація - Оптимізація HTML.
Або скористайтеся рядком пошуку та командою «site:»
site: вашсайт.ru - покаже сторінки сайту «вашого сайту.ru», що знаходяться в індексі пошукової системи (загальний індекс).
site: вашсвйт.ru/& - Покаже сторінки сайту «вашогосайту.ru», що беруть участь у пошуку (основний індекс).
Таким чином, ви зможете побачити та визначити малоінформативні сторінки та часткові дублі, які не беруть участь у пошуку та можуть заважати сторінкам з основного індексу ранжуватися вище.
Коли ви визначите всі дублі сторінок, зможете позбутися їх, відкоригувавши движок сайту або додавши тег «rel=canonical» в заголовки сторінок, наприклад: http://www.example.com/product.php?item=swedish-fish" />
Що робити, якщо ваш сайт потрапив під покарання пошукових систем?
Ми дуже сподіваємося, що ця доля вас мине і що ви вчасно встигнете провести базовий самостійний аудит свого ресурсу, або звернутися за допомогою до фахівців, наприклад, до нашої команди аналітиків та SEO-фахівців.
Але якщо раптом ви зіткнулися з тим, що ваш ресурс таки якимось чином заробив попередження або навіть штраф, то дотримуйтесь порад нижче.
Крок 1: Переконайтеся, що ви насправді були покарані
У більшості випадків ваше покарання та штраф будуть очевидні. Ваші сторінки будуть у відкритому доступі, але при цьомубути непроіндексованими (deindexed). І до вашого кабінету Яндекса або Google Вебмайстер прийде сповіщення про отримане покарання. Ще один спосіб вловити покарання - вчасно помітити значну втрату трафіку на сайт.
Крок 2: Визначте причину покарання
Як тільки ви будете впевнені, що сайт був покараний, ви повинні встановити причину штрафу. Якщо ви отримаєте офіційне повідомлення з пошукових систем, цей етап можна вважати пройденим.
Але, на жаль, якщо ваш сайт став жертвою алгоритмічного оновлення пошукового робота, вам доведеться пограти в детектива. Так як у момент зміни алгоритму пошукових систем багато сайтів ризикують потрапити під покарання, не знаючи, що саме вони зробили не так.
Крок 3: виправляйте порушення у поведінці сайту
Звісно, простіше сказати, ніж зробити. Цей крок досить складний, але не терпить зволікань.
Після того, як ви визначили, чому ваш сайт був покараний, ви повинні методично виправити небажану поведінку та помилки, за які вас заблокували. Причин може бути безліч, на жаль, ми не можемо описати їх все тут і зараз, оскільки скільки сайтів і помилок — стільки ситуацій, що випливають.
Але ми завжди готові запропонувати свою допомогу у консультації чи виправленні порушень, якщо ви усвідомлюєте, що не готові пройти через це самотужки.
Крок 4: надсилайте запит на перегляд покарання
Після того, як ви виправили всі проблеми, потрібно вимагати перегляду від пошукових систем з метою зняття покарання. І робити це максимально оперативно, щоби не втратити ще більше очок у ранжируванні.
Однак будьте уважні: якщо ваш сайт за фактом нічого не порушив, а як ми припустили, став жертвою оновлення алгоритмів пошукових систем, топрохання про перегляд рішення буде неефективним, оскільки вам у будь-якому випадку доведеться чекати кінця оновлення.
Підбиваючи підсумки
Кожен пункт є важливою ланкою загального ланцюга SEO аудиту. Ви можете ще раз пройтися по них від і до в Азбуці SEO або в Інструкції з самостійної оптимізації сайту, щоб комплексно проаналізувати всі сторони оптимізації.