Виявлення сайту - 3 складових SEO (частина 1)

В еру пошукових машин, SEO може бути зведено до 3 основних елементів або функцій:час на обстеження сайту (виявлення),час на індексацію (куди також входить і фільтрація), ічас на ранжування (алгоритми).
Сьогодні перша частина з трьох ми поговоримо про виявлення сайту пошуковими машинами.
Зведення SEO до цих основних елементів дозволяє SEOшникам створити свого роду шаблон для роботи над просуванням у пошукових системах. Застосовуючи цей шаблон, можна не заглиблюватися в специфіку та тонкощі дій у даному шаблоні.
І іноді це нам на руку, тому що пошукові машини – це надсекретні монстри. Роботи-монстри.
Виявлення - Індексація - Ранжування
Ця теза ґрунтується на таких припущеннях:
- Googlebot (або бот будь-якої іншої пошукової системи) заходить на сторінки для читання інформації. Це завжди буде так, принаймні до тих пір, поки Google не навчиться осмосу.
- Google, ґрунтуючись на інформації, отриманій під час процесу виявлення, виділяє та аналізує URL у режимі реального часу для того, щоб ухвалити рішення про індексацію.
- Грунтуючись на дві вищеперелічені ступені дій, відбувається процес ранжирування, зазвичай він дуже точний.
- Процес повторюється.
Пошуковики досліджують, індексують та ранжують веб-сторінки. Тому SEOшники повинні ґрунтувати всі свої тактики на цих кроках пошукових систем. Ось ті прості висновки, які будуть корисні для SEOшників, незалежно від конкуренції в ніші:
- Вся справа у виявленні сторінки
- Вся справа в індексації
- Вся справа у ранжируванні
Але, звичайно, Google як і всі іншіпошукові системи існують з однією метою — розвинути бізнес, задовольняючи потреби користувачів. Тому ми повинні постійно пам'ятати таке:
- Все крутитися навколо користувачів
І звичайно ж, оскільки за своєю природою SEO – це змагання, в якому для виходу в топ видачі потрібно перемогти своїх конкурентів, ми маємо помітити таке:
- Вся справа у конкуренції
Враховуючи все сказане вище, ми можемо вивести кілька SEO тактик для кожної з фаз роботи пошукача.
Процес виявлення сторінок
SEO починається з дослідження того, як пошуковий бот виявляє сторінки. Googlebot, наприклад, досліджуючи наш сайт, бачить усі деталі, які записуються в логі. Ці несуть таку інформацію:
Спеціальні скрипти (AudetteMedia's logfilt), які допомагають швидко розібрати безліч таких логів, використовуються в різних ситуаціях:

На рівні корпорації існує такий інструмент для аналізу як http://www.splunk.com/, який може розібрати всю інформацію за user-agent, сортуючи її за кодом-статусом сервера, часом і датою:


Xenu – це повноцінна програма, яка надає повну інформацію про відвідування сайту пошуковим ботом. Програма працює з більш ніж 10 000 сторінками, тому її краще використовувати на корпоративному рівні. Ось кілька порад щодо роботи з Xenu або подібними:
- Завантажити домен або частину сайту на SEMrush
- Експортувати всі дані за запитами до CSV
- Завантажити цей файл у Xenu або іншу програму
- Відсортувати за кодом
Ця швидка та проста методика допомагає знайти такі коди як 302 та інші.
У Google Webmaster Tools також є корисна дляSEOшников інформація щодо виявлення сторінки, дублікатів контенту та частоти заходу бота на сайт:


Існують також інші інструменти, за допомогою яких ви можете подивитися на сторінки сайту очима пошукового бота (наприклад Lynx і SEO Browser ).

SEO – це дії
Найголовніше в SEO - це точна інформація, але ще важливіше те, що і як можна вдіяти з цією інформацією. Вся справа в тому, як ви інтерпретуєте цю інформацію, а не те, як ви її дістанете.
Піддаючи SEO роботу систематизації, кмітливі SEOшники роблять шаблон дій або методів, ґрунтуючись на теорію виявлення, індексації та ранжирування, що згодом наводить їх сайти прямо в топи пошукової видачі.