Індексація сайту як процес, SEO кейси соціалки, реклама, інструкція

процес
Трохи історіїЗі збільшенням обсягу інформації, представленої в інтернеті, постало питання ефективного та швидкого пошуку необхідних даних. Спочатку цю функцію виконували веб-каталоги - упорядковані за тематикою списки посилань. Їх складали вручну, нерідко залучаючи як модераторів добровольців. Від якості та кількості представлених у каталозі сайтів залежала його популярність. З часом люди вигадали ефективніший спосіб шукати інформацію - за допомогою пошукових систем.

процес
Патьком пошукових роботів стала програма Archie (Арчі). Вона сканувала анонімні FTP сервери і фіксувала назви файлів, що знаходяться там. Арчі працював в інтернеті ще тоді, коли в глобальному павутинні не було сотні серверів HTTP! Першим пошуковим роботом у сучасному значенні цього слова став Вандерер (Wanderer). А перші пошукові машини з'явилися в інтернеті в середині 90-х років. Серед пошукових систем того часу можна назвати Excite, Lycos, Infoseek. Найпопулярнішою і найдосконалішою вважалася AltaVista. Вона використовувала власного пошукового робота і мала зручний дизайн. Треба відзначити, що дизайнерські рішення, які вперше застосувала AltaVista, надалі відбилися у більшості популярних пошукових машин, включаючи Google.

Згодом пошукові машини почали конкурувати між собою, з'явилися нові підходи до пошуку інформації. Зокрема, деякі системи почали інтегрувати результати пошуку по індексу і якомусь популярному каталогу, наприклад, Yahoo. Найпопулярніша нині пошукова машина Google з'явилася в 1998 році. українські пошукові машини також почали працювати у середині 90-х років. Наприклад, Рамблер та Апорт відкрилися у 1996 році. Деякий часкаталог Рамблер Топ 100 був найпопулярнішим ресурсом у Рунеті. Пошукова машина "Яндекс" з'явилася в 1997. На сьогодні ця система має найбільшу базу документів серед аналогічних проектів у Рунеті.

Існують також метапошукові машини. Їхня основна відмінність полягає в тому, що вони формують результати на основі видачі декількох пошукових машин.

Як проходить індексаціяІндексація ресурсу починається з приходом на сайт пошукового робота (спайдера, кроулера) - це спеціальна програма, яка обходить усі ресурси в інтернеті та передає їх вміст для обробки індексаторам . Іноді окремо виділяють кроулерів - окрім пошуку, цей тип роботів може самостійно аналізувати, за яким посиланням у документі йому далі йти.

Докладно про Robots.txt

Вітчизняні пошукові машини, зокрема, Яндекс та Рамблер розуміють ще один тег: ‹noindex›‹/noindex›. Все, що міститься в ньому, ігнорується пошуковими роботами цих систем. Цей тег можна використовувати, щоб закрити частину коду від індексації. Таким чином можна підвищити щільність ключових слів на сторінці. Однак використовувати ‹noindex› не рекомендується, адже багато пошукових машин його не сприймають.

Якщо у вас маленький веб-сайт, що складається з 10-20 сторінок, файл robots.txt можна зробити вручну. Якщо проект великий, ручна робота може призвести до втрати часу і безлічі помилок. Через останні до індексу можуть потрапити зайві документи. Уникнути цього можна, якщо скористатися програмними засобами автоматизації процесу.

Глава 5: "Процес індексації"

Процес індексаціїНа жаль, не завжди індексація ресурсу відбувається ідеально. Нерідко виникають проблеми, що перешкоджають індексаціїчастини та навіть всього веб-сайту. Або ресурс повністю вилітає з індексу. Дуже часто причиною таких явищ є помилки, допущені під час розробки проекту. Фахівці виготовлять три типи помилок, які перешкоджають нормальній індексації сайту:

Обережно слід підходити до використання редиректу, який автоматично спрямовує відвідувача з однієї сторінки на іншу. Редирект за клієнта однозначно сприймається пошуковими машинами як спам. Справа в тому, що такий редирект часто використовують власники дорвіїв. Редирект на стороні сервера не відноситься до заборонених технологій, але може викликати проблеми. Наприклад, з урахуванням зовнішніх посилань на документ.

У випадку великих сайтів виникає ще одна проблема. Пошукові роботи за один візит індексують певну кількість документів. Якщо ресурс містить тисячі сторінок, то їх індексацію знадобиться кілька візитів ботів і більше часу. Власнику сайту, навпаки, хочеться побачити всі сторінки в індексі якнайшвидше. Вирішити проблему можна створенням піддоменів, наприклад, окремого піддомену для форуму. Для кожного піддомену виділяється своя квота індексації і в результаті за один візит опрацьовується більше документів. Інше рішення – заборонити для індексації малоінформативні сторінки. Тоді в індекс потраплять лише найцікавіші для відвідувачів та пошукових машин документи.

Процес індексації можна прискорити, якщо вручну подати заявку на додавання сайту до пошукової системи. Нижче наведено посилання на сторінки додавання сайтів у найпопулярніших пошукових системах: