Поняття індексації веб-сайту
Загальне поняття індексації
До того, як веб-сайт з'явиться у видачі пошукових систем, слід подбати про те, щоб він був проіндексований пошуковими системами. Індексація web-сайту полягає в тому, що пошуковий робот відвідує створений сайт, аналізує його, а потім заносить інформацію про інтернет-ресурс до бази даних конкретної пошукової системи.
Усі сторінки сайту, які занесені до індексу пошукової системи, за конкретним запитом пошуку відображаються у видачі пошукових систем. Якщо будь-яка сторінка не проіндексована, користувач не побачить її в результатах пошуку, оскільки пошукова система не має про неї жодної інформації.
Як пошукова система дізнається про сайт?
Вже на етапі створення власного сайту постає питання, як пошукові системи дізнаються про новий ресурс у мережі Інтернет. Повідомити про новий веб-сайт пошукової системи можна двома способами:
Дружність web-сайту для пошукових роботів
Багато веб-сайтів успішно проходять індексацію пошуковими системами. Але щоб захистити себе від неприємних несподіванок, варто знати про деякі моменти, які мають місце під час створення сайту.
Ще на етапі розробки сайту потрібно подбати про те, щоб він був дружнім до пошукових робіт. Щоб цього досягти, потрібно враховувати такі критерії:
2. При використанні навігації по сайту, що реалізована через скрипти, слід усі посилання продублювати традиційним способом.
3. Особливу увагу слід привернути до уваги обсяг сторінок сайту. Пошукові системи індексують лише від 100 до 200 Кб тексту на одній web-сторінці. Якщо сторінки сайту мають більший обсяг, пошуковики проіндексують лише перші 200 Кб. Якщо потрібно, щоб сторінкабула проіндексована цілком, варто простежити, щоб її обсяг не перевищував 100 Кб.
Управління пошуковим роботом
При індексації сайту на поведінку пошукових роботів можна вплинути. Це робиться трьома способами:
- явним дозволом на індексацію деяких сторінок за допомогою файлу robots.txt; - забороною на індексацію тих чи інших web-сторінок сайту за допомогою robots.txt; - закриттям для індексації пошуковим роботом окремих частин сторінок ресурсу за допомогою тега «NOINDEX» (спосіб підходить лише для українських пошукових систем).
Бази даних всіх пошукових систем регулярно оновлюються, це призводить до того, що кількість проіндексованих сторінок веб-сайту може змінюватися іноді. Однією з причин зникнення веб-сторінки з індексу найчастіше є відсутність доступу до неї під час недоступності сервера. Коли працездатність сервера відновлюється, сайт і його сторінки знову з'являються в індексі пошукових систем. У той же час, чим більше зовнішніх посилань на ресурс, тим швидше веб-сайт проходить переіндексацію.
Щоб самостійно відстежити процес індексації інтернет-ресурсу, варто проаналізувати файли сервера, де є інформація про кожен візит пошукових роботів систем.
23 Вересня 2009 Кількість показів: 11028 Автор: Світлана Сергєєва