Чому робот яндексу відвідує блог, але сторінки не індексує
Робот яндекса щодня відвідує мій блог, але нові сторінки не потрапляють до індексу. Це сталося після того, як я закрив індексування хмари тегів у robots.txt щоб не було дублів.
Чехарда в цьому моменті почала спостерігатися ще рік тому, коли курс рубля по відношенню до провідних світових валют почав падати. Бізнесмени від Яндекса, щоб не втрачати свою "моржу", змусили технічні служби взяти "довгі викрутки" та методом наукового тику переналаштувати робота так, щоб їх кишені не охляли. Чи спеці тамтешні сумнівної кваліфікації, чи викрутки не тієї довжини, але кінця експериментів їх не видно і до цього дня! Індексацію періодично лихоманить.
Про robots.txt я думаю говорити немає сенсу, тому що тема має на увазі, що у ресурсу "адекватна" оптимізація і про таких косяків, як дублюючий контент, не йдеться. Також ваш сайт має бути доданий в панелі для вебмайстрів, із зазначенням головного дзеркала.
Щоб перевірити чи не в лазні ваш сайт, додайте його до http://webmaster.yandex.ru/addurl.xml. Якщо не буде повідомлень про лазню, то можете розслабитись – бану немає.
Деякі сторінки самі по собі можуть не індексуватися через те, що Яндекс вважає їх не цікавими та не корисними.
Більше того, оцініть поведінку відвідувачів у вас на сайті, можливо у вас сайт не відповідає стандартам пошукових систем.
Більше того, можу побути КЕП'ом і сказати, що частота оновлення блогу впливає на частоту відвідування пошуковим роботом вашого сайту. Так що якщо ви довго сиділи в засідці і виклали нову статтю, то не чекайте на блискавичну індексацію. Швидше за все це буде не один тиждень.
Сподіваюся я вам допоміг, якщо є питанняпитайте.