GetBot.guru — чому така важлива швидка індексація сторінок сайту в Яндексі і як її можна прискорити
Доброго дня, шановні читачі блогу KtoNaNovenkogo.ru. Сьогодні мова піде про онлайн-сервіс, що дозволяє швидко надсилати до індексу пошукової системи Яндекс сторінки вашого сайту.
У Google якихось особливих проблем з індексацією зазвичай не виникає (їсть він все досить оперативно), а ось його вітчизняний аналог не так просто буває привчити регулярно заходити до вас на сайт і додавати в індекс нові матеріали.
Цей сервіс називаєтьсяGetBot.guru. З'явився він наприкінці минулого року, після чого потихеньку продовжує обростати функціоналом (наприклад, з'явилася можливість додати свою RSS стрічку, і всі нові статті вашого сайту будуть закидатися в індекс автоматично) та підвищувати стабільність.
На мій погляд, важливо, що там не застосовують спам-методи для залучення швидкість Яндекса на ваш сайт, а використовують свою власну мережу ресурсів новин, де цей самий швидкоробот проживає на постійній основі і переходить по всіх посиланнях, що там з'являються.
Навіщо вам може знадобитися прискорювати індексацію?
Зазвичай сервіси, що надають ті чи інші послуги, з'являються не просто так, а для вирішення якоїсь проблеми, яка постає перед потенційними користувачами. Власне, від актуальності цієї проблеми та розміру аудиторії, якій потрібно її вирішення, і залежить майбутня популярність сервісу. Очевидно, що GetBot.guru виник не на порожньому місці, а був обґрунтований вирішенням проблеми прискорення індексації сайтів пошуковою системою Яндекс.
Незважаючи на свою «грандіозність у рамках рунета», ця пошукова система не має таких ресурсів (матеріальних, технічних і людських), як лідер світового пошуку Google. Яндекс змушений шукати компроміс між якістю та витратами, тому приІндексування сторінок в інтернеті він не вистачає все поспіль як Google, а намагається оптимізувати процес, що призводить до поганої індексації молодих або якимось іншим чином обділених сайтів.
Але чому така важлива швидка (своєчасна) індексація ? По-перше, взагалі без індексації сторінок свого сайту ви не отримаєте трафіку з Яндекса (або не зможете заробляти на продажу посилань). А по-друге, важливим є не лише факт влучення в індекс, а й швидкість цього дійства. Чому? Тут найпростіше пояснити на прикладах.
Отже, навіщо може знадобитися прискорення індексації сайту в GetBot.guru:
До того ж, мало хто при прогоні за профілями використовує якісний копірайт (найчастіше це рерайт або взагалі копіпаст). У результаті виходить така ситуація, що індексуються за допомогою GetBot майже всі профілі, але і в основному індексі Яндекса через кілька тижнів залишається лише 20-30% від їх загальної кількості. У принципі, це також непогано.
Як працює GetBot.guru
Перед пошуковою системою стоять різні завдання. Наприклад, за деякими запитами необхідно показувати тільки свіжі документи, а отже потрібен спеціальний робот (швидкот), який їх індексуватиме, і спеціальний (спрощений) механізм ранжування, який дозволить з'являтися в Топі сторінкам, створеним лише кілька хвилин тому (враховуються, мій, при цьому тільки внутрішні фактори).
Інші жматеріали, що не потребують термінової індексації та ранжирування, Яндекс додає до індексу та здійснює їх ранжування лише в момент так званого текстового апдейту. Якщо ви не хочете чекати тиждень-другий, то вам потрібно залучати на сайт швидкість. Він зможе практично миттєво закинути в індекс вашу сторінку, але, щоправда, її подальша доля вже залежатиме від якості матеріалу та бажання пошукача залишити її у своєму основному (а не «швидкому») індексі.
Раніше для цієї мети радили використовувати Твіттер, а точніше популярні твітер-канали, де розміщували за гроші посилання на сторінку, яку потрібно було терміново проіндексувати. Зараз цей метод вже працює не так здорово, а місцями не працює зовсім. Однак є місце, де, апріорі, повинен тусуватися швидкобот - це новинні сайти, де матеріали з'являються по багато разів на день і які Яндексу необхідно оперативно індексувати і ранжувати.
У них є своя сітка новинних сайтів (з підгодованими роботами), де в нових матеріалах періодично проскакують посилання на сторінки клієнтів (укорочені через одні з призначених для цієї мети сервісів, щоб не порушувати в Яндексі підозри щодо миготіння посилань).
Однак, швидкість за своєю природою не може заганяти в індекс абсолютно будь-які сторінки. Алгоритми його роботи передбачають ряд важливих для нього правил, які повинні бути виконані у сторінки-кандидата на індексацію:
Також варто розуміти, що проіндексовані швидкороботомсторінки не завжди потім переходять в основний індекс Яндекса. Спочатку під них відводиться місце у спеціальній «тимчасовій базі», з якої вони незабаром або видаляються, або переносяться до основного індексу. Останнє залежить виключно від якості вмісту (контенту)цієї самої сторінки.
Рерайт, малі обсяги тексту та копіпаст мають не високі шанси туди пробитися. А ось нормальні тексти з сайту, що не знаходиться під фільтром, з високою ймовірністю потраплять до основного індексу Яндекса завдяки швидкості, наведеному на ваш сайт сервісом GetBot.guru.
На Серчі є гілка, де досить активно відбувається обговорення цього сервісу. Якщо резюмувати, то більшість висловлюють позитивні емоції від роботи з GetBot.guru, але є і негатив, який, здебільшого, після «розбору польотів» пов'язаний саме з описаними вище випадками, коли робот не може стрибнути вище за свою голову.
На даний момент у GetBot.guru мають місце такітарифи :
Варіант «Експрес» відрізняється дешевизною (40 копійок за сторінку), але при цьому не здійснюється перевірка індексації і, відповідно, немає можливості отримати свої гроші назад, у разі не потрапляння сторінок до індексу. На мій погляд, цей тариф підійде тим, кому треба швиденько закинути в індекс Яндекса безліч сторінок, але потрапляння саме всіх їх не критично (можна задовольнятися показаним на скріншоті відсотком).
Тарифні плани «Абсолют» та «Абсолют Пріоритет» відрізняються лише тим, що останній має більший пріоритет і ваші сторінки менше стоятимуть у черзі на розміщення на одному з новинних сайтів, щоб за проставленим посиланням на нього прибіг швидкість. На обох цих тарифах перевіряється індексація та у разі невдачі вам повертають обумовлену суму.
Реєстрація та створення проекту в GetBot
Усередині системи використовують свої внутрішні умовні одиниці. При поповненні балансу (відповідна кнопка у верхньому меню) на великі суми, умовних одиниць вам буде нараховано значно більше, ніжпри поповненні на малі. Як завжди, оптом дешевше.
Далі для початку роботи з GetBot.guru переходьте на вкладку«Проекти» і тиснете на кнопку «Створити», що є там.
Трохи нижче ви побачитеопис всіх можливих тарифів та дій, які можете захотіти з цим самим списком Урлов зробити. Порівняно з головною сторінкою тут додався тариф Експрес-Пріоритет із підвищенням пріоритету ваших Урлів у загальній черзі, а також є можливість перевірити індексацію сторінок по половині умовної одиниці за штуку (можливо, що це буде актуально при виборі тарифу Експрес, де ця перевірка не проводиться ).
У лівій колонці ви можете спостерігати кількість сторінок, яка стоїть у черзі за кожним із можливих на GetBot.guru тарифів. Зверніть увагу на попередження, що розташоване внизу, про обмеження максимальної кількості сторінок в одному проекті стелею в 10000. Власне, все. Тиснете на кнопку «Зберегти».
Зверніть увагу, що збережений проектне стартує автоматично — його потрібно буде запустити показаною на скріншоті кнопкою. У полі «Стан» ви зможете стежити за статусом цього проекту, значення якого можна буде зрозуміти з наведеної вгорі розшифровки.
Як підключити RSS стрічку до GetBot.guru для автоматичного додавання нових сторінок сайту до індексу Яндекса
Як я вже згадував трохи вище, нещодавно в ГетБоті з'явилася можливість додавати RSS стрічку свого сайту, щоб щоразу не створювати новий проект для швидкої індексації сторінок, що знову додалися на сайт. Для налаштування цієї зручної опції вам потрібно буде перейти на вкладкуRSS канали і натиснути на кнопку Створити.
Тут потрібно буде вказати посилання на RSS-стрічку, датиназву проекту та додати до нього опис (все це потрібно вам, щоб потім не заплутатися), після чого вибрати відповідний тарифний план, за яким здійснюватиметься загін в індекс нових статей на вашому сайті. Деякі тарифи можуть бути тимчасово недоступні через велику чергу, що створилася в очікуванні додавання посилання на один з сайтів новин, звідки повинен буде по ній прибігти робот.
Проект із доданим RSS каналом знову ж таки потрібно буде запустити натисканням на кнопку «Старт», після чого він почне виконуватися.
За наявності позитивного балансу на вашому рахунку, щогодини будуть забирати нові Урли з вашого RSS каналу. Відповідно, вперше будуть взяті всі Урли, а вже потім лише ті, які ще не виконувалися раніше.Процес повністю автоматизований і не вимагає контролю з вашого боку.
Тобто. щогодини ГетБот забирає вашу RSS стрічку, дивиться, чи не з'явилися там нові урли, і якщо з'явилися, то у вас на вкладці «Проекти» створюється нове завдання за тарифом, який ви обрали. Процес виконання можна буде там же контролювати.
Підсумовуючи
Дуже цікавий та безумовно корисний, на мій погляд, сервіс. Проблема своєчасної (швидкої) індексації в Яндексі вже багато років є головним болем вебмайстрів і оптимізаторів, тому працююче рішення від GetBot.guru користується популярністю (судячи по черзі сторінок, що скупчилися, потрапити в Яндекс).
Особисто мене цінова політика цілком влаштовувала (раніше користувався для прискорення індексації прогоном Твіттером, але виходило навіть дорожче, а зараз це вже до того ж не настільки ефективно). Адже можна і партнеркою скористатися, щоб взагалі не вносити гроші на баланс. Є ще й альтернативний проект indexgator,який дуже нагадує героя нашого огляду.
Ну, і можливість прикріплення RSS стрічки мене особливо порадувала, бо можна закинути гроші, налаштувати все і забути про це діло до тих пір, поки гроші не скінчиться (ну, хіба що, контролювати іноді заходити). Ліпота.