Правильний файл

Як зробити правильний файл robots.txt.

Правильно складенийфайл robots.txt, є запорукою успішної індексації вашого проекту. Цей файл містить дуже простий синтаксис. Про який докладно Ви можете почитати, наприклад, в яндексі.

Правильний файл robots.txt обов'язково повинен включати після кожного запису «User-agent» хоча б одну директиву Disallow. Порожній файл robots.txt передбачає, що можна індексувати весь сайт.

За допомогою директиви

роботам, що зайшли на ваш ресурс, виглядає так:

Якщо ви хочете тільки для якогось одного пошукового робота,

вказати певні умови індексації вашого сайту. Вам потрібно у директиві «User-agent», написати так:

Це для пошукового робота Яндекс.

Ось список популярних і часто використовуваних пошукових систем.

Google - Googlebot http://www.google.com

Yahoo - Slurp (або Yahoo! Slurp) http://www.yahoo.com

Alexa - ia_archiver http://www.alexa.com

Рамблер - StackRambler http://www.rambler.ru

Вебальта - WebAlta (WebAlta Crawler/2.0) http://www.webalta.ru

Aport - Aport http://www.aport.ru

AOL - Slurp http://www.aol.com

MSN - MSNBot http://www.msn.com

Ask - Teoma http://www.ask.com

AltaVista - Scooter http://www.altavista.com

Lycos - Lycos http://www.lycos.com

1. Ось такий код для файлу robots.txt.

дозволяє всім пошуковим роботам без будь-яких винятків проводити індексацію всього сайту.

повністю забороняє всім пошуковим системам проводити індексацію сайту. Виробляє це директива Disallow з "/" у полі значення.

3. Ось такий код для файлу robots.txt.

буде всім пошуковим системамзабороняти

проводити індексацію вмісту каталогу /image/ (http://mysite.ru/image/ - шлях до цього каталогу)

4. Ось такий код для файлу robots.txt.

будуть заборонені всі файли та директорії, що починаються із символами «image», а також директорії та файли: «images.htm»,

"image.htm", і директорії: "image", "images1", "image 2" і так далі.

5. Можна використовувати символи '*' і '$' при описі шляхів для директив Allow-Disallow, таким чином задаючи певні логічні вирази. Символ '*' означає будь-яку послідовність символів (у тому числі порожню).

6. Ось такий код для файлу robots.txt.

Заборонятиме всім пошуковикам індексацію файлів на сайті з розширення «.aspx»:

'Sitemap' - це директива, яка вказує пошуковим системам на місце розташування файлу карти сайту.

Також важливо у файлі robots.txt у директиві 'Host' вказати головне дзеркало вашого блогу чи сайту. Вкажіть у цій директиві просто доменне ім'я без http://, якщо у вас немає дзеркал.

Нижче наведений файл robots.txt для блогу на WordPress.

Sitemap: http://istokblag.ru/sitemap.xml

Sitemap: http://istokblag.ru/sitemap.xml.gz

Після того як створено файл robots.txt, Вам потрібно встановити цей файл до себе на сайт в корінь вашого блогу (папка public_html або httpdocs).

Хочу додати два важливі поняття під час використання robots.txt:

Тому не намагайтеся використовувати robots.txt, щоб приховати інформацію.

Ну, ось, мабуть, і все що ставитись до питання, як зробити правильний файл robots.txt