Про файли та
Про файл favicon.ico
Якщо Ви не бажаєте бачити в логах Вашого сайту рядки про те, що не знайдено файл favicon.ico – намалюйте фавіконку до свого сайту. Досить успішну програму для конвертування BMP в ICO можна знайти тут. Для того, щоб фавіконка правильно сприймалася, настійно рекомендується наявність у великій сторінці вашого сайту в секції HEADER рядка: <LINK REL="SHORTCUT ICON" href="http://gfns.net/favicon.ico"> (замість gfns.net вкажіть свій домен)
Apple не відстає
Але не все так просто. Крім іншого ще є Apple і iOS. Для них доведеться постаратися, тому що у них все особливе навіть значки для сайтів. І навіть якщо на сайті наявність таких значків не оголошено, то iКомп'ютери та інша iТехніка все одно намагається їх знайти, і за певних налаштувань сервера або CMS у логах створюється велика кількість непотрібних записів. До того ж зазвичай хочеться, щоб сайт виглядав однаково презентабельно та повноцінно скрізь – навіть тим більше на iТехніку.
Значки для iOS мають бути виконані у форматі PNG розміром 57х57 пікселів. Варіанту два:
- apple-touch-icon-precomposed.png – підготовлений файл, із заокругленнями та всім можливим наведеним глянцем;
- apple-touch-icon.png - просто файл, що обробляється системою автоматично вже після завантаження з сайту.
Нам сподобалося
Що має бути у robots.txt
User-Agent: * Disallow: /cgi-bin/ Disallow: /cgi/ Host: основне доменне ім'я Вашого сайту Sitemap:http://domain/sitemap.xml
Якщо Ви щойно прийшли на наш хостинг, і на Вашому доменному імені Ви поки що бачите тільки сторінку "Under Construction" з посиланням на нас - саме такий файл robots.txt вже лежить в корені Вашого сайту. Ви можете залишити його як є, а можете редагувати його так, як Вам зручно, дотримуючись наведених нижче рекомендацій.
Навіщо це потрібно
Як заборонити індексацію певних сторінок?Дозволи та заборони на індексацію беруться всіма пошуковими системами з файлу robots.txt, що знаходиться в кореневому каталозі сервера. Заборона на індексацію рядка сторінок може з'явитися, наприклад, з міркувань секретності або бажання не індексувати однакові документи в різних кодуваннях. Що менше ваш сервер, то швидше робот його обійде. Тому забороніть у файлі robots.txt усі документи, які не мають сенсу індексувати (наприклад, файли статистики або списки файлів у каталогах). Зверніть особливу увагу на CGI або ISAPI скрипти – Yandex індексує їх нарівні з іншими документами.
Детальний опис специфікації файлу можна прочитати на сторінці "Стандарт винятків для роботів".
При написанні robots.txt зверніть увагу на такі помилки, що часто зустрічаються:
-
Рядок із полем User-Agent є обов'язковим і має передувати рядкам із полем Disallow . Так, наведений нижче файл robots.txt не забороняє нічого:
Порожні рядки у файлі robots.txt є значущими, вони поділяють записи, які стосуються різних робот. Наприклад, у наступному фрагменті файлу robots.txt рядок "Disallow: /forum" ігнорується, оскільки перед ним немає рядка з полем User-Agent.
Рядок з полем Disallow може заборонити індексування документів лише з однимпрефіксом. Для заборони кількох префіксів потрібно написати кілька рядків. Наприклад, наведений нижче файл забороняє індексування документів, що починаються з "/cgi-bin /forum", яких, швидше за все, не існує (а не документів з префіксами "/cgi-bin" і "/forum").
У рядках із полем Disallow записуються не абсолютні, а відносні префікси. Тобто файл:
забороняє, наприклад, індексування документа
але НЕ забороняє індексування документа
У рядках з полем Disallow вказуються саме префікси, а не ще щось. Так, файл:
забороняє індексування документів, що починаються із символу "*" (яких у природі не існує), і сильно відрізняється від файлу:
який забороняє індексування всього сайту
Якщо ви хочете, щоб не індексувався один конкретний документ - достатньо додати додатковий тег до HTML-коду вашої сторінки (всередині тега):
Тоді цей документ також не буде проіндексовано.
Ви також можете використовувати тег