Очень давно сюда не писал - сначала не знал о чём писать, потом как-то то было лень, то времени не было. В общем плохо это, забрасывать блог. В любом случае этот момент настал и я пишу очередной пост, на этот раз о файле robots.txtФайл вы можете найти по ссылка ваш_сайт.ru/robots.txt (для моего блога - blweb.ru/robots.txt ). У системы uCoz по-умолчанию есть такой стандартный файл:   Code User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Disallow: /dir/all/ Sitemap: http://site.ru/sitemap.xml Sitemap: http://site.ru/sitemap-forum.xml Sitemap: http://site.ru/sitemap-shop.xml          Он вполне пригоден для большинства сайтов и если вы не полностью понимаете как и ... Читать дальше »

Всем здравствуйте!
В этой статье я расскажу как правильно заточить документ robots.txt под поисковые системы и как быстро попасть в индекс поисковых систем.
Ну начнем:
1. Создание robots.txt под uCoz

Рассмотрим основные теги этого документа:
Disallow: это дистрибутив запрещающий индексацию страницы или каталога.
Allow: это дистрибутив разрешающий индексацию страницы или каталога.
Таким образом мы можем запретить индексацию любого каталога,но разрешить индексацию некоторых страниц тогоже каталога.
Возьмем для примера модуль Каталог файлов
Каталог модуля расположен поадресу /load/
Если поставить:

Код: Выделить всё
Disallow: /load/

То каталог файлов у нас индексироватся не будет,но если нам нужны 2-3 странички этого каталога из всех (к примеру всего 10)
То в robots.txt пишем следущие строки:

Код: Выделить всё
Allow: /load/адрес страницы

Внимание: строки с разрешением индексации страницы должны быть выше чем строка с за ... Читать дальше »