Для чего нужен robots.txt?

0

Опубликовано: 02-06-2011 | Автор: SaIIIko |

Для чего нужен robots.txt?Итак, добрый вечер, дорогие пользователи! И этим летним днем (кстати, поздравляем вас с началом лета, успехов вам в вашем продвижении) мы бы хотели рассказать вам об одном файле в каталогах wordpress’а. Если говорить подробно, то это файл ограничения доступа к нашему содержимому на http-сервере. Файл хранится в корне сайта, при наличии нескольких доменов, должен располагаться в корне каждого из каталогов. Так же он принадлежит стандарту Sitemaps, который облегчает поисковым роботам доступ к содержимому. Файл состоит из набора инструкций для поисковых роботов, так же можно задать очередность — что и в каком порядке индексировать.
Этот файл необходимо создать в корне сайта, и прописать несколько строчек. Так как мы работаем на движке wordpress, то и рассказывать мы будем вам соответственно о файле robots.txt на wordpress’е.
Когда поисковый робот заходит на ваш сайт, первым делом он сразу же ищет этот файл, потому что именно он указывает, что можно а что нельзя индексировать на блоге. На блоге есть куча папок индексирование которых не обязательно, так как это занимает время. «Ну и что, это же не наше время» — можете подумать вы. А ведь есть шанс, что этот робот может устать индексировать всякую фигню, и пропустить несколько важных страниц вашего блога, поэтому мы и придали этому файлу такое внимание.
Как же создать такой файл? Очень просто, создаем у себя текстовый документ, даем ему название robots.txt.

Для чего нужен robots.txt?

А теперь прописываем строчки кода.
Вместо seo-kontent.ru указываем адрес вашего сайта или блог. Ну вот и все!
Если боитесь переписывать наш код из соображений безопасности, то мы можем вас заверить, что даже сами разработчики wordpress’а рекомендуют такой файл.
Кстати, советуем прочесть вам о раскрутке блога в темах Советы по раскрутке блога. Часть 1 и Советы по раскрутке блога. Часть 2.
На этом все, удачи и до встречи!

Поделиться в соц. сетях

Опубликовать в Google Buzz
Опубликовать в Google Plus
Опубликовать в LiveJournal
Опубликовать в Мой Мир
Опубликовать в Одноклассники

Оформите подписку на блог

Понравилась статья? Вы узнаете больше, если подпишитесь на рассылку моих новых публикаций по RSS или по E-mail !


Оставить комментарий