Robots.txt.



как составить robots.txtЗдравствуйте! Вы уже создали блог на локальном сервере, опубликовали десять-двадцать статей, освоились и

готовы к выходу в свет. Понятно, что для этого нужно зарегистрировать доменное имя, определиться с хостигом и вперед. О том, что выбор хостов очень большой я уже говорил  В этой статье. Поэтому скажу лишь,

что из великого множества очень трудно выбирать и напомню, что для себя я выбрал  Этот. Отзывы о нем можно посмотреть  На этом сайте, хотя по отзывам тоже довольно трудно выбрать потому как буквально о

каждом из хостов достаточно как положительных, так и отрицательных оценок. А раз так то ваш выбор я полностью перекладываю на ваши сильные плечи. В этой же статье расскажу о файле robots.txt. Вобщем-то

это простой текстовый документ в формате txt. Нужен он потому, что все поисковые роботы при заходе на





любой сайт ищут в первую очередь именно этот файл, и уже по нему определяют что подлежит индексации, а

что нет. Если вы не собираетесь закрывать файлы от индексации, можно просто положить в корень сайта

пустой файл, но все же это не правильно. У вас будут папки с темой вашего сайта, установленными плагинами,

wp-admin и т.д., которые очевидно совсем не нужны для индексирования, потому что никакого отношения к

содержимому сайта не имеют. Ну а то что не имеет отношения к содержанию, да еще будет повторяться несколько раз, очень уж поисковики не любят. Файл совершенно не сложный:  ‘User-agent’-указывает для

какого робота предназначена директива, ’Allow‘-разрешающая индексацию, ’Disallow‘-запрещающая и еще

Sitemap‘-указывает роботу где находится карта сайта. В директиве ‘Hostможно указать главные зеркала сайта, а если их нет, какое написание сайта важнее с www или без. Таковы основные правила составления файла robots.txt. На Яндексе можно ознакомиться подробно с правилами составления этого документа. И еще

маленькая фишка: можно увидеть как выглядит этот файл на любом сайте, приписав к адресу главной страницы /robots.txt. Это если хотите присмотреться как составить себе, но копировать не нужно. На каждом

сайте будут свои, отличающиеся от других, страницы, как допущенные, так и запрещенные к индексации.    

Оставить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!:


2 + 2 =

Яндекс поиск