О важности robots.txt для раскрутки сайта

Для начала главное: robots.txt должен быть, его не может не быть у современных сайтов. Особенность этого волшебного файла у вас на сайте заключается в том, что поисковикам еще на подступах указывается, что нужно индексировать, а что нет. Впрочем, поговорим о важности robots.txt для раскрутки сайта, тем более мой собственный опыт позволяет петь ему дифирамбы.

SEO-специалисты студиях и компаниях, которые на коммерческой основе раскручивают сайты хорошо знают, в чем именно заключается «волшебство». В двух словах, в этом файле указаны разделы сайта, запрещенные к индексации. Некоторые специалисты, а также мануал из официальной справки на Яндексе, говорят, что в robots.txt можно указывать и разделы, которые нужно разрешить индексировать. Однако, по момему личному убеждению, это чрезмерная опция.

Как правильный robots.txt способствует раскрутке сайта? Первое и главное — он предопределяет условия поиска и нахождения страниц на вашем сайте через поисковые системы (основные Яндекс и Google, но есть и другие). Следовательно, для того, чтобы результаты поиска с одного и того же сайта не дублировались, а также в силу некоторых особенностей передачи большего веса разделам, чем страницам, — необходимо настраивать robots.txt.

Вы можете сделать это самостоятельно или обратившись к SEO-специалистам. Комплексная раскрутка сайтов есть в компании RUSSIAN PROMO. Они сделали удобный сервис, который позволит определиться с необходимостью заказа той или иной услуги в зависимости от типа сайта. В разделе «Продвижение сайта» есть раздел, посвященный оптимизации, и там можно ознакомиться с предложениями компании, в том числе проконсультироваться по поводу настройки robots.txt.

Второе и тоже главное — посетитель любит комфорт. Сейчас свойство сайтов умеющих создавать комфорт называют «юзабилити», однако я смотрю на это понятие шире. Если сайт корректно настроен через robots.txt, а также грамотно оптимизирован, то посетитель всегда будет приходить на нужные страницы и на них же ссылаться. Простыми словами, юзабилити, связанные с каноническими URL никто не отменял, а значит и поисковых роботов следует направлять на целевые страницы. Этот комфорт трудно отследить явным образом, но посетители, которые находят то, что им нужно чаще делятся информацией в сети интернет.

Наконец, robots.txt не может быть одинаковым даже для сайтов, созданных на одном движке. Я использую WordPress, кто-то ведет блоги на DLE, но систем управления контентом настолько много (включая самописные), то один совет для всех дать не получится. Значит, настройка robots.txt всегда будет сродни поиску оптимального варианта и обучению. Поэтому знать волшебство файла так же необходимо, как скажем знать язык. Небольшие неточности простительны, грубые ошибки — наказуемы.

Кстати, иногда я даю не только полезные советы, но и вредные. Думаю в этой теме не лишним будет напомнить как я добился 100 процентов отказов в самой популярной статье своего блога балуясь и с файлом robots.txt и с тем, что обманывал своих посетителей. Никогда не делайте так и раскрутка будет успешной!

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *