Плагин-инструмент «Эмулятор и редактор robots.txt онлайн (Robots.txt controller)»

Эмулятор и редактор robots.txt онлайн (Robots.txt controller)Этот плагин представляет собой инструмент для эмуляции файла robots.txt в LiveStreet CMS и дает возможность по его редактированию через веб-интерфейс без доступа к фтп сервера.

Операции доступны только для администраторов сайта. В плагин по-умолчанию внесены два адреса, запрещенных к индексированию поисковиками: страницы авторизации и регистрации на сайте. Обычно они не содержат никакой полезной информации, а пузомерки сайта на них тоже делятся.

Скриншот


Плагин использует хранилище ConfigEngine от PSNet.

Плагин доступен в каталоге.

Вступать в жаркие споры по поводу "правильного robots.txt для Ливстрита" я не очень-то желаю. Подобные темы уже поднимались не раз на официальном комьюнити движка.
16 комментариев
mataxah
правильного robots.txt для Ливстрита
и как обычно к однозначному мнению не пришли))
Serge Pustovit
по сути все удаляют дубли контента что не очень нравится поисковикам, поэтому каждый заносит тот раздел, который ему более важен. также закрывают уже закрытые директории ядра.
mataxah
думаю не все, ливстрит таки прямо оптимизирован для продажи ссылок))
Serge Pustovit
потому что много страниц?)
mataxah
Ага. Я тут перенес сайт на новый домен, склеил 301 редиректом и похоже попал под фильтр гугл. Тот самый который сдвигает все позиции вниз. Впечатляет кол-во ссылок со старого домена на новый 24 000)), которые естественно превратились в редиректы — это на 600 топиков и 200 вопросов (2500 страниц в индексе)
Serge Pustovit
но, например, сапе все же иногда вычисляет дубли страниц
mataxah
есть у меня подозрение что они просто оператором site: домен/& выбирают страницы основного индекса
Стас
Спор о robots конечно не нужен, а вот варианты (с пояснениями что и зачем) были бы интересны. Хотя конечно LS не столь монструозна как например Joomla, но варианты robots могут быть разные. Интересен опыт разных админов сайтов по их роботсам.
Serge Pustovit
пока я остановился на том, что заблокировал страницы входа и регистрации для поисковиков (они занесены в плагин по-умолчанию), далее буду смотреть уже по опыту.
Стас
Вот-вот, именно поведение поисковиков и их реакция (она как всегда непредсказуема) и интересны. Так-то понятно что нужно закрывать, а что нет… но это наше мнение, а вот у ПС может быть совсем другое. :)
Serge Pustovit
они дубли контента не любят и одинаковое описание в мета тегах. вот это точно
Стас
У меня нет пока большого проекта на LS, только один мелкий (клиент захотел свой бложик заиметь) так что статистики нет, а дубли… по моему я видел плагин для rel=«canonical». Не ваш часом? ПС очень любят эту штуку, особенно Яша.
Serge Pustovit
этот атрибут ЛС устанавливает автоматически
Стас
Ага, значит у меня, как всегда все перепуталось в голове. Бывает… :)
Serge Pustovit
решил подправить чуть и добавить в исключения RSS и :
<code>
User-agent: *
Disallow: /login/
Disallow: /registration/
Disallow: /rss
Disallow: /search/
</code>
Znayka
Яша советует убирать все категории блогов, то есть вот такие livestreetguide.com/category/livestreetcms/ потому как в них нет уникального контента, с точки зрения поисковых систем. Ну и теги — в них тоже нет…
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.