Тема Дня »

Обновил тему WordPress на этом блоге. Старый вариант Arthemii меня устраивал во всем, кроме моральной древности. Функциональность тем значительно увеличилась с 2008 года.
Проблема замены состояла в том, что старая тема на моём блоке постоянно допиливалась в ручную, и перенести все созданное в новую тему было практически невозможно. Но пришлось чем-то жертвовать.
Новая Arthemia была скачена, максимально отстроена и установлена.

Читать полностью »
Партнерский интернет-магазин

Создание, оптимизация и продвижение интернет-магазина.

Создать форум

Как создать “с нуля” и сделать популярным форум. Полезно, интересно и подробно о phpbb3.

WordPress

Рекомендации по настройке и оптимизации WordPress. Плагины, темы, шаблоны.

Дайджест блогосферы

Каждую неделю публикую подборку из пяти наиболее интересных статей.

Конкурсы

Статьи, написанные для участия в различных блоггерских конкурсах.

Главная » WordPress

Правильный robots.txt для WordPress.

Добавлено на 22.11.2012 – 7:07 пп11 Комментарии

robots.txt для WordPress

Статья с названием “Правильный robots.txt для WordPress” есть у каждого уважающего себя манимейкера или блогера. Причин на это две: во-первых, файл robots.txt действительно нужен, во-вторых, такой ключевой запрос, включающий в себя “robots.txt” и “WordPress” только один.

Ну что ж, я ничем не хуже других, и в добавок у меня 3 новых блога на WordPress, включая этот, до сих пор без robots.txt’а, а значит поисковые роботы абсолютно спокойно по ним разгуливают, заглядывая в самые укромные уголки. Пришло время положить этому конец.

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции (команды) для роботов поисковых систем, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.

Файл robots.txt для WordPress.

Назначение и синтаксис команд robots.txt’а можно посмотреть по ссылке выше, а я перехожу непосредственно к практике.

1. Запрещаем служебную папку хостинга (Вы ведь знаете, что она есть?):

Disallow: /cgi-bin

2. Запрещаем служебные папки и файлы:

Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html

3. Запрещаем папку wp-content, но разрешаем индексацию загруженных файлов (в основном изображений).

Allow: /wp-content/uploads/
Disallow: /wp-content

Команда Allow должна располагаться выше всех запрещающих комманд.

4. Запрещаем трекбеки, фиды, комментарии (отдельно от основной страницы) и результаты поиска.

Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?

5. По желанию (в зависимости от сайта) запрещаем теги, категории, архивы и страницы (я их оставляю открытыми).

Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: /page/*

6. Указываем главное зеркало сайта (с или без www) и путь к файлу sitemap.xml

Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/sitemap.xml

Пример robots.txt для WordPress.

Для “особо одаренного Яндекса” всё повторяю 2 раза 🙂

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-content
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?

Host: delitant.ru
Sitemap: http://delitant.ru/sitemap.xml
Sitemap: http://delitant.ru/sitemap.xml.gz

У Вас такой же robots.txt? Или чем-то отличается?

Напоминаю, Вы прочли вторую статью из серии “Как ускорить индексацию сайта”. Понравилась? Подпишитесь на обновления блога!

Продолжение следует…

Серия статей “Как ускорить индексацию сайта”:

  1. Sitemap генератор для WordPress;
  2. Правильный robots.txt для WordPress;
  3. Инструменты для вебмастеров от Google и Яндекс.
GD Star Rating
loading...
Правильный robots.txt для WordPress., 4.3 out of 5 based on 4 ratings

Буду благодарен, если поделитесь этой статьей в социальных сетях:

Метки: ,

11 Комментарии »

  • Что ты думаешь на счет Disallow: /*? Он ведь должен закрывать древовидные комментарии. Яндекс воспринимает нормально, а вот гугл никак не хочет:( Как думаешь, как еще можно закрыть древовидные комментарии от поиска в гугле?

    [Ответить]

    Делитант:

    С ходу не отвечу, вопрос не простой. Нужно тестировать.

    [Ответить]

    Dominanta:

    От гугла вообще ничего не возможно закрыть — он индексирует не взирая на запреты.

    [Ответить]

    Делитант:

    У меня такое чувство, что закрытые страницы они индексируют гораздо охотнее. Но по-крайней мере в выдаче их нет.

    [Ответить]

    Dominanta:

    Отсутствие в выдаче — эт, имхо, то что и надо:)

    Томский школьник:

    У меня следующая проблема: комментирование оставляет дубли. Получаются дублированные страницы, гугл их индексирует, что плохо для блога:( Не знаю как исправить…

    [Ответить]

    Делитант:

    А как у тебя реализованы древовидные комментарии. У меня плагин.

    Люба:

    Пройдись по этой ссылке. Может ответ получишь.

  • Шаблонные комментарии (стандартные) реализованы replytocom
    Что за плагин?

    [Ответить]

    Делитант:

    У меня старая тема, со времен когда для древовидных комментариев использовался специальный плагин WordPress Thread Comment.

    [Ответить]

  • Делитант:

    Люба, ссылка в никуда вела, удалил. Давайте правильную.

    [Ответить]

Оставить комментарий!

Добавить свой комментарий ниже, или Архив с вашего собственного сайта. Вы также можете Comments Feed через RSS.

Будьте вежливы. Держите его в чистоте. Оставайтесь на тему. Не спам.

Вы можете использовать эти теги:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

Это Gravatar поддержкой сайта. Чтобы получить свой собственный глобально признанных-аватара, пожалуйста, зарегистрируйтесь на Gravatar.