Правильное составление файла Robots.txt


Итак сегодня поговорим о правильном составлении файла Robots.txt.Сам файл нужно разместить в корень сайта , обычно это папка http://ваш сайт/robots.txt. Зачем он нужен спросите вы? А вот и ответ: этот файл описывает исключения для поисковых ботов.Не буду говорить, что означает каждая строка (думаю сами разберетесь) просто дам уже  правильно написанный файл Robots.txt…
Образец файла, рекомендуемый авторами WordPress:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

# Internet Archiver Wayback Machine

User-agent: ia_archiver

Disallow: /

# digg mirror

User-agent: duggmirror

Disallow: /

Для Яндекса можно написать это:

User-agent: Yandex

Crawl-delay: 5

По желанию можно добавить еще:

Disallow: /tag

Если хотите чтобы ваш сайт в поисковой выдаче отображался без www, то надо прописать еще такое:

Host: ваш сайт.ру

Кстати, взять кредит наличными в Челябинске можно уже не выходя из дома.

Оставить комментарий.