Как загрузить robots.txt для WordPress на сервер по FTP (подробный мануал)

Опубликовано 29 Янв 2012 — Пётр. В рубрике: Создать сайт. Теги: robots.txt, WordPress, Гугл, Яндекс.  

Загрузка Robots.txt на сервер.

Приветствую читателей блога «Мои тараканы»!

Недавно убедился в необходимости делать более подробные статьи. Что я имею в виду? Помню, как не так давно самому приходилось прыгать с одного блога на другой, собирая информацию по крупинкам. Ведь то, что одним может показаться само собой разумеющимся, другим может создать кучу головной боли, возможно даже не на один день. Например, я как-то писал о такой фишке для блога, как robots.txt. Это была, скорее, общая информация, так сказать, для общего развития, имеющая не очень большую практическую ценность, потому что блоггер поопытней, в принципе, мало чего нового из неё узнал бы, а у новичка, только что создавшего свой первый блог, после прочтения возникнет масса новых вопросов (кто был новичком — меня поймёт).

Попытаюсь исправить ситуацию. Сегодняшний пост написан по просьбе одной моей читательницы, подробный мануал по загрузке файла на сервер и устранению возможных неполадок. И так приступим…

Устанавливаем правильный редактор для создания и загрузки robots.txt на сервер по FTP

Первым делом нужно установить «правильный» редактор. Я настаиваю на использовании Notepad++. Почему именно Notepad++?

1. Notepad++ пытается сократить мировые выбросы углекислого газа. Благодаря оптимизации, насколько это возможно без потери удобства пользователей, процессор использует меньше ресурсов, компьютер снижает энергопотребление, в результате сохраняется окружающая среда .

2. О преимуществах Notepad++ можно говорить много, но для нас сейчас актуальна его бесплатность и возможность загрузки редактируемых файлов сразу на сервер.

Установить данный блокнот не составит труда. Для этого переходим на официальный сайт http://notepad-plus-plus.org. В принципе, все программы желательно скачивать с официальных сайтов, таким образом можно немного обезопасить свой компьютер от вирусов и других неприятных вещей. Зачем рисковать, скачивая программу, скажем, с торрента, когда её же можно скачать с официального сайта и не опасаться, что под её видом может маскироваться троян.

Слева мы видим такую менюшку. Нас интересует пункт Download.

Выбираем первый пункт для загрузки установщика. После его загрузки появляется окно выбора языка.

Жмём «OK». Для корректной установки желательно закрыть все работающие программы.

Дальнейшая установка, думаю, не составит проблем. Жмём «Далее», выбираем папку для установки, выбираем нужные компоненты (если вы не специалисты, лучше оставить как есть), после этого можно поставить галочку для создания иконки на рабочем столе.

Настраиваем FTP соединение для загрузки файла robots.txt на сервер.

Запускаем блокнот.
Теперь нам нужно настроить соединение по FTP. Для этого нажимаем на иконку со звеньями, чтобы появилось окошко соединения с сервером. В открывшемся окне жмем на шестерёночку, и в выпадающем списке выбираем «Profile settings».

Придумываем название для нашего соединения.

Заполняем поля Hostname — IP-адрес сервера (узнаём у хостера), Username — имя пользователя и пароль (создаётся в учётной записи на хостинге). Больше ничего трогать не нужно.

Нажимаем «Close». Теперь, чтобы соединится жмём иконку «Connect» и выбираем нужный профиль (если у вас их несколько).

Если соединение произошло успешно, в окошке слева мы увидим все папки и файлы сайта в древовидном виде.

Если у вас несколько сайтов, выбираем нужный, и в корневой директории сайта (это папка в которой находятся все файлы вашего сайта, в моем случае это public_html, но у вас она может носить другое имя, например www), создаём новый файл. Для этого двойным кликом ЛКМ (левой клавишей мыши) или просто нажав на плюсик, открываем папку public_html и где-нибудь внутри кликаем ПКМ (правой клавишей мыши), выбираем «Create new file».

Называем наш файл «robots.txt».

Настраиваем robots.txt

Открываем файл для редактирования, два раза кликнув по нему ЛКМ или выбрав «Download file» ПКМ. Сейчас он совершенно пустой. Теперь в него нужно вставить следующий код:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: presentaci.ru
Sitemap: http://presentaci.ru/sitemap.xml.gz
Sitemap: http://presentaci.ru/sitemap.xml

Замените значения Host и Sitemap на свои.

ОБРАТИТЕ ВНИМАНИЕ: чтобы не было ошибок в директории Host, URL блога указывается без стандартного протокола соединения (http://), а Sitemap нужно указывать с ним.

В директории Host вы должны указать, в каком виде предпочитаете видеть адрес блога, с префиксом www или без него. Это нужно для того, чтобы поисковики знали, по какому адресу нужно индексировать сайт. Хотя адреса www.site.com иsite.com и указывают на файлы одного и того же сайта, но для ПС это два совершенно разных домена.

По большому счёту, не имеет разницы, какой вариант выбрать — с www или без него, лично я предпочел без префикса — presentaci.ru. Но учтите, что, если вы выбрали какое то значение, то точно такое же значение нужно указать в настойках WordPress.

Не забываем указать главное зеркало и в панели веб-мастера Яндекс и Гугл.

Пару слов о сайтмап — файл Sitemap.xml сообщает поисковикам о доступных для сканирования страницах сайта. Если у вас ещё нет этого файла, его обязательно нужно создать. Для генерирования Sitemap существует масса различных плагинов.
Если ваш сайт имеет большое количество страниц, имеет смысл сгенерировать сжатую копию файла — sitemap.xml.gz (поисковики прекрасно понимают сжатую версию).

Вернёмся к нашим баранам. Сейчас вкладка с именем файла подсвечивается красным, это значит, что он после редактирования ещё не сохранён. Чтобы изменения вступили в силу, файл нужно сохранить (комбинация Ctrl+S). Файл сохраняется и сразу же перезаписывается на сервере.

Давайте проверим результаты нашего труда. Чтобы посмотреть на содержимое robots.txt любого сайта, нужно к его адресу добавить /robots.txt. Например роботс моего блога можно увидеть по адресу http://presentaci.ru/robots.txt.

Вот в принципе всё. Что бы подытожить хочу сказать, что с помощью Notepad++ мы можем создать не только роботс.txt , но и отредактировать практически любой имеющийся на сервере файл. Предлагаю просмотреть видео в котором можно подробнее ознакомиться с воможностями Notepad++:

Если я что-то забыл упомянуть или у вас возникли вопросы, отпишитесь в комментариях.

Чуть было не забыл…

Список Dofollow блогов:

http://bymosk.net
http://kyoks.ru
http://netbloga.ru
http://seogad.ru — после нескольких.
http://seo73.ru
http://zlob.in
http://ecofriendly.ru
http://blog.sjinks.pro
http://xstroy.com
http://www.seo-konkret.ru
http://www.tu-tu-tu.com
http://nikopo.blogspot.com
http://illustrator.org.ua

Чтобы узнавать о новых статьях, предлагаю Вам подписаться на обновления по RSS или по почте! Также Вы можете следить за моим щебетом в Твиттере.

P.S.Отдельное спасибо Ирине, за вклад внесённый в создание этого поста.

С уважением, Мышак Пётр.