Оптимизация файла Robots.txt является сложной задачей. Это играет важную роль в SEO вашего блога. Вы наверняка слышали о Robots.txt. Но вы в полной мере используете этот файл? Пропуск этого фактора может повредить рейтингу вашего сайта. Если он настроен неправильно, поисковые системы могут полностью игнорировать весь ваш сайт, что может привести к полному исчезновению блога из поисковых запросов. Сегодня в этой статье я расскажу, как вы можете редактировать и оптимизировать файл Robots.txt для улучшения SEO. Я буду разбирать эту статью, чтобы она была простой и удобной для чтения.
Что такое файл Robots.txt?
Файл robots.txt также известен как протокол исключений роботов. Он инструктирует поисковых роботов о том, как сканировать веб-сайт, т.е. какие страницы сканировать и какие страницы игнорировать. Всякий раз, когда на ваш сайт приходят роботы поисковых систем, он читает файл robots.txt и следует инструкциям. Если вы не настроили его должным образом, поисковые роботы и пауки могут не индексировать важные страницы или могут также индексировать нежелательные страницы / папки. Поэтому очень важно оптимизировать файл Robots.txt. Этот файл находится в каталоге корневого домена (например, www.yourdomain.com/robots.txt). На вашем сайте может быть только один файл robots.txt, и он будет находиться в корневом каталоге, как упоминалось ранее. Вы можете использовать cPanel или FTP-клиент для просмотра этого файла. Он похож на любой обычный текстовый файл, и вы можете открыть его с помощью обычного текстового редактора, такого как Блокнот, и отредактировать соответствующим образом.
Как создать файл Robots.txt?
WordPress обеспечивает автоматическое создание файла robots.txt. Итак, если вы используете WordPress, у вас уже должен быть файл robots.txt в корневом каталоге. Если вы используете другую CMS или на вашем сайте нет файла robot.txt, просто создайте простой файл блокнота и назовите его robots.txt и загрузите в корневую папку вашего сайта, используя FTP-клиент или cPanel. В Интернете есть несколько генераторов роботов TXT-файлов.
Чтобы проверить в cPanel, перейдите в File Manager -> public_html folder. Вы должны иметь здесь файл robots.txt.
Понимание содержимого файла Robots.txt
Прежде чем перейти непосредственно к оптимизации файла robots.txt, давайте разберемся с основами файла robots.txt. В основном это три команды - User-agent, allow, disallow. Мы будем настраивать эти команды, чтобы улучшить SEO. Давайте посмотрим, что означают эти команды -
- User-agent - свойство User-agent определяет имя ботов и сканеров поисковой системы, для которых мы настраиваем и устанавливаем некоторые правила, разрешающие и запрещающие индексирование. Это может быть Googlebot, Bingbot и т. Д. Если вы хотите указать все боты поисковой системы, то вместо упоминания агента пользователя для отдельных ботов вы можете использовать звездочку (*) для обозначения всех ботов поисковой системы.
- Разрешить - Разрешить свойство, как следует из названия, предписывает поисковым системам сканировать и индексировать определенные части вашего сайта, которые вы хотите.
- Disallow - это свойство дает указание поисковым системам НЕ сканировать и не индексировать определенные части вашего сайта.
- Карта сайта: команда Sitemap сообщает поисковым роботам, что это карта сайта. Пожалуйста, просканируйте это тоже.
Вот базовый пример файла Robots.txt.
Пользователь-агент: *
Disallow: / wp-admin /
Разрешать: /
Я надеюсь, что вы можете понять вышеупомянутый образец сейчас. Здесь мы инструктируем всех роботов поисковых систем (поскольку мы используем User-agent: * // строка 1) не сканировать или индексировать / wp-admin / часть вашего сайта (// строка 2), а затем разрешаем сканировать и индексировать другие части вашего сайта (// строка 3).
Еще несколько примеров для вашего лучшего понимания:
Разрешить индексацию всего
Пользователь-агент: *
Разрешать: /
Запретить индексирование всего
Пользователь-агент: *
Disallow: /
Запретить любому конкретному боту (скажем, Googlebot) индексировать определенную папку (myfolder), но разрешить страницу (mypage) в этой папке.
Пользователь-агент: Googlebot
Disallow: / myfolder /
Разрешить: / myfolder / mypage
Теперь вы знакомы с файлом robots.txt. Давайте перейдем к тому, как вы можете редактировать и оптимизировать файл robots.txt, чтобы получить максимальную выгоду. Редактирование robots.txt является одним из что нужно сделать после установки WordPress ,
Редактирование файла Robots.txt
Вы можете редактировать файл robots.txt из cPanel или вашего FTP-клиента. Чтобы изменить это через cPanel, выполните следующие действия:
Шаг 1: Войдите в свою учетную запись cPanel
Шаг 2: Перейти в файловый менеджер
Шаг 3: Перейдите в папку public_html вашего сайта
Шаг 4: Найдите файл robots.txt
Шаг 5: Щелкните правой кнопкой мыши по файлу и выберите «Изменить», как показано ниже:
Шаг 6: Появится сообщение ниже. Возьмите резервную копию, если хотите, и нажмите «Изменить».
Это откроет файл в редактируемом режиме. Внесите необходимые изменения и нажмите «Сохранить изменения».
Как оптимизировать файл Robots.txt?
Как я упоминал ранее, оптимизация файла robots.txt является очень сложной задачей с учетом всех факторов. Неоптимизированный файл robots.txt может нанести вред вашему SEO и полностью деиндексировать ваш блог (например, если вы используете команду «Disallow: /» в файле Robots.txt, ваш сайт будет деиндексирован из поисковых систем.) , Помните о следующих вещах, когда начинаете оптимизировать файл robots.txt.
- Тщательное добавление пользовательских агентов. Будьте очень осторожны, давая какие-либо конкретные боты (так как вы можете пропустить важные боты) или звездочку (*) (так как вы можете игнорировать некоторых ботов тоже).
- Определите, какие части вашего сайта вы не хотите, чтобы поисковые роботы сканировали. Некоторые вещи могут быть: / wp-admin /, /cgi-bin/,/index.php, / wp-content / plugins /, /readme.html, / trackback /, /xmlrpc.php и т. Д. И т. Д.
- Точно так же вы можете разрешить определенные важные страницы вашего сайта. Добавление «Разрешить: /» эта команда не так важна, так как боты все равно будут сканировать ваш сайт. Но вы можете использовать его для конкретного бота или для сканирования или подпапки index.any каталога, который вы запретили. В этих случаях команда Разрешить очень полезна.
- Добавление файлов Sitemap в файл Robots.txt также является хорошей практикой.
Также прочитайте: Что такое файл .htaccess? Как обезопасить свой блог с помощью него
Ниже приведен файл robots.txt моего блога.
Это просто пример текстового файла роботов для вас. Вы можете легко увидеть, какие папки я специально запретил. Вам может быть интересно узнать о папке / go /. Я использую / go / для обозначения своих скрытых аффилированных ссылок. Поскольку я не хочу, чтобы сканеры и боты индексировали это, я запрещаю. Рекомендуется включать карту сайта вашего сайта в файл robots.txt. Его можно разместить в любом месте инструкции robots.txt. Главным образом это помещено или наверху или внизу инструкции.
Ваш файл robots.txt может отличаться от моего, поскольку у вас могут быть другие требования и другие личные папки. Несколько других вещей, которые вы можете сделать:
- Вы также можете дать определенные комментарии, чтобы помнить, почему вы дали определенные команды и настройки. Это комментирование можно рассматривать как определение кода. Этот комментарий не рассматривается WebCrawler или ботами, но если мы его реализуем, это будет полезно. Вы можете использовать «#», чтобы давать комментарии.
Например: # Разрешение боту xyz сканировать папку xyz.
- Вы можете запретить защищенные паролем области, файлы или интрасети для обеспечения безопасности.
- Запретите readme.html, чтобы защитить ваш сайт от внешних атак. Кто-то может использовать файл Readme.html, чтобы узнать, какую версию WordPress вы используете, перейдя к нему, чтобы они могли взломать ваш сайт.
Для этого напишите: Disallow: /readme.html
Вы также должны запретить каталог плагинов WordPress по соображениям безопасности. Просто напишите Disallow: / wp-content / plugins /
- Запретить ответную ссылку, чтобы избежать многих проблем с дублированием постов. Простая запись Disallow: *? Replytocom в файле robots.txt вашего сайта
- Чтобы заблокировать доступ ко всем URL-адресам, содержащим знак вопроса (?), Вы можете использовать следующую запись:
Пользователь-агент: *
Disallow: / *?
- Вы можете использовать символ $, чтобы указать соответствие конца URL. Например, чтобы заблокировать URL-адреса, заканчивающиеся на .html, вы можете использовать следующую запись:
Пользователь-агент: Googlebot
Disallow: /*.html$
Другие советы по оптимизации файла robots.txt
- Не используйте файл Robots.txt, чтобы скрыть некачественное содержимое. Лучше всего использовать метатег noindex и nofollow.
- Ваш файл robots.txt не должен пересекать 200 запрещенных линий. Начните с нескольких строк запрета. Если вы хотите добавить еще несколько, добавьте это позже.
- Не используйте файл Robots.txt, чтобы поисковые системы не индексировали ваши категории, теги, архивы, страницы авторов и т. Д. Для этого вы также можете добавить метатеги nofollow и noindex.
- Запретить поисковым системам индексировать определенные каталоги вашего сайта, которые могут содержать дублированный контент.
Тестирование файла Robot.txt в Google WebMaster Tool (теперь Google Search Console)
После того, как вы отредактировали и оптимизировали файл robots.txt, в первую очередь следует проверить этот файл, правильно ли он настроен или нет. Для этого:
Шаг 1) Войдите в свою учетную запись Google Search Console
Шаг 2) Перейдите в раздел «Сканирование» с левой боковой панели.
Шаг 3) Нажмите на «robots.txt Tester»
Шаг 4) Он покажет последний файл robots.txt на вашем сайте. Если вы не изменились навсегда, вы можете просто вставить содержимое оптимизированного файла robot.txt и протестировать. Ниже приведен снимок
Шаг 5) Выберите бота, для которого вы хотите проверить. Есть много доступных ботов, таких как - Googlebot-Video, Googlebot-News, Googlebot-Image и т. Д.
Шаг 6) Нажмите на кнопку «Тест».
Если все хорошо, и боты могут сканировать ваш сайт, он выдаст «РАЗРЕШЕНО» зеленым цветом, показывая, что ваши настройки в порядке.
Шаг 7) Теперь вы можете отправить файл robots.txt, нажав кнопку «Отправить».
Поздравляем! Вы успешно оптимизировали файл robots.txt.
Также прочитайте: Как оптимизировать структуру URL вашего блога?
Надеюсь, что это руководство помогло вам понять различные аспекты Robots.txt. Не забудьте поделиться им с друзьями и подписаться на нашу электронную рассылку для получения дополнительной информации. Если у вас есть какие-либо вопросы по оптимизации файла robots.txt, пожалуйста, не стесняйтесь задавать их в разделе комментариев ниже.
Мохит Арора
Привет, я Мохит Арора, страстный блоггер и зависимый читатель. Вы можете проверить мой другой блог TutorialsJar где я делюсь учебниками по программированию.
Вы можете связаться со мной на Instagram Или же Quora А также Linkedin также.
Подписаться на канал CatchUpdates через RSS
Последние сообщения от Мохит Арора ( увидеть все )
Но вы в полной мере используете этот файл?Txt?
Txt?
Txt?
Htaccess?
