Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
< >
1 2 3 4 5

Як використовувати файл Robots.txt з WordPress

  1. Віртуальний файл Robots.txt на WordPress
  2. Як редагувати Robots.txt за допомогою WordPress
  3. Як встановити модуль WP Robots.txt
  4. Покращений вміст для вашого Robots.txt
  5. Небезпечний файл
  6. Жарт для SEO ботаніків
  7. Як тонко налаштувати або синтаксис Robots.txt
  8. Вимкнути динамічне індексування URL-адрес
  9. Screencast про Robots.txt для користувачів WordPress
  10. корисні посилання
  11. Висновок

Не знаєте, як використовувати файл robots

Не знаєте, як використовувати файл robots.txt? Вірте чи ні, це один з найважливіших файлів з точки зору SEO. Необхідно скористатися цим файлом, щоб вказати, які розділи вашого сайту слід, а які не повинні бути доступними для пошукових систем. Наприклад, вам не потрібен каталог wp-admin для сканування та індексування пошуковими системами, оскільки він призначений лише для внутрішнього використання. Robots.txt - це звичайний текстовий файл (.txt), який слід розмістити в кореневому каталозі на вашому сервері, а це означає, що потрібно помістити його в ту ж папку, де на сервері є файли і папки веб-сайту. Вам потрібно спеціально назвати його robots.txt. Інакше він не працюватиме.

Віртуальний файл Robots.txt на WordPress

WordPress використовує віртуальний файл robots.txt. Це означає, що ви не знайдете його на своєму сервері ftp, якщо ви намагатиметеся отримати доступ до нього для редагування, оскільки він створюється динамічно кожного разу, коли користувач відвідує ваш сайт. Хоча це видно, якщо додати URL-адресу /robots.txt на сайт, він не доступний на вашому сервері, якщо ви намагаєтеся знайти його за допомогою менеджера ftp, наприклад CuteFTP, FileZilla або CyberDuck.

Як редагувати Robots.txt за допомогою WordPress

Якщо ви бажаєте мати можливість спеціально редагувати файл robots.txt вручну, вам слід встановити Додаток WP Robots.txt . Це дозволить вам редагувати ваш файл robots.txt прямо у вашій панелі інструментів WordPress. Отже, давайте встановимо плагін і подивимося, як він працює.

Як встановити модуль WP Robots.txt

  1. Перебуваючи у інформаційній панелі WordPress, перейдіть на вкладку Модулі та виберіть Додати нове.
  2. Введіть WP Robots.txt у текстовому полі Пошук і натисніть кнопку Пошук плагінів.
  3. Знайшовши плагін, просто натисніть посилання "Встановити зараз". Ви повинні мати спливаюче вікно, яке двічі перевіряє, чи дійсно ви хочете встановити плагін. Просто натисніть кнопку ОК.
  4. Тепер натисніть кнопку Активувати плагін.
  5. На цьому етапі можна просто розкрити спадне меню Параметри і звідти вибрати Читання.
  6. Тепер знайдіть текстове поле вмісту Robots.txt. Поле містить вміст фактичного файлу Robots.txt.

Зміст файлу WordPress Robots.txt

За умовчанням ви повинні мати подібний вміст:

Агент користувача: * Disallow: / wp-admin / Disallow: / wp-includes /

Таким чином, вищезазначений код забороняє всім сканерам бачити директорії / wp-admin / і / wp-includes / на вашому сервері.

Покращений вміст для вашого Robots.txt

Незважаючи на те, що налаштування за замовчуванням також є ефективними, краще за все краще використовувати WordPress SEO, щоб змінити їх так, щоб файл robots.txt виглядав так:

Агент користувача: * Disallow: / feed / Disallow: / trackback / Disallow: / wp-admin / Disallow: / wp-content / Disallow: / wp-includes / Disallow: /xmlrpc.php Заборонити: / wp- Дозволити: / wp-content / uploads / Sitemap: http://example.com/sitemap.xml

У першому рядку показано, який саме робот або роботів ви хочете націлити. * Означає, що ви націлюєте всіх роботів. Іншими словами, ви говорите: "Гей, всі ви пошукові роботи, дійте так".

Крім того, ви можете вказати на певних сканерів, таких як Googlebot, Rogerbot тощо. Ви хочете зробити це, якщо використання зірочки * не буде націлено на певного сканера з тієї чи іншої причини.

Я особисто мав таку проблему з Роберботом. Вам також може знадобитися націлювати на неї явно. Так, замість:

User-agent: *

Ви можете орієнтуватися саме на Moz Rogerbot:

Користувач-агент: Rogerbot

Більшість коду вище забороняє доступ до вказаних каталогів (/ trackback /, / wp-admin / і т.д.), оскільки вміст цих каталогів не представляє ніякого інтересу ні для відвідувачів вашого сайту, ні для пошукових систем.

Заборонити: / feed / Disallow: / trackback / Disallow: / wp-admin / Disallow: / wp-content / Disallow: / wp-includes / Disallow: /xmlrpc.php Заборонити: / wp-

Оскільки ви хочете мати можливість ранжувати в пошукових системах вміст, що знаходиться в каталозі завантажень (наприклад, зображення та інше), другий за останній рядок дозволяє отримати доступ до каталогу / wp-content / uploads /.

Дозволити: / wp-content / uploads /

І останній рядок лише вказує на розташування файлу sitemap.xml, який Google та інші пошукові системи використовують для правильного сканування вашого сайту.

Мапа сайту: http://example.com/sitemap.xml

Небезпечний файл

Неправильна конфігурація файлу robots.txt може стати невидимою для пошукових систем. Найгірша конфігурація буде така:

Заборонити: /


Наведений вище код забороняє доступ до всього вашого сайту. Таким чином, пошукові системи не показуватимуть НІЧОГО. Майте на увазі, що це правило не потрібно в вашому файлі robots.txt.

Жарт для SEO ботаніків

Погляньте на цей жарт SEO-nerdy. Зрозумів? Це дійсно акуратно! 🙂

Цей пташеня забороняє всім хлопцю. Цей жарт може допомогти вам краще зрозуміти, як заборонити: / працює. Добре, давайте рухатися далі.

Як тонко налаштувати або синтаксис Robots.txt

Якщо потрібно налаштувати параметри файлу robots.txt, ви можете знати наступне.

Щоб націлити певний каталог, просто вкажіть його ім'я з косою рискою. наприклад / wp-content /.

Заборонити: / wp-content /

Щоб націлити конкретний файл, потрібно лише визначити шлях до цього файлу та його назву:

Заборонити: /wp-content/your-file.php

Ви можете вказати це як на всі види файлів:

Disallow: /wp-content/your-file.html Disallow: /wp-content/your-file.png Заборонити: /wp-content/your-file.jpeg Disallow: /wp-content/your-file.css

Вимкнути динамічне індексування URL-адрес

Швидше за все, ви натрапите на це дуже поширене питання. Можливо, знадобиться відключити динамічне індексування URL-адрес. Динамічна URL-адреса містить таку? знак питання. Такі URL-адреси можуть спричиняти будь-які проблеми з SEO (дублювання вмісту, дублювання назви сторінки тощо), і ви хочете відключити пошукові системи від індексування сторінок з такими URL. Ви можете легко зробити це за допомогою robots.txt. Просто додайте наступний рядок:

Заборонити: / *?

Screencast про Robots.txt для користувачів WordPress

Це screencast є прикладом SEO курс, який я в даний час працює. Курс під назвою SEO Crash Course для користувачів WordPress. Якщо ви хочете бути в курсі, коли він запущений, не забудьте підписатися на мій інформаційний бюлетень в кінці повідомлення.

корисні посилання

Robots.txt: кінцевий посібник

Висновок

Ви просто не можете назвати себе SEO або онлайн-маркетолога з цього питання, якщо вам не подобається файл robots.txt, оскільки він визначає, як пошукові системи бачать ваш сайт. Обов'язково відредагуйте файл robots.txt, лише якщо знаєте, що ви робите. Інакше ваш сайт може просто зникнути з Інтернету, і ви навіть не будете знати, чому.

Є багато плагінів WordPress, які дозволяють обробляти ваш файл robots.txt. Чи знаєте ви що-небудь, що працює краще, ніж плагін WP Robots.txt, який я розглянув у цій публікації?

Txt?
Зрозумів?
Динамічна URL-адреса містить таку?
Txt, який я розглянув у цій публікації?