Jak korzystać z pliku Robots.txt za pomocą WordPress

1. Wirtualny plik Robots.txt na WordPressie
2. Jak edytować Robots.txt za pomocą WordPress
3. Jak zainstalować wtyczkę WP Robots.txt
4. Poprawiona treść dla Twojego Robots.txt
5. Niebezpieczny plik
6. Żart dla SEO frajerów
7. Jak dostroić lub składnię Robots.txt
8. Wyłącz dynamiczne indeksowanie adresów URL
9. Screencast o Robots.txt dla użytkowników WordPress
10. Przydatne linki
11. Wniosek

Nie wiesz, jak korzystać z pliku robots.txt? Wierzcie lub nie, jest to jeden z najważniejszych plików pod względem SEO. Musisz użyć pliku, aby określić, które sekcje witryny powinny i nie powinny być dostępne dla wyszukiwarek. Na przykład nie potrzebujesz katalogu wp-admin do indeksowania i indeksowania przez wyszukiwarki, ponieważ jest on przeznaczony tylko do użytku wewnętrznego. Robots.txt to plik tekstowy (.txt), który należy umieścić w katalogu głównym na serwerze, co oznacza, że ​​należy umieścić go w tym samym folderze, w którym znajdują się pliki i foldery witryny na serwerze. Musisz nazwać to konkretnie robots.txt. W przeciwnym razie nie zadziała.

Wirtualny plik Robots.txt na WordPressie

WordPress używa wirtualnego pliku robots.txt. Oznacza to, że nie znajdziesz go na serwerze ftp, jeśli spróbujesz uzyskać do niego dostęp do edycji, ponieważ jest tworzony dynamicznie za każdym razem, gdy użytkownik odwiedza Twoją witrynę. Chociaż jest to widoczne, jeśli dodasz plik /robots.txt do adresu URL witryny, nie będzie on dostępny na twoim serwerze, jeśli spróbujesz go znaleźć przy pomocy menedżera ftp, takiego jak CuteFTP, FileZilla lub CyberDuck.

Jak edytować Robots.txt za pomocą WordPress

Jeśli chcesz mieć możliwość ręcznej edycji pliku robots.txt, powinieneś zainstalować Wtyczka WP Robots.txt . To pozwoli ci edytować plik robots.txt bezpośrednio na pulpicie nawigacyjnym WordPress. Zainstalujmy więc wtyczkę i zobaczmy, jak to działa.

Jak zainstalować wtyczkę WP Robots.txt

1. Będąc na pulpicie nawigacyjnym WordPress, przejdź do Wtyczki i wybierz Dodaj nowy.
2. Wpisz WP Robots.txt w polu tekstowym Szukaj i naciśnij przycisk Szukaj wtyczek.
3. Po znalezieniu wtyczki kliknij link Zainstaluj teraz. Powinieneś mieć wyskakujące okienko, które sprawdza, czy naprawdę chcesz zainstalować wtyczkę. Po prostu kliknij OK.
4. Teraz kliknij opcję Aktywuj wtyczkę.
5. W tym momencie możesz po prostu rozwinąć menu rozwijane Ustawienia i stamtąd wybrać Czytanie.
6. Teraz znajdź pole tekstowe Treść Robots.txt. Pole zawiera zawartość aktualnego pliku Robots.txt.

Zawartość pliku WordPress Robots.txt

Powinieneś mieć podobną treść domyślnie:

User-agent: * Disallow: / wp-admin / Disallow: / wp-includes /

Powyższy kod zabrania wszystkim robotom przeglądającym katalogów / wp-admin / i / wp-includes / na serwerze.

Poprawiona treść dla Twojego Robots.txt

Chociaż domyślne ustawienia są również wykonalne, to najlepsze praktyki SEO WordPressa nieco je zmodyfikować, aby plik robots.txt wyglądał następująco:

User-agent: * Disallow: / feed / Disallow: / trackback / Disallow: / wp-admin / Disallow: / wp-content / Disallow: / wp-includes / Disallow: /xmlrpc.php Disallow: / wp- Allow: / wp-content / uploads / Sitemap: http://example.com/sitemap.xml

Pierwsza linia pokazuje, który dokładnie robot indeksujący lub roboty chcesz celować. * Oznacza, że ​​atakujesz wszystkie roboty. Innymi słowy, mówisz: „Hej, wszyscy wyszukują roboty, działajcie w następujący sposób”.

Alternatywnie możesz wskazać konkretne roboty, takie jak Googlebot, Rogerbot itp. Chcesz to zrobić, jeśli użycie * gwiazdki nie będzie skierowane do konkretnego robota z jakiegoś powodu.

Osobiście miałem taki problem z Roberbotem. Konieczne może być również bezpośrednie ukierunkowanie. Więc zamiast:

Agent użytkownika: *

Możesz celować w Moz Rogerbot w szczególności:

User-agent: Rogerbot

Większość powyższego kodu uniemożliwia dostęp do określonych katalogów (/ trackback /, / wp-admin /, itp.), Ponieważ zawartość tych katalogów nie jest interesująca ani dla odwiedzających witrynę, ani dla wyszukiwarek.

Disallow: / feed / Disallow: / trackback / Disallow: / wp-admin / Disallow: / wp-content / Disallow: / wp-includes / Disallow: /xmlrpc.php Disallow: / wp-

Ponieważ chcesz mieć możliwość uszeregowania w wyszukiwarkach treści znajdujących się w katalogu uploads (takich jak obrazy i tym podobne), druga do ostatniej linii umożliwia dostęp do katalogu / wp-content / uploads /.

Zezwól: / wp-content / uploads /

Ostatnia linia wskazuje tylko lokalizację pliku sitemap.xml, którego Google i inne wyszukiwarki używają do prawidłowego indeksowania witryny.

Mapa witryny: http://example.com/sitemap.xml

Niebezpieczny plik

Niewłaściwa konfiguracja pliku robots.txt może być całkowicie niewidoczna dla wyszukiwarek. Najgorsza konfiguracja byłaby następująca:

Disallow: /

Powyższy kod uniemożliwia dostęp do całej witryny. Tak więc wyszukiwarki będą indeksować NIC. Pamiętaj, że nie chcesz tej reguły w pliku robots.txt.

Żart dla SEO frajerów

Spójrz na ten żart SEO-nerdy. Rozumiem? To naprawdę fajne! 🙂

Ta laska nie pozwala facetowi wszystkiego. Ten żart może pomóc ci lepiej zrozumieć, jak to nie działa: / działa. Ok, ruszajmy dalej.

Jak dostroić lub składnię Robots.txt

Jeśli chcesz dostroić ustawienia robots.txt, możesz znać następujące elementy.

Aby wycelować w konkretny katalog, po prostu zamknij jego nazwę ukośnikami. na przykład / wp-content /.

Disallow: / wp-content /

Aby ukierunkować na konkretny plik, wystarczy zdefiniować ścieżkę do tego pliku wraz z jego nazwą:

Disallow: /wp-content/your-file.php

Możesz wskazać w ten sposób wszystkie rodzaje plików:

Disallow: /wp-content/your-file.html Disallow: /wp-content/your-file.png Disallow: /wp-content/your-file.jpeg Disallow: /wp-content/your-file.css

Wyłącz dynamiczne indeksowanie adresów URL

Najprawdopodobniej natkniesz się na ten szeroko rozpowszechniony problem. Może być konieczne wyłączenie dynamicznego indeksowania adresów URL. Dynamiczny adres URL to taki, który zawiera? znak zapytania. Takie adresy URL mogą powodować różnego rodzaju problemy z SEO (powielanie treści, duplikat tytułu strony itp.), A użytkownik chce wyłączyć wyszukiwarki z indeksowania stron za pomocą takich adresów URL. Możesz to łatwo zrobić za pomocą robots.txt. Po prostu dodaj następujący wiersz:

Disallow: / *?

Screencast o Robots.txt dla użytkowników WordPress

Ten screencast to próbka kursu SEO, nad którym obecnie pracuję. Kurs zatytułowany jest SEO Crash Course dla użytkowników WordPress. Jeśli chcesz wiedzieć, kiedy zostanie uruchomiony, zapisz się na mój newsletter na końcu posta.

Przydatne linki

Robots.txt: Ultimate Guide

Wniosek

Po prostu nie możesz nazywać się SEO ani marketingowcem internetowym, jeśli nie czujesz się dobrze z plikiem robots.txt, ponieważ określa on, w jaki sposób wyszukiwarki widzą Twoją witrynę. Pamiętaj, aby edytować plik robots.txt tylko wtedy, gdy wiesz, co robisz. W przeciwnym razie witryna może po prostu zniknąć z Internetu i nawet nie wiesz, dlaczego.

Istnieje wiele wtyczek WordPress, które umożliwiają obsługę pliku robots.txt. Czy znasz coś, co działa lepiej niż wtyczka WP Robots.txt, którą opisałem w tym poście?