Robots.txt dla WordPress

1. 1. Jak wybrać robota, do którego masz dostęp?
2. 2. Dyrektywy w pliku robots.txt.
3. 3. Wyrażenia regularne w pliku robots.txt.

Plik robots.txt to instrukcja dla robotów wyszukujących (Yandex, Google), która pomaga im prawidłowo indeksować witrynę, zezwalać na indeksowanie sekcji, stron lub zabraniać ich. Prawidłowy plik robots.txt dla WordPress pozwala indeksować tylko strony i wpisy, nie blokując wyników wyszukiwania duplikatów stron i różnych śmieci.

Tak więc od razu do rzeczy. Oto optymalny plik robots.txt dla witryny WordPress (patrz wyjaśnienie poniżej):

User-agent: * Disallow: / wp-login.php Disallow: / wp-register.php Disallow: / feed / Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / tematy Disallow: / trackback Disallow: * / komentarze Disallow: / category / * / * Disallow: * / trackback Disallow: * / * / trackback Disallow: * / * / feed / * / Disallow: * / feed Disallow: / *? * Disallow: /? s = User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: / feed / Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / motywy Disallow: / trackback Disallow: * / Disallow: / category / * / * Disallow: * / trackback Disallow: * / * / trackback Disallow: * / * / feed / * / Disallow: * / feed Disallow: / *? * Disallow: /? S = Host: maxtop.org Mapa strony: http://maxtop.org/sitemap.xml.gz Mapa strony: http://maxtop.org/sitemap.xml

Ważne: zmień adres witryny z maxtop.org na własny!

A teraz powiem, które linie odpowiadają za co.

1. Jak wybrać robota, do którego masz dostęp?

Agent użytkownika to połączenie z określonym robotem wyszukiwania. Oprócz tego, że każda wyszukiwarka ma własnego robota (Yandex, Google), ma też tuzin konkretnych robotów w ramach jednej wyszukiwarki. Na przykład YandexBot jest głównym robotem Yandex, YandexMedia to robot indeksujący multimedia - zdjęcia, audio, wideo, YandexImages to specjalistyczny indeksator obrazów (w obrazach Yandex). Istnieją nawet specjalne roboty, które skanują witrynę mikromarkingu.

Ale tak naprawdę nie musimy wchodzić w szczegóły, pamiętajmy, że gwiazdka (*) oznacza odwołanie do wszystkich wyszukiwarek.

2. Dyrektywy w pliku robots.txt.

Więc zwróciliśmy się do robota, teraz musimy mu wydać polecenie. Te polecenia lub dyrektywy mogą być następujące:

Disallow: - zakaz indeksowania sekcji, strony, wyrażenia regularnego. Mówisz do robota: „Nie patrz na to i nie dodawaj go do wyników wyszukiwania”. Konieczne jest zabronienie indeksowania sekcji usług, panelu administracyjnego i usuwanie duplikatów stron. Podwójne to te same strony dostępne pod różnymi adresami. Na przykład przeczytany artykuł jest dostępny pod adresem:

http://maxtop.org/?p=1575 http://maxtop.org/ robots-txt-dlya-wordpress /

Nie potrzebujemy jednak obu łączy, ponieważ Będzie to podwójna strona. A w robotach możemy zamknąć takie i podobne dublety.

Zezwól: - wywołanie do indeksowania stron, sekcji, linków. Mówisz do robota: „Konieczne jest indeksowanie i dodawanie go do wyników wyszukiwania!”

Host: oznacza główny host lub adres Twojej witryny (taki sam jak nazwa domeny witryny).

Mapa strony: - jest to wskazanie adresu mapy witryny (w formacie xml lub w formie zarchiwizowanej). Pomagasz robotowi znaleźć mapę witryny, która odzwierciedla strukturę materiałów na twojej stronie.

Uwaga: upewnij się, że masz zainstalowaną wtyczkę mapy witryny i że mapa witryny naprawdę otwiera się pod wskazanym adresem! Jeśli nie, zainstaluj wtyczkę Google (XML) Sitemaps Generator dla WordPress.

3. Wyrażenia regularne w pliku robots.txt.

Aby nie rejestrować ręcznie setek linków w celu zablokowania lub umożliwienia indeksowania, można używać wyrażeń regularnych, które znacznie ułatwią pracę. Rozważmy przykład:

Disallow: / category / * / *

Gwiazdka oznacza zastąpienie dowolnej części adresu URL. Zatem dana dyrektywa zabrania indeksowania wszystkich linków zawierających część „kategorii”. Jest to konieczne, aby wyeliminować duplikaty, gdy jeden wpis w witrynie jest dostępny poprzez bezpośredni link i link z prefiksem „kategorii”.

Inny przykład:

Disallow: /? S =

Zabrania to indeksowania wszystkich wyników wyszukiwania w witrynie (wszystkiego, co jest wyświetlane w polu wyszukiwania na stronie).

A teraz nie zapomnij skonfigurować .htaccess dla Twojej witryny .

Podziel się tym postem z przyjaciółmi, będę wdzięczny!