Когда лучше роботов. TXT присоединяется к производительности Yoast SEO ... | Pagup

1. Но почему Robots.txt так важен?
2. Что делает Better robots.txt?
3. Как добавить файл Sitemap в robots.txt может создать разницу?
4. Итак, теперь, когда вы знаете больше, как выглядит ваш robots.txt?

Если вы являетесь пользователем WordPress, как компания или агентство, вы наверняка знаете Yoast SEO, возможно, один из лучших плагинов, доступных на WordPress, для оптимизации вашего контента и производительности в поисковых системах.

Вот почему при разработке плагина Better Robots.txt мы, естественно, думали, что будем ассоциироваться с лучшим предложением… лучшим из оптимизации. Поскольку это все об этом, оптимизируйте свой сайт, чтобы получить максимальную эффективность вашего контента.

Вы знали? Yoast SEO позволяет вам настраивать множество элементов внутри вашего сайта, будь то META-данные, все карты сайта, связанные с вашими страницами, статьи, продукты,… Даже издание вашего файла robots.txt и .htaccess (расширенная конфигурация). Но на сегодняшний день еще не было решения для объединения «Sitemap» и «Robots.txt» с управлением инструкциями по индексированию для поисковых систем. И это именно то, что Лучше Robots.txt предлагает со соучастием YOAST через индекс карты сайта.

Но почему Robots.txt так важен?

Напомним, что в 2006 году Yahoo, Microsoft и Google объединили свои усилия для поддержки и развертывания стандартного протокола представления страниц сайта с использованием файлов Sitemap. С тех пор было разработано несколько методов, позволяющих веб-дизайнерам (агентствам, разработчикам) неукоснительно отправлять свои различные карты сайта с помощью таких инструментов, как Google для веб-мастеров (Google Search Console), Bing для веб-мастеров, Yahoo, в то время как для других поисковых систем, таких как DuckDuckGoGo (например), они используют результаты непосредственно из Bing / Yahoo.

Спустя примерно шесть месяцев, в апреле 2007 года, Yahoo, Microsoft и Google (до сих пор) присоединились к поисковой системе по карте сайта через robots.txt, которая называется «автообнаружение карты сайта». Это означало, что даже если вы не отправляли карту сайта отдельным поисковым системам (с помощью традиционного списка), поисковые системы все равно могли найти местоположение карты сайта в файле robots.txt вашего сайта (учитывая, что он был прочитан по умолчанию). поисковыми системами).

(ПРИМЕЧАНИЕ. Отправка файла Sitemap по-прежнему выполняется в большинстве поисковых систем, позволяющих отправлять URL-адреса).

Следовательно, с этого момента файл robots.txt стал важным инструментом (в контексте связи с поисковыми системами), поскольку он позволил, помимо любой формы листинга, открыть путь к роботам индексации поисковых систем, позволяющим исследовать и индексация сайта, с которым он связан.

Отсюда важность Robots.txt и его оптимизация!

Что делает Better robots.txt?

Лучше Robots.txt , среди прочих функций ( Смотри описание ) позволяет, во-первых, определить, действительно ли YOAST SEO установлен на веб-сайте (что мы рекомендуем) и включена ли функция создания файла Sitemap, а затем автоматически добавить URL-адрес индекса Sitemap YOAST (содержащего все карты сайта). в файле robots.txt. Конечно, если вы используете другой плагин SEO (кроме YOAST), то вполне возможно вручную добавить ваши карты сайта, но мы подумали, учитывая успех (до нескольких миллионов загрузок YOAST), что было бы более целесообразно связать его с известным ссылка всего.

Как добавить файл Sitemap в robots.txt может создать разницу?

В своей простейшей форме карта сайта - это файл XML (.xml), в котором перечислены URL-адреса сайта путем интеграции дополнительных метаданных для каждого URL-адреса (дата последнего обновления, частота, с которой он обычно изменяется, и важность по отношению к другим URL-адресам сайт), так что поисковые системы могут более разумно исследовать сайт. Фактически, следовательно, файл Sitemap, как правило, содержит очень ценную информацию для сканеров, это даты последних изменений. Учитывая, что файл robots.txt - это самый первый файл, который читается, когда ваш сайт загружается в браузер, используйте эту возможность, чтобы пригласить сканеры для просмотра ваших карт сайта (и, таким образом, идентифицировать новые страницы или измененные страницы), это гарантия того, что вы наиболее недавний контент будет фактически проиндексирован и отображен в результатах поиска.

Итак, теперь, когда вы знаете больше, как выглядит ваш robots.txt?

Чтобы определить содержимое вашего файла robots.txt (а также посмотреть, существует ли он), просто скопируйте и вставьте URL-адрес вашего сайта (с http: // или https: //) в поле, показанное ниже:

Для сравнения вот наше: https://better-robots.com/robots.txt. Вы видите разницу?

Хотите знать, если ваше агентство знает об этом? Протестируйте их сайт с помощью этого инструмента. Если вы видите, что это не так, наш плагин позволит вам решить эту проблему!