Sitemap.xml: как создать и для чего нужна карта сайта

Что такое карта сайта sitemap.xml

XML-карта сайта — файл с информацией для поисковых систем о тех страницах, которые требуется проиндексировать. Другими словами, карта сайта — полный перечень всех страниц в формате XML, которые открыты для сканирования поисковым роботом. Анализ sitemap позволяет выяснить, почему не индексируется тот или иной контент. Задача sitemap — предоставить поисковикам доступ к содержимому сайта.

Также существуют карты сайта для живых посетителей. Их еще называют HTML-картами. Это каталоги страниц сайта с отображением иерархии. HTML-карта помогает посетителям путешествовать по сайту и легко находить нужные разделы.

XML и HTML – языки разметки, которые часто используются для создания различных структур данных, включая карты сайта.

HTML-карты – уже устаревший и не самый удобный элемент навигации. Сосредоточимся на XML-картах, которые необходимы для правильной индексации страниц сайта. При создании карты сайта важно учитывать корректность структуры, чтобы поисковики могли автоматически интерпретировать все элементы.

Зачем нужна карта сайта sitemap.xml

Подробно о том, зачем необходимы карты сайтов sitemap.xml, можно прочитать в справочниках от Google и «Яндекса». Если сказать вкратце, в sitemap.xml хранится важная для поисковых роботов информация. Это:

1. Список URL страниц сайта, а также их иерархия.
2. Тип опубликованного контента, например, изображения или видео.
3. Информация об изображениях и видео, которые поисковики используют для индексирования сайта и формирования выдачи.
4. Информация о частоте обновления и последнем обновлении конкретной страницы.
5. Сведения о приоритетности страницы.
6. Данные об альтернативных версиях страницы.

Иными словами, карта сайта – навигатор для поисковых систем. Таким образом, карта сайта позволяет ускорить индексацию и оптимизировать работу поисковых систем.

XML-карта и краулинговый бюджет

Краулер (паук) — это поисковый робот, который сканирует страницы сайта и добавляет их в индекс. Краулинговый бюджет — это то количество страниц, которое робот посещает за один раз. Важно учитывать, что для разных сайтов этот бюджет отличается — это может быть несколько десятков или сотен документов. Именно поэтому важно направить краулера по тем страницам, которые имеют значение при продвижении сайта, при этом сделав все необходимое, чтобы он не добрался до некачественных, малоинформативных, а также служебных страниц разделов. С помощью корректно настроенной sitemap можно ограничить сканирование закрытых или технических страниц.

Отсутствие файла sitemap не является серьезной ошибкой. Однако если поисковый бот не найдет файл sitemap.xml, он будет сканировать и добавлять в индекс документы по своему усмотрению, и в таком случае наличие «мусорных», служебных страниц, дублей, страниц с ошибкой 404 в индексе будет существенным препятствием к выходу сайта в топ.

Роботы всех поисковых систем способны самостоятельно обнаружить XML-карту сайта, если она размещена по url-адресу site.com/sitemap.xml, но есть определенные способы донести до поисковиков важную информацию быстрее.

Можно ли обойтись без sitemap.xml

Можно. Поисковые системы считают XML-карту сайта рекомендованным инструментом, но не обязательным. Например, если на сайте нет sitemap.xml, «Яндекс» будет отмечать это в списке возможных, а не критичных или фатальных проблем.

Роботы вполне способны проиндексировать сайт и без sitemap.xml. Но в некоторых ситуациях отсутствие XML-карты может привести к проблемам с индексированием. Пример:

1. На сайте есть страницы, на которые нет ссылок с иных разделов.
2. Сайт очень большой, у него сложная структура.
3. Сайт новый.
4. Многие страницы часто обновляются.
5. Страницы сайта можно разделить на более и менее важные.

Если сайт продвигается в конкурентной нише, корректная карта сайта поможет выделить ценные страницы и улучшить ранжирование. Рекомендация: если у вас коммерческий сайт, от посещаемости которого напрямую зависит успех бизнеса, обязательно создайте и подключите sitemap.xml. Ниже будет подробно описано, как это сделать.

Отличие XML-карты сайта от HTML

Под термином «карта сайта», как мы говорили ранее, понимают 2 вида документов:

1. HTML (веб-страница) — перечень ссылок на имеющиеся страницы сайта. Нужна преимущественно для навигации пользователей, как правило, оформлена как древовидная структура, имеет адрес вида site.com/sitemap/ или site.com/karta-saita/ и т.п.
2. XML — файл в корневой папке сайта, который включает список URL с информацией об их последнем обновлении и приоритете в индексировании. Необходим для поисковых роботов и обязательно должен быть доступен по адресу site.com/sitemap.xml.

Синтаксис sitemap.xml

Первой строкой в файле sitemap указывается ссылка на пространство имен языка XML (описание стандарта, на основе которого составлен файл). Строка всегда стандартная и выглядит таким образом:

Первая строка

XML-карта сайта должна иметь кодировку UTF-8 и содержать такие теги:

• <urlset> — открывающий/закрывающий тег, в который заключаются все ссылки файла sitemap, указывает стандарт текущего протокола;

Тег urlset

• <url> — содержит в себе всю необходимую для робота информацию о каждой ссылке: URL, с какой периодичностью обновляется информация по этому адресу, дату последнего обновления и приоритет в индексировании;

Тег url

• <loc> — ограничивает конкретный URL;

Тег loc

• <changefreq> — задает частоту обновления информации на странице: always, hourly, daily, weekly, monthly, yearly, never (всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно, никогда). Благодаря этому тегу робот может определить, насколько часто меняется содержание в документе и нужно ли его сканировать чаще. Тег необязателен и сейчас используется очень редко.

Тег changefreq

• <lastmod> — указывает на дату последнего обновления страницы. Так робот определяет, изменилось ли что-нибудь с момента его предыдущего посещения.

Тег lastmod

• <priority> — дает роботам рекомендацию о приоритете индексирования. Главная страница всегда имеет <priority> 1, а остальные можно расставить самостоятельно в зависимости от предпочтений оптимизатора (например, 0,8, 0,6 и так далее до 0,1).

Тег priority

Рекомендация по количеству ссылок в файле sitemap.xml — не более 50 тысяч. Если количество страниц сайта больше, стоит сделать несколько карт, а в начале файла site.com/sitemap.xml указать на них ссылки.

Как создать файл sitemap.xml

Создать карту сайта можно двумя способами. Первый – добавить sitemap.xml можно с помощью внешнего онлайн-генератора. Второй – потребуется модуль или внутренний генератор для конкретной CMS. Рассмотрим оба способа.

Требования к файлу

1. У Яндекса возможна поддержка карты сайта только в XML-формате.
2. Кодировка файла должна быть UTF-8.
3. Файл не должен превышать 50 мегабайт.
4. Он должен содержать не более 50000 страниц.
5. Файлов может быть несколько: если не удается уложиться в лимит на 50000 страниц, то стоит создать дополнительные карты. Ссылки на них указываются в основном файле
6. Воспользоваться автоматическим генератором можно, если проект не содержит большого объема страниц. Сайты с высокой посещаемостью и активными продажами требуют актуальной карты сайта.

Как создать карту сайта с помощью онлайн-генераторов

Этот способ хорош тем, что вам не приходится привязываться к определенному движку. С помощью онлайн-генераторов можно сделать sitemap.xml для сайта на любой CMS или для статичного сайта на HTML.

У этого способа есть минус. Он подходит лишь для сайтов с ограниченным количеством страниц, например, для сайтов-визиток. Если на сайте пять страниц, а новые создавать не планируется, сделать sitemap.xml можно один раз с помощью бесплатного внешнего сервиса.

Обратите внимание на размер итогового файла и его соответствие требованиям.

Если на сайте регулярно появляются новые страницы, бесплатные внешние программы для генерации не подойдут. Они не включают в карту сайта новые URL, поэтому sitemap.xml теряет актуальность.

Вот несколько генераторов карты сайта:

https://www.xml-sitemaps.com/
http://www.mysitemapgenerator.com/ru/
https://xmlsitemapgenerator.org/
http://www.web-site-map.com/

Следует указать главную страницу и запустите процесс. Полученный файл можно загрузить на сервер, в корневую директорию на сайте. Это делают с помощью FTP-клиента или файлового менеджера используемого хостинга

Генерация sitemap.xml при помощи паука Screaming Frog

Карту сайта можно получить из выгрузки пауком Screaming Frog SEO Spider. После парсинга страниц сайта удастся получить необходимый список страниц. В пауке есть функция генерации карты сайта в XML формате на основе полученных данных.

Единственный минус такого подхода: отсутствие автоматизированного обновления карты, т.е. при добавлении новых страниц на сайт потребуется вносить ссылки на них вручную. В идеале CMS вашего сайта должна автоматически добавлять каждую новую страницу в xml файл.

Подробнее про паука и сам процесс генерации карты вы можете прочитать в другой статье.

Как создать sitemap.xml при помощи CMS

Этот способ создания карты сайта удобнее по сравнению с бесплатными онлайн-генераторами. Он обеспечивает дополнительную гибкость: вебмастер может управлять параметрами sitemap.xml. Кроме этого, надстройки автоматически обновляют карту сайта после создания новых страниц и уведомляют об этом поисковые системы.

Если ваш сайт работает на WordPress, обратите внимание на следующие популярные плагины, которые можно просто установить:

• Google XML Sitemaps;
• Yoast SEO.

Это не единственные плагины для WP, с помощью которого создаются карты сайта. Например, в комбайне All in One SEO есть модуль «Sitemaps».

Функция создания Sitemap в WP через плагин All in ONE SEO

Встроенная в 1C-Битрикс функция

Настройка sitemap.xml доступна в разделе «Маркетинг» административной панели.

Переход к настройкам карты

Добавьте файл, назовите его, а затем активируйте чекбокс о добавлении ссылки в robots.txt.

Добавьте имя и разрешение на запись в роботс

Во вкладке «Файлы» выберите разделы, которые необходимо предоставить для индексации поисковым роботам:

Определите разделы, которые надо индексировать

То же самое делается во вкладке «Инфоблоки».

Сохраните все изменения и нажмите кнопку «Запустить»:

Завершение настройки

Модули для других CMS

1. Joomla: используйте плагины OSMap (бесплатная версия Free и платная Pro), jSitemap (платное расширение, но предлагает целый набор SEO-инструментов).
2. Drupal: модуль XML Sitemap.
3. Magento: настройте Site Map Configuration.

Выбирайте подходящий способ создания XML-карты сайта и оставляйте указания поисковым роботам, какие страницы им необходимо посетить — это позволит быть уверенным, что поисковый робот проиндексирует все необходимые страницы вовремя.

Как рассказать поисковым роботам про xml карту

Как добавить карту в Google Search Console и «Яндекс.Вебмастер»

Добавить файл sitemap.xml в разделы «Индексирование — Файлы Sitemap» Яндекс.Вебмастера и «Файлы Sitemap» в Google Search Console.

Добавление карты в Вебмастер

Добавление карты в Google Search Console

Яндекс и Google не только проверят добавленный файл, но и в результатах проверки укажут на возможные ошибки.

Указать в robots.txt:

Указать ссылку на файл в директиве sitemap файла robots.txt:

Указываем ссылку на карту в файле роботс.

Подробнее о robots.txt читайте в другой статье сайта

Как использование sitemap.xml влияет на SEO

Само по себе отсутствие файла sitemap.xml не будет считаться главной причиной для понижения сайта в выдаче поиска. Однако важно учитывать тот факт, что поисковый робот в некоторых случаях может не увидеть отдельные страницы сайта, особенно если он имеет тысячи страниц. Карта сайта sitemap.xml помогает поисковым системам корректно и быстро сканировать важные разделы проекта.

Карта сайта sitemap дает возможность ускорить время индексации страниц, а это благоприятно влияет на определение первоисточника документа, что важно в случае, когда кто-то из конкурентов захочет скопировать, например, статью.

Важно в sitemap включать лишь те страницы, которые робот должен проиндексировать. Обязательно исключите из него все технические страницы (в robots.txt), не предназначенные для индексации поисковыми системами, поскольку это может отрицательно сказаться на оптимизации, продвижении и оценке качества сайта.