Sitemap.xml: как создать и для чего нужна карта сайта

Что такое карта сайта sitemap.xml

XML-карта сайта — файл с информацией для поисковых систем о тех страницах, которые требуется проиндексировать. Другими словами, карта сайта — полный перечень всех страниц в формате XML, которые открыты для сканирования поисковым роботом. Анализ карты сайта позволяет выяснить, почему не индексируется тот или иной контент. Задача sitemap — предоставить поисковикам доступ к содержимому сайта.

Также существуют карты сайта для живых посетителей. Их еще называют HTML-картами. Это каталоги страниц сайта с отображением иерархии. HTML-карта помогает посетителям путешествовать по сайту и легко находить нужные страницы.

XML и HTML – языки разметки.

HTML-карты – уже устаревший и не самый удобный элемент навигации. Сосредоточимся на XML-картах, которые необходимы для правильной индексации страниц сайта.

Зачем нужна карта сайта sitemap.xml

Подробно о том, зачем необходимы карты сайтов sitemap.xml, можно прочитать в справочниках от Google и «Яндекса». Если сказать вкратце, в sitemap.xml хранится важная для поисковых роботов информация. Это:

1. Список URL страниц сайта, а также их иерархия.
2. Тип опубликованного контента, например, изображения или видео.
3. Информация об изображениях и видео, которые поисковики используют для индексирования сайта и формирования выдачи.
4. Информация о частоте обновления и последнем обновлении конкретной страницы.
5. Сведения о приоритетности страницы.
6. Данные об альтернативных версиях страницы.

Иными словами, карта сайта – навигатор для поисковых систем.

XML-карта и краулинговый бюджет

Краулер (паук) — это поисковый робот, который сканирует страницы сайта и добавляет их в индекс. Краулинговый бюджет — это то количество страниц, которое робот посещает за один раз. Важно учитывать, что для разных сайтов этот бюджет отличается — это может быть несколько десятков или сотен документов. Именно поэтому важно направить краулера по тем страницам, которые имеют значение при продвижении сайта, при этом сделав все необходимое, чтобы он не добрался до некачественных, малоинформативных, а также служебных страниц.

Отсутствие файла sitemap не является серьезной ошибкой. Однако если поисковый бот не найдет файл sitemap.xml, он будет сканировать и добавлять в индекс документы по своему усмотрению, и в таком случае наличие «мусорных», служебных страниц, дублей, страниц с ошибкой 404 в индексе будет существенным препятствием к выходу сайта в топ.

Роботы всех поисковых систем способны самостоятельно обнаружить XML-карту сайта, если она размещена по url-адресу site.com/sitemap.xml, но есть определенные способы донести до поисковиков важную информацию быстрее.

Можно ли обойтись без sitemap.xml

Можно. Поисковые системы считают XML-карту рекомендованным инструментом, но не обязательным. Например, если на сайте нет sitemap.xml, «Яндекс» будет отмечать это в списке возможных, а не критичных или фатальных проблем.

Роботы вполне способны проиндексировать сайт и без sitemap.xml. Но в некоторых ситуациях отсутствие XML-карты может привести к проблемам с индексированием. Пример:

1. На сайте есть страницы, на которые нет ссылок с иных страниц сайта.
2. Сайт очень большой, у него сложная структура.
3. Сайт новый.
4. Многие страницы часто обновляются.
5. Страницы сайта можно разделить на более и менее важные.

Рекомендация: если у вас коммерческий сайт, от посещаемости которого напрямую зависит успех бизнеса, обязательно создайте и подключите sitemap.xml. Ниже будет подробно описано, как это сделать.

Отличие XML-карты сайта от HTML

Под термином «карта сайта», как мы говорили ранее, понимают 2 вида документов:

1. HTML (веб-страница) — перечень ссылок на имеющиеся страницы сайта. Нужна преимущественно для навигации пользователей, как правило, оформлена как древовидная структура, имеет адрес вида site.com/sitemap/ или site.com/karta-saita/ и т.п.
2. XML — файл в корневой папке сайта, который включает список URL с информацией об их последнем обновлении и приоритете в индексировании. Необходим для поисковых роботов и обязательно должен быть доступен по адресу site.com/sitemap.xml.

Синтаксис sitemap.xml

Первой строкой в файле sitemap указывается ссылка на пространство имен языка XML (описание стандарта, на основе которого составлен файл). Строка всегда стандартная и выглядит таким образом:

Первая строка

XML-карта сайта должна иметь кодировку UTF-8 и содержать такие теги:

• <urlset> — открывающий/закрывающий тег, в который заключаются все ссылки файла sitemap, указывает стандарт текущего протокола;

Тег urlset

• <url> — содержит в себе всю необходимую для робота информацию о каждой ссылке: URL, с какой периодичностью обновляется информация по этому адресу, дату последнего обновления и приоритет в индексировании;

Тег url

• <loc> — ограничивает конкретный URL;

Тег loc

• <changefreq> — задает частоту обновления информации на странице: always, hourly, daily, weekly, monthly, yearly, never (всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно, никогда). Благодаря этому тегу робот может определить, насколько часто меняется содержание в документе и нужно ли его сканировать чаще. Тег необязателен и сейчас используется очень редко.

Тег changefreq

• <lastmod> — указывает на дату последнего обновления страницы. Так робот определяет, изменилось ли что-нибудь с момента его предыдущего посещения.

Тег lastmod

• <priority> — дает роботам рекомендацию о приоритете индексирования. Главная страница всегда имеет <priority> 1, а остальные можно расставить самостоятельно в зависимости от предпочтений оптимизатора (например, 0,8, 0,6 и так далее до 0,1).

Тег priority

Рекомендация по количеству ссылок в файле sitemap.xml — не более 50 тысяч. Если количество страниц сайта больше, стоит сделать несколько карт, а в начале файла site.com/sitemap.xml указать на них ссылки.

Как создать файл sitemap.xml

Создать карту сайта можно двумя способами. Первый – сделать sitemap.xml можно с помощью внешнего онлайн-генератора. Второй – потребуется модуль или внутренний генератор для конкретной CMS. Рассмотрим оба способа.

Требования к файлу

1. У Яндекса возможна поддержка карты сайта только в XML-формате.
2. Кодировка файла должна быть UTF-8.
3. Файл не должен превышать 50 мегабайт.
4. Он должен содержать не более 50000 страниц.
5. Файлов может быть несколько: если не удается уложиться в лимит на 50000 страниц, то стоит создать дополнительные карты. Ссылки на них указываются в основном файле

Как создать карту сайта с помощью онлайн-генераторов

Этот способ хорош тем, что вам не приходится привязываться к определенному движку. С помощью онлайн-генераторов можно сделать sitemap.xml для сайта на любой CMS или для статичного сайта на HTML.

У этого способа есть минус. Он подходит лишь для сайтов с ограниченным количеством страниц, например, для сайтов-визиток. Если на сайте пять страниц, а новые создавать не планируется, сделать sitemap.xml можно один раз с помощью бесплатного внешнего сервиса.

Если на сайте регулярно появляются новые страницы, бесплатные внешние программы для генерации не подойдут. Они не включают в карту сайта новые URL, поэтому sitemap.xml теряет актуальность.

Вот несколько генераторов карты сайта:

https://www.xml-sitemaps.com/
http://www.mysitemapgenerator.com/ru/
https://xmlsitemapgenerator.org/
http://www.web-site-map.com/

Следует указать главную страницу и запустите процесс. Полученный файл можно загрузить на сервер, в корневую директорию на сайте. Это делают с помощью FTP-клиента или файлового менеджера используемого хостинга

Генерация sitemap.xml при помощи паука Screaming Frog

Карту сайта можно получить из выгрузки пауком Screaming Frog SEO Spider. После парсинга страниц сайта удастся получить необходимый список страниц. В пауке есть функция генерации карты сайта в XML формате на основе полученных данных.

Единственный минус такого подхода: отсутствие автоматизированного генерирования карты, т.е. при добавлении новых страниц на сайт потребуется вносить ссылки на них вручную. В идеале CMS вашего сайта должна добавлять каждую новую страницу в xml файл автоматически.

Подробнее про паука и сам процесс генерации карты вы можете прочитать в другой статье.

Как создать sitemap.xml при помощи CMS

Этот способ создания карты сайта удобнее по сравнению с бесплатными онлайн-генераторами. Он обеспечивает дополнительную гибкость: вебмастер может управлять параметрами sitemap.xml. Кроме этого, надстройки автоматически обновляют карту сайта после создания новых страниц и уведомляют об этом поисковые системы.

Если ваш сайт работает на WordPress, обратите внимание на следующие популярные плагины, которые можно просто установить:

• Google XML Sitemaps;
• Yoast SEO.

Это не единственные плагины для WP, с помощью которого создаются карты сайта. Например, в комбайне All in One SEO есть модуль «Sitemaps».

Функция создания Sitemap в WP через плагин All in ONE SEO

Встроенная в 1C-Битрикс функция

Настройка sitemap.xml доступна в разделе «Маркетинг» административной панели.

Переход к настройкам карты

Добавьте файл, назовите его, а затем активируйте чекбокс о добавлении ссылки в robots.txt.

Добавьте имя и разрешение на запись в роботс

Во вкладке «Файлы» выберите разделы, которые необходимо предоставить для индексации поисковым роботам:

Определите разделы, которые надо индексировать

То же самое делается во вкладке «Инфоблоки».

Сохраните все изменения и нажмите кнопку «Запустить»:

Завершение настройки

Модули для других CMS

1. Joomla: используйте плагины OSMap (бесплатная версия Free и платная Pro), jSitemap (платное расширение, но предлагает целый набор SEO-инструментов).
2. Drupal: модуль XML Sitemap.
3. Magento: настройте Site Map Configuration.

Выбирайте подходящий способ создания XML-карты сайта и оставляйте указания поисковым роботам, какие страницы им необходимо посетить — это позволит быть уверенным, что поисковый робот проиндексирует все необходимые страницы вовремя.

Как рассказать поисковым роботам про xml карту

Как добавить карту в Google Search Console и «Яндекс.Вебмастер»

Добавить файл sitemap.xml в разделы «Индексирование — Файлы Sitemap» Яндекс.Вебмастера и «Файлы Sitemap» в Google Search Console.

Добавление карты в Вебмастер

Добавление карты в Google Search Console

Яндекс и Google не только проверят добавленный файл, но и в результатах проверки укажут на возможные ошибки.

Указать в robots.txt:

Указать ссылку на файл в директиве sitemap файла robots.txt:

Указываем ссылку на карту в файле роботс.

Подробнее о robots.txt читайте в другой статье сайта

Как использование sitemap.xml влияет на SEO

Само по себе отсутствие файла sitemap.xml не будет считаться главной причиной для понижения сайта в выдаче поиска. Однако важно учитывать тот факт, что поисковый робот в некоторых случаях может не увидеть отдельные страницы сайта, особенно если он имеет тысячи страниц.

Карта сайта sitemap дает возможность ускорить время индексации страниц, а это благоприятно влияет на определение первоисточника документа, что важно в случае, когда кто-то из конкурентов захочет скопировать, например, статью.

Важно в карту сайта включать лишь те страницы, которые робот должен проиндексировать. Обязательно исключите из него все технические страницы (в robots.txt), не предназначенные для индексации поисковыми системами, поскольку это может отрицательно сказаться на оптимизации и продвижении сайта.