для чего нужна карта сайта
Что такое sitemap.xml и чем этот файл помогает в продвижении
А как выглядит sitemap.xml, мы сейчас подробно разберем.
Предназначение sitemap.xml
Файл Sitemap расположен в корне сайта и содержит данные о его страницах. В карте сайта должны быть ссылки на все страницы сайта. Поисковые роботы Яндекса и Гугла заходят на ваш сайт и гуляют по нему до тех пор, пока не кончится рабочий день. Рабочий день у робота — это краулинговый бюджет. То есть объем страниц и файлов, которые робот может изучить за определенный период времени. Чтобы не задерживать робота и в то же время улучшить индексацию, помогает карта сайта.
Существует еще и HTML-карта сайта, но она нужна пользователям ресурса, а не роботам. Поскольку данный формат устарел, говорить о нем мы не будем. Просто знайте, что есть еще и HTML-карта, но ее путайте ее с файлом sitemap.xml.
В каких случаях нужна карта сайта
Несложно догадаться, что одностраничным сайтам sitemap.xml не нужен. А вот кому он точно пригодится, так это:
Если у робота перед глазами будет карта, он без проблем доберется до GoPro 7, а также до других мелких аксессуаров.
Требования к файлу
Яндекс рекомендует создавать карту сайта в XML-формате. Также поддерживается и формат TXT. В txt-формате карта сайта сообщает только адреса. Она выглядит следующим образом:
Но я прислушаюсь к рекомендациям Яндекса и создам файл в формате XML.
В формате XML вы можете указать роботу:
Пример файла в формате XML:
Кодировка файла должна быть UTF-8. Файл не должен превышать 50 мегабайт и содержать более 50000 страниц. Файлов может быть несколько.
Как sitemap.xml влияет на SEO
Я уже говорил, в каких случаях необходима карта сайта. Но что если у вас небольшой сайт, страниц на 20, с хлебными крошками и неглубокой вложенностью? Если вы не создадите файл, то после добавления сайта в Google Search Console и Яндекс.Вебмастер вы увидите ошибку, что данного файла не хватает. Из-за этой ошибки поисковики могут пессимизировать ваш сайт. Как мы знаем, чем меньше ошибок на сайте, тем он успешнее в продвижении. Не стоит дразнить поисковики.
Создаем карту сайта быстро и бесплатно
В создании карты сайта нет никаких сложностей. Вбиваем в поисковой строке «сгенерировать сайтмап » и переходим в любой онлайн-генератор. Например, MySiteMapGenerator.
Вбиваем адрес сайта и переходим к созданию файла. Вводим капчу и ожидаем. До 500 страниц – создание бесплатно.
Затем скачиваем файл, переименовываем его в sitemap.xml и закидываем в корень сайта. Осталось только сообщить поисковикам, что на вашем сайте появилась карта.
Сообщаем поисковикам, что на сайте есть sitemap.xml
В Яндекс.Вебмастере переходим в « Индексирование – Файлы Sitemap » и добавляем ссылку. Если вы добавили сайтмап в корень сайта, то ваша ссылка будет похожа на мою:
То же самое делаем в Google Search Console.
Хочу добавить, что существуют плагины для CMS, которые позволяют один раз создать данный файл и навсегда о нем забыть. Установив такие плагины, вам не придется время от времени обновлять карту сайта, потому что это будет происходить автоматически.
Как создать карту сайта (sitemap.xml)
Зачем нужна карта сайта?
XML-карта сайта нужна для быстрой индексации и переиндексации страниц поисковыми системами. С одной стороны, это не обязательно. Да, поисковой робот может составить список страниц для индексации по внешним ссылкам, а также переходя по меню, внутренним ссылкам и так далее.
Используя sitemap.xml, мы можем помочь поисковому роботу, сообщим, какие страницы нужно проиндексировать. Таким образом, мы можем лучше контролировать процесс, подсказать поисковым системам, какие именно страницы точно должны попасть в индекс. А также это ускорит процесс индексации.
Кроме этого, в sitemap.xml можно указать приоритет страниц, указав тем самым, какие страницы поисковая система должна проиндексировать в первую очередь.
А также дату обновления страницы. Это позволяет подсказать поисковой системе, нужно ли переиндексировать страницу, которую ранее робот уже посещал, мог ли контент на странице обновиться.
Важность xml-карты зависит от вашего портала. Если это сайт-визитка примерно на 10-20 страниц, то у поисковых систем не будет проблем с полной индексацией. Но в тоже время, если мы говорим о громадном интернет-магазине, критически важно, чтобы поисковая система узнала о всех наших каталогах, страницах с товарами и так далее. Поэтому нужно помочь им полностью и корректно проиндексировать наш сайт.
Но не забывайте самое главное:
Поисковые системы могут не точно следовать содержанию XML-карты. Мы просто советуем проиндексировать страницы, указанные в этом файле. Поисковые систем могут как воспользоваться этим, так и проигнорировать.
Как создать карту сайта sitemap.xml
Создать XML-карту сайта можно множеством способов, и не пугайтесь, ни один из них не требует навыков программирования. Мы разберем каждый из них ниже.
Среди них нет лучшего или худшего. Выбирайте подходящий способ, в зависимости от ситуации, на какой платформе сделан сайт.
Создание sitemap.xml с помощью модулей для CMS
Если вы используете какую-либо популярную CMS, то для нее уже есть готовые плагины. Достаточно просто установить нужный плагин и настроить его работу.
Создание карты сайта для WordPress
Плагин Google XML Sitemaps, который поможет создать карту url адресов для сайтов на Вордпресс можно скачать по ссылке с официального репозитория WordPress (https://ru.wordpress.org/plugins/google-sitemap-generator/). Либо через поиск плагинов в самом WordPress:
Поиск плагина в репозитории через админку WordPress
Обратите внимание, что в поиске нужно написать «Auctollo XML Sitemaps», иначе поиск будет выдавать вам другие плагины с похожим функционалом.
Настройки плагина достаточно простые, но на всякий случай, разберем и их.
В первую очередь, включаем уведомление Google о новых страницах, а также добавление ссылки на sitemap.xml в файл robots.txt.
Также советую включить и уведомления для поисковой системы Bing. Особой популярностью в России она не пользуется, но почему бы не добавить, если мы все равно ничего не теряем.
Не забудем установить сжатие:
Настройки базовых параметров плагина XML Sitemap
Далее нужно настроить, какие типы страниц должны отображаться в sitemap.xml.
Это определяется индивидуально для каждого сайта. Здесь нужно выбрать те категории, страницы которых мы планируем продвигать в поисковых системах. Скорее всего, это точно будут:
А остальные категории под вопросом. Все зависит от того, находится ли на них уникальный контент, который вы собираетесь продвигать через SEO. Например, если у вас на странице меток присутствует уникальный контент, то отмечайте и эту категорию тоже.
Но самый распространенный вариант заполнения этого блока, такой:
Кроме этого, мы можем более точно указать, какие страницы должны попадать в индекс поисковых систем, путем исключения неподходящих страниц или категорий.
Для этого используется следующий блок настроек:
Таким образом, мы можем добавить все статьи в карту сайта, но исключить статьи категории «Без рубрики», или конкретные посты, указав их ID через запятую в нижнем блоке под скриншотами.
Помимо этого, мы можем указать, как часто обновляются страницы. Чтобы поисковые системы понимали, нужна ли переиндексация страницам. Но тут важно учитывать, что это скорее совет, а не требования. И поисковой бот может проигнорировать указанные инструкции. Поэтому этот блок можно оставить без внимания.
Настройки частоты обновления страниц по-умолчанию
Последний важный блок настроек, это уровень приоритета страниц. Как нетрудно догадаться, через него мы устанавливаем приоритет для обхода поисковым роботом, на какие страницы он первым делом должен обратить внимание.
Настройки с выбором приоритета страниц
Лучше всего его не изменять, если боитесь ошибиться в приоритете. Но в особых ситуациях он может пригодиться. Например, если вам срочно нужно переиндексировать страницы статей, то можно им поставить наивысший приоритет.
Главное, не забыть потом вернуть стандартные настройки.
Создание карты сайта для Joomla
Плагин OSMap по аналогии с WordPress, можно скачать с официального репозитория компонентов Joomla (https://extensions.joomla.org/extension/osmap/). Советую использовать именно его, так как он бесплатный, но при этом поддерживается разработчиком (последнее обновление 22 февраля 2021, на момент написания статьи) и имеет высокий рейтинг.
Подробно его разбирать нет необходимости, т.к. все настройки одинаковые для подобных плагинов, а мы их крайне подробно уже разобрали выше.
Создание sitemap.xml с помощью онлайн-сервисов
Главное отличие онлайн-генераторов xml-карты сайта от плагинов для CMS в том, что мы создаем ее вручную, и автоматически она обновляться не будет. Более того, мы получаем sitemap.xml, которую еще нужно самостоятельно загрузить на сервер.
Но в том случае, если на нашем сайте не установлена CMS, а добавить sitemap.xml необходимо, онлайн-генератор будет отличным решением. К тому же, если новые страницы появляются не часто, а их кол-во не превышает 1000, то этого вполне хватит.
Если же сайт часто обновляется, имеет большое кол-во страниц, критически важно регулярно обновлять sitemap.xml, то нужно задуматься о переезде на CMS.
Но нужно учитывать, что хоть большинство онлайн-сервисов по генерации карт бесплатные, у них либо есть лимит на кол-во страниц, либо по достижению определенного лимита, дальнейшее сканирование будет стоить денег за каждую дополнительную страницу.
Онлайн-генераторов XML-карт сайтов довольно много, самые популярные из них:
Значимой разницы между ними нет, все они работают по одному принципу — как и поисковой бот, сканируют сайт, переходя по его ссылкам.
Это тоже можно записать в список минусов, ведь плагин, установленный на CMS, знает все страницы, и точно добавит их в карту. А краулер сервера может и не найти какую-либо страницу, если на нее не будет ссылки.
Но это не особо критичная проблема, учитывая, что если на вашем сайте нет ссылки на важную страницу, то это срочно нужно исправлять.
Кроме online-генераторов XML-карты, можно воспользоваться сервисами по SEO-аудиту сайта. У некоторых их них в качестве одного из доступных инструментов есть генератор XML-карты. Например, у Сайт Репорта (https://tools.saitreport.ru/xml-sitemap-generator).
Создание sitemap.xml с помощью софта
Кроме уже рассмотренных плагинов и онлайн-сервисов, есть еще один тип инструментов, который может решить нашу задачу. Это софт для компьютеров, использующийся главным образом SEO-специалистами. Такие программы позволяют просканировать сайт, собрать информацию о страницах, заголовках, мета-данных и ошибках.
Но так как они сканируют все страницы, то и функционал создания sitemap.xml в них тоже заложен. Есть как бесплатные, так и платные программы. Далее о них и поговорим.
Создание sitemap.xml в Xenu
Полностью бесплатная программа. Основное ее назначение — проверка сайта на битые гиперссылки. Но нас сейчас интересует именно создание карты сайта.
Для этого в верхнем меню программы выбираем File, затем Check URL:
В появившемся окне вписываем URL-адрес и нажимаем OK. Остальные окна заполнять не нужно.
После того, как проверка завершится, снова открываем меню File, только теперь нам нужен пункт Create Google Sitemap file:
Задаем файлу название sitemap.xml и сохраняем. Как подключить такую карту к сайту, рассмотрим ниже, после обзора всех программ.
Создание sitemap.xml в Screaming Frog
Более профессиональная программа, которая предоставляет значительно больше возможностей, чем Xenu. Поэтому она уже условно-бесплатная. Вы можете пользоваться ей бесплатно, но только после сканирования 500 ссылок с одного сайта она останавливает парсинг, а продолжит только после покупки лицензии. Учитывайте, что это не 500 страниц, а именно ссылок. На изображения, скрипты и т.д.
Если сайт небольшой, то этого объема хватит для работы. Платная же версия безлимитна, но стоит £149.00 (фунтов, то есть где-то 15 500 рублей) в год.
Процесс генерации XML-карты в Screaming Frog почти не отличается от Xenu. Вверху посередине программы строка для указания URL-адреса:
Вводим и нажимаем на Start и ждем окончания парсинга. После этого в верхнем меню выбираем пункт Advanced Export, затем XML Sitemap.
И таким же способом сохраняем файл у себя на компьютере.
Создание sitemap.xml в Comparser
Как и Screaming Frog, Comparser — это программа, которой пользуются SEO-специалисты для профессиональных отчетов, и также является условно-бесплатной. Бесплатная версия ограничена 150 страницами сайта, после чего останавливает парсинг и требует оплатить полную версию.
При запуске, Comparser предложит на выбор купить лицензию, или запустить демо-версию. Выбираем демо-версию:
Далее действуем уже по известному сценарию: указываем URL-адрес и скачиваем карту сайта. Для этого нажимаем на кнопку Запустить:
В появившемся окне указываем URL-адрес:
Также можем выбрать более точные настройки для парсинга. Рекомендую указать галочки как на скриншоте, чтобы вписаться в лимит 150 страниц. Чтобы не тратить лимит на внешние ссылки, и закрытые в robots от индексирования внутренние.
После этого выбираем в верхнем меню пункт Sitemap, и далее Создать Sitemap.xml:
Подробных настроек Comparser нам не предложить, далее просто скачаем файл с sitemap.xml.
Подключение XML-карты к сайту
Если мы создаем sitemap.xml через плагин для CMS, то всю работу за нас делает сам плагин, и карту загружает, и регулярно обновляет ее. Но при использовании других способов создания XML-карты сайта, нам это нужно будет сделать самостоятельно.
Загрузка sitemap.xml на сервер
Для этого понадобится любой менеджер загрузки файлов на сервер (например, Filezilla), либо доступы к хостингу. Используя любой из этих способов, нам нужно загрузить карту в корень. Чтобы она была доступна по адресу site.ru/sitemap.xml
Добавление ссылки на sitemap.xml в robots.txt
Кроме этого, необходимо добавить в файл robots.txt директиву о том, где находится sitemap.xml.
Добавляем строку «Sitemap: https://доменсайта.ru/sitemap.xml» в конец файла robots.txt
Пример нашего файла robotx.txt:
Добавление sitemap.xml в поисковые системы
Основные действия, которые были необходимы, мы уже сделали. Карта сайта в любом случае будет просканирована поисковыми системами. Но мы можем им помочь, а также ускорим тем самым процесс индексации.
Добавление sitemap.xml в панели вебмастера Yandex
Переходим в кабинет вебмастера в Яндексе по адресу https://webmaster.yandex.ru/. Нас интересует блок с меню слева, а именно Индексирование, Файлы Sitemap:
На открывшейся странице будет только одна форма с добавлением карты sitemap:
Боковое меню Яндекс.Вебмастера
После этого остается только положиться на Яндекс и ждать индексации страниц. Сам Яндекс на странице сообщает, что это может занять 1-2 недели.
Добавление sitemap в панели вебмастера Google
Работа с панелью вебмастера от Google не особо отличается. Все также обращаемся к боковому меню, но на этот раз ищем пункт «Файлы Sitemap»:
Аналогично Яндекс, по середине страницы будет располагаться форма для отправки URL вашего sitemap:
Помимо этого, Google предлагает на этой же странице ознакомиться с информацией по обработке файла, а также выведет ошибки, если они присутствуют в файле.
Какой способ создания xml-карты сайта лучше выбрать?
В этой статье рассмотрено несколько способов, и после их детального разбора, обсудим, чем они отличаются, и какой из них лучше.
Через плагин
Преимущества: обновляется автоматически, подробные настройки, не нужно вручную загружать сайт
Недостатки: сайт обязательно должен работать на CMS, чтобы можно было воспользоваться этим способом
Через онлайн-генератор
Преимущества: можно использовать на сайте, даже если нет CMS
Недостатки: ограничение на кол-во страниц, либо доп. оплата страниц, онлайн-сервис в нужный момент может быть недоступен
Через программу
Преимущества: можно использовать на сайте, даже если нет CMS, работает на вашем компьютере, а значит нет зависимости от сайта сервиса
Недостатки: ограничения на кол-во страниц, либо платно
Единственно верного и оптимального варианта нет, выбирайте способ в зависимости от вашей ситуации. Если сайт работает на CMS, однозначно лучше использовать плагин для этой CMS.
Если же CMS у сайта нет, либо она самописная, придется выбирать между другими способами. Если есть платная версия, которой пользуются SEO-шники, лучше выбрать ее. Либо делать выбор между софтом и онлайн-сервисами. Если боитесь зависеть от доступности онлайн-генераторов, переходите на софт.
Что такое карта сайта?
Карта сайта — отдельная страница либо файл, где перечислены все разделы, подразделы, статьи. Напоминает каталог, в котором зафиксированы все страницы сайта со ссылками на эти самые статьи. Если сайт статичный, с небольшим количеством страниц и малой вложенностью, проблем с индексацией не возникнет. Можно обойтись и без карты.
А вот если у нас крупный интернет-магазин, где вложенность категорий может достигать пяти, важно помочь поисковым ботам разобраться в структуре и упростить процесс индексации.
Для чего нужна карта сайта? XML или HTML: какая карта лучше?
Раньше карта сайта в формате html использовалась для посетителей, чтобы облегчить им поиск нужной информации. В настоящее время в первую очередь она нужна для поисковых ботов, чтобы сообщить им о структуре сайта и упростить индексацию ресурса, если невозможно создать отдельную xml-карту.
Если структура сайта построена правильно, сайт удобен с точки зрения юзабилити, простые пользователи, как правило, не будут использовать html-карту для навигации. Все страницы, товары, статьи из блога и т.д. должны быть доступны из меню либо через поиск. Посетитель должен за несколько кликов сам находить нужную страницу, не используя для этого отдельную карту.
Основные разделы меню сайта важно вынести в подвал. Это упростит навигацию для обычных пользователей и ускорит индексацию сайта. Поисковый бот с главной страницы получит ссылки на основные разделы меню и проиндексирует их в первую очередь.
В идеальном случае пользователь должен за пару кликов попасть на любую страницу сайта. Структура вложенности должна быть понятна как для пользователей, так и для поисковых ботов. Не используйте большую вложенность страниц. Рекомендуемый параметр вложенности 3-4. Если вложенность сайта больше, есть шанс что страницы будут индексироваться очень долго, а живые пользователи на них так никогда и не попадут.
Для облегчения навигации рекомендуем установить на сайт хлебные крошки с микроразметкой. Поисковые боты видят, как связаны страницы между собой, что облегчает понимание общей структуры сайта.
Если сомневаетесь, удобно ли пользоваться вашим сайтом — пишите нам, дадим пару рекомендаций бесплатно 🙂
Карта сайта в формате xml необходима для поисковых систем — чтобы поисковый робот увидел все ссылки, которые есть на сайте и быстрее индексировал ресурс. Бот видит структуру сайта, вложенность, конкретные адреса страниц и изображений. Все это упрощает индексацию.
С помощью файла Sitemap вы можете сообщить Яндексу, Google и другим поисковикам какие страницы вашего сайта нужно индексировать, как часто обновляется информация на сайте, а также индексирование каких страниц наиболее важно.
Формат xml разберем позднее, сначала попробуем разобраться с форматом html.
Карта сайта HTML: 6 рекомендаций для вебмастеров
Соблюдайте эти 6 правил, и карта сайта станет отличным навигатором для поисковых ботов и посетителей.
Карта сайта sitemap.xml: зачем нужна и как ее создать для своего сайта.
Карта сайта XML – это файл, размещенный в корневой директории сайта с информацией для поисковых систем (таких как Яндекс, Google, Rambler, Bing и других) о страницах вашего сайта. Этот файл нужен, чтобы поисковым системам было легче индексировать ваш сайт.
Как работает sitemap.xml?
Заходя на сайт, поисковый робот, прежде всего, читает инструкции в файле robots.txt о том, как следует индексировать сайт. И если в нём указать, что есть карта сайта sitemap.xml, то робот перейдет по указанному адресу, где перечислены URL-адреса всех страниц сайта.
Перед созданием xml карты следует подумать, какие адреса можно передавать поисковым ботам, а какие нет. В карте не стоит размещать адреса служебных страниц: вход в админ. панель сайта, страницу поиска, страницы фильтрации, регистрации, авторизации.
Если страница создана, но контент на ней отсутствует, лучше пока не указывать ее в карте сайта.
В карте сайта допускается размещение не более 50 000 ссылок. Если страниц больше, xml карту следует разбить на несколько частей.
XML файл карты должен содержать кодировку UTF-8. Сама карта выглядит следующим образом:
Для передачи информации поисковым ботам используются следующие элементы:
Содержимое карты сайта является только рекомендацией для поискового бота. Параметры индексации могут игнорироваться поисковой системой. Не забывайте об этом.
Очень важно следить за актуальностью карты сайта. Если это технически возможно, карта сайта должна быть автоматически обновляемой. Если такой возможности нет, не забывайте вручную добавлять все новые страницы сайта. Иначе весь смысл карты сайта теряется. Бот не будет знать о появлении новых страниц на сайте, что существенно замедлит индексацию в поисковиках. Трафик на такие страницы будет расти очень медленно.
После создания адрес карты сайта следует сообщить поисковому боту. Адрес указываем в файле robots.txt, директива sitemap.
User-agent: Yandex
Allow: /
Sitemap: http://mysite.ru/my_sitemaps.xml
Вот так карта сайта sitemap.XML облегчит работу поисковику и обеспечит качественную индексацию вашему сайту.
В большинстве современных систем управления сайтом xml карта формируются стандартными инструментами CMS.
В Bitrix карта сайта настраивается в разделе Сервисы — Поисковая оптимизация — Настройки sitemap.xml
В Настройках следует задать протокол для адресов страниц — http/https. Если на сайте настроено SSL-шифрование, обязательно выбираем https — адреса страниц в карте сайта должны соответствовать основному протоколу.
Далее в разделе Файлы выбираем блоки, которые должны быть проиндексированы и размещены в XML карте. Исключаем все служебные страницы.
Вкладка Инфоблоки отвечает за разделы инфоблоков, доступных для индексации. Если в инфоблоке часто появляются новые страницы, используйте опцию Автогенерации. Карта сайта будет автоматически обновляться при размещении новой страницы в разделе.
В OpenCart переходим в раздел Каналы продвижения — Google Sitemap. После активации модуля карта сайта будет создана автоматически. По умолчанию карту будет автообновляемой. Как правило, дополнительных настроек не требуется.
Для WordPress рекомендуем использовать плагин Google XML Sitemaps, либо Yoast SEO, All in WP SEO. Установите плагин обычным способом, используя функцию Плагины — Добавить новый.
После установки плагина переходим в Настройки — XML-Sitemap.
Оптимальные настройки Google XML Sitemaps для WordPress выглядят следующим образом:
В Joomla чаще всего используются плагины Xmap, OSMap, JL Sitemap. Большинству простых небольших сайтов подойдёт бесплатная версия OSMap.
После установки компонента он появится в основном меню сайта в разделе «Компоненты». Переходим во вкладку Компоненты>>>OSMap и на карте сайта Default кликаем на значок в столбце «Edit Links». Плагин OSMap просканирует ваш сайт и создаст карту. Посмотреть можно через ссылки столбца «Sitemap Links», на той же вкладке.
Если используется нестандартная CMS, либо нет возможности подключения плагинов, рекомендуем использовать сторонние сервисы для создания карты сайта.
Как создать карту на xml-sitemaps.com:
Копируем адрес сайта в поле:
После завершения сканирования переходим сюда:
Нажимаем скачать карту сайта.
Перед тем как загрузить файл на сервер рекомендуем проверить и удалить все ненужные для индексации страницы. Редактировать xml карту можно с помощью Блокнота.
Нажимаем правовой кнопкой на скаченный файл с картой Открыть с помощью — Блокнот.
Создание карты с помощью программы ComparseR:
Запускаем сканирование сайта. Программа проанализирует сайт, найдет все страницы и покажет их в специальном окне.
После завершения сканирования переходим в пункт Sitemap — Создать Sitemap.xml
После чего полученный файл sitemap.xml загружаем на сервер в корень сайта.
Размещение карты сайта в вебмастерах Яндекс и Google
После создания файла с картой сайта его важно загрузить в Вебмастер.
В Яндекс.Вебмастере переходим в раздел Индексирование — Файлы Sitemap, указываем адрес карты сайта, нажимаем «Добавить». Для обработки файла потребуется некоторое время.
После индексации рекомендую проверить файл на ошибки.
В Google Search Console раздел Индекс — Файлы Sitemap, указываем адрес карты сайта, нажимаем «Добавить». Боту потребуется какое-то время на сканироание файла.
После успешной обработки файла будет доступна статистика индексации по каждой странице.
Можно отследить количество страниц в индексе, количество исключенных страниц и причины отклонения:
Если возникнут сложности, пишите нам, создадим и разместим XML карту для любого сайта.