Выгрузка структуры с помощью Netpeak Spider

Выгрузка структуры с помощью Netpeak Spider

В данной статье рассмотрим варианты составления текущей структуры сайта. Возможны два пути составления карты сайта - ручной и с помощью сервисов. Рассмотрим оба.

Для работы со структурой в онлайн режиме удобно использовать сервис https://www.mindmeister.com/. Данный сервис позволяет не перекидываться файлами, и редактировать структуру онлайн в несколько рук. Но вариант платный! В бесплатном режиме на одну почту доступно 3 карты, далее только если удалить одну из предыдущих.

Рассмотрим особенности программы

1) Онлайн, т.е. видно все этапы работы и есть возможность возврата к любой точке, т.к. результат хранится на сервере;
2) Платная, для использования большим числом карт;
3) Удобно скинуть ссылку заказчику и он видит результат;
4) При движении большого числа блоков, возможны задержки.

Остается также вариант использовать программу XMind 8.

Рассмотрим особенности программы

1) Бесплатная;
2) Нет задержки при переносе больших кусков карты;
3) При работе приходится постоянно передавать файлы по сети, после внесения изменений.

Минивывод

Есть несколько вариантов для структурирования карты сайта - один оналйн другой оффлайн. Каждый определяется в соответствии с необходимостью!

1 Методика вынесения структуры - Ручная

1) Пишем название нашего проекта с приставкой черновая структура, рисунок 1



Рисунок 1 - Задание названия для карты структуры сайта
2) Выбираем настройку карты, нам необходимо “Выравнивание по правому краю”. Это делается для понимания вложенности и удобства.

Рисунок 2 - Задание направления веток для структуры сайта
3) Необходимо изначально сделать историю по цветам - чтобы любой кто будет пользоваться картой, понимал что обозначает тот или иной цвет. Это упрощает процесс коммуникации между специалистами.

- Нажимаем правой кнопкой мыши и выбираем “Добавить плавающий узел”

- Называем его “История”

- Добавляем 6 историй:

1) Вспомогательный элемент не для внедрения

2) Информационые запросы

3) Склейка

4) Расширение

5) С конкурентов

6) Текущая структура


Рисунок 3 - Цветовая легенда сайта
4) Заходим на сайт и начинаем выписывать структуру. В начале выписываем все функциональные страницы из меню

Рисунок 4 - Задание текущей структуры сайта

Внимание! Обязательно на карту выносим Н1 страницы и добавляем ссылку на страницу

Верхнее меню, пример

Рисунок 5 - Задание текущей структуры + ссылки на страницы

На данном примере верхнее меню дублируется в подвале сайта.

5) Выносим у интернет-магазина категории и теги (если есть), а у сайта услуг - услуги и теги. Товары выносить на карту не нужно!

Рисунок 6 - Задание вспомогательных блоков не для внедрения

Серым по истории - это у нас вспомогательный элемент, который объединяет какой-то блок страниц, в примере - это регионы, бренд.

На данном этапе чистовая структура вынесена вся, можно приступать к следующим этапам продвижения.

ИНТЕРНЕТ-МАРКЕТИНГ
РАЗРАБОТКА САЙТОВ
SEO продвижение

2 Методика вынесение структуры - Автоматизированная

Автоматизированный способ сбора структуры сайта задействует специальный инструмент Netpeak Spider. Но в рамках бесплатного тарифа нет возможности выгружать отчет - а именно отчет о сруктуре и необходим для дальнейших действий. Очевидным плюсом инструмента является отсутствие внесения каких либо настроек! Алгоритм работы с программой выглядит следующим образом:

1) Берем интересующий нас адрес и вставляем в окно после открытия программы

Рисунок 7 - Задание сайта для анализа
2) И нажимаем кнопку старт

Рисунок 8 - Запуск паука
3) Дожидаемся окончания сбора и нажимаем Экспорт-Структура сайта

Рисунок 9 - Выгрузка структуры сайта
4) Открываем файл и добавляем фильтр на первую строку

Рисунок 10 - Включение фильтра на первой строке
5) Убираем лишнее и оставляем:

- не пустые уровни

- URL

- Код Ответа сервера

- Content-Type

- Title

- Description

- Содержимое H1

Рисунок 11 - Удаление лишних столбцов
6) Сейчас нужно убрать технические страницы. Через фильтр на Content-Type отмечаем все кроме text/html.. и Пустые

Рисунок 12 - Задание значений для фильтра

Выделяем и удаляем строки

7) Далее определяем что есть ещё лишнего. Смотрим графу Код ответа сервера

Рисунок 13 - Задание фильтров

Удаляем эти строки

8) Анализируем пустые страницы по графе URL. Параллельно заполняем их URL, Title, Description, H1 - Копируя их значение из уровня.


Рисунок 14 - Отбор пустых строк

Рисунок 15 - Перенос значений в пустые URL

Рисунок 16 - Перенос значений в пустые URL
9) Далее пройтись по списку URL смотрим что может быть лишнего. Возможно что-то попало в индекс, что не должно было быть - например /reviews (в данном случае имеется в виду полная копия отдельной карточки с отзывами на товар.) . Таким образом можно выявить все необходимые страницы.
10) Проверяем h1 - не должно быть пустых ячеек. Если нет - добавляем Значение с Уровня
11) Удаляем столбик URL, Код ответа сервера, Content-Type, Description, Title и самый первый столбик. Плюс все пустые Уровни.
12) Удаляем шапку файла
13) Отделяем товары и категории. На структуру выносятся все кроме товаров
14) Опускаемся в самый низ и вводим любое слово.
15) Копируем Ctrl+C
16) Обводим все кроме столбика с H1

Рисунок 17 - замена на константу структуры
17) Нажимаем CTRL + G

Рисунок 18 - Работа с константами
18) Нажимаем выделить и далее константы (Ничего не меняем)

Рисунок 19 - Работа с константами
19) Нажимаем CTRL + V

Рисунок 20 - Заполнения константой переменных
20) Копируем структуру и переходим в Notepad ++
21) Выделяем нашу константу по уровням и заменяем на пустое

Рисунок 21 - Замена значений в Notepad++
22) Заменив все константы копируем все и создаем в XMIND новую карту и вставляем

Рисунок 22 - Готовая структура в блокноте

Рисунок 23 - Готовая структура

Далее выделяем дополнительные блоки отделяя услуги или категории товаров от пунктов меню.

Артём Опарин

Артём Опарин

Ведущий SEO специалист компании

Вывод по выгрузке структуры с помощью Netpeak Spider

Таким образом было рассмотрено 2 механизма сбора структуры сайта. Ручной метод обладает своим плюсом по скорости, если проект небольшой. С другой стороны можно упустить скрытые страницы, на которые руками не выйти. В тоже время автоматизированный метод требует приобретения специального инструмента, но в рамках него будет получен мощный механизм для анализа ошибок сайта. Еще одним важным моментом является то что необходимо выбрать среду для построения карты сайта. Здесь также нужно осуществить выбор в пользу того инструмента, который больше подходит.

Что дальше?

После составления структуры сайта можно приступать к её расширению и структурированию

Автор

Артём Опарин

Артём Опарин

ИНТЕРНЕТ-МАРКЕТОЛОГ С ОПЫТОМ БОЛЕЕ 10 ЛЕТ.

Подписывайтесь в соцсетях:

Комментарии

Вам также может понравиться

Адаптивная верстка - путь к совершенному пользовательскому опыту на любых экранах
13 декабря 2024
1890
Адаптивная верстка - путь к совершенному пользовательскому опыту на любых экранах
В эпоху мобильных устройств и растущей популярности смартфонов, планшетов адаптивная верстка веб-страниц перестала быть опциональным требованием, а стала неотъемлемой составляющей современного веб...
Читать
Новый алгоритм Яндекса против малополезного контента: как защитить сайт и вернуть позиции
4 февраля 2026
165
Новый алгоритм Яндекса против малополезного контента: как защитить сайт и вернуть позиции
Алгоритмы поисковых систем становятся умнее каждый год, и 2025-й — один из самых заметных этапов их развития. Яндекс усилил контроль за качеством контента и обновил фильтры, направленные на борьбу...
Читать
URL-адрес: путеводитель по созданию оптимальных веб-адресов
3 июля 2024
1252
URL-адрес: путеводитель по созданию оптимальных веб-адресов
URL (Uniform Resource Locator) представляет собой уникальный унифицированный указатель ресурса, используемый для идентификации местоположения документа, изображения, веб-страницы или другого цифро...
Читать
Что такое формы обратной связи: виды, правила создания и ошибки, которые снижают конверсию
8 декабря 2025
301
Что такое формы обратной связи: виды, правила создания и ошибки, которые снижают конверсию
Формы обратной связи — один из ключевых инструментов, который напрямую влияет на количество заявок, качество коммуникации и общую конверсию сайта. Именно через форму пользователь задаёт вопрос, ос...
Читать
Скриптовые языки программирования: основы, применение и тренды
12 августа 2024
2652
Скриптовые языки программирования: основы, применение и тренды
Скрипт (от англ. script - сценарий) представляет собой набор инструкций или команд, предназначенных для выполнения определенной последовательности действий на компьютере или в программной среде. С...
Читать
Сниппет сайта: что это такое, настройка и использование микроразметки
26 июля 2022
4706
Сниппет сайта: что это такое, настройка и использование микроразметки
Что такое сниппет Сниппет — это «анонс» страницы, который пользователи видят в поисковой выдаче. В него входят title, URL-адрес и описание (meta description). На одной странице выдачи ...
Читать
Поисковые роботы: что это такое и как ими управлять
16 декабря 2024
1152
Поисковые роботы: что это такое и как ими управлять
Поисковые роботы, также известные как краулеры, пауки или боты, играют ключевую роль в функционировании поисковых систем. Они выступают связующим звеном между опубликованным в интернете контентом ...
Читать
Всё про показатель отказов: что такое, как уменьшить, где смотреть
23 сентября 2022
1996
Всё про показатель отказов: что такое, как уменьшить, где смотреть
Что такое показатель отказов Показатель отказов, Bounce Rate — это количество таких посещений сайта, когда посетитель сразу же покидает страницу. Он указывает на то, насколько содержимое ре...
Читать
Ошибка 502 Bad Gateway: полное руководство по диагностике и исправлению
23 июля 2024
1333
Ошибка 502 Bad Gateway: полное руководство по диагностике и исправлению
Ошибка 502 Bad Gateway - довольно распространенная проблема, с которой рано или поздно сталкиваются многие веб-мастера и пользователи интернета. Суть ее заключается в том, что веб-сервер, выступая...
Читать
В чем опасность не тестированного сайта?
15 августа 2022
1430
В чем опасность не тестированного сайта?
Создание сайта – процесс кропотливый и небыстрый. При этом работа над ним не заканчивается сразу после того, как он сверстан, поскольку он еще не готов к просмотрам интернет-пользователей. Даже ес...
Читать
Как создать эффективный баннер для сайта: пошаговая инструкция
27 августа 2025
499
Как создать эффективный баннер для сайта: пошаговая инструкция
В условиях постоянного информационного шума и стремительной конкуренции в digital-пространстве эффективная визуальная коммуникация становится ключом к успеху любого онлайн-проекта. Один из самых д...
Читать
Что такое поведенческие факторы и почему они важны для SEO в 2023 году
27 января 2023
2080
Что такое поведенческие факторы и почему они важны для SEO в 2023 году
Что такое поведенческие факторы ранжирования Поведенческими факторами называют комплекс метрик на аналитических платформах поисковых систем, которые применяются для оценки поведения пользо...
Читать
Анализ конкурентов "с чем его едят"?
29 июля 2022
1151
Анализ конкурентов "с чем его едят"?
Не учитывать изменения рынка и конкурентов, занимаясь продвижением, невозможно. И для того, чтобы оперировать полезной и структурированной информацией, важно проводить грамотный анализ. При этом с...
Читать
Что такое клиентоориентированность: примеры, принципы и шаги для повышения
17 декабря 2025
257
Что такое клиентоориентированность: примеры, принципы и шаги для повышения
Клиентоориентированность — это одна из ключевых составляющих успешного бизнеса в современных условиях. В условиях высокой конкуренции на рынке каждый бизнес стремится найти способы выделиться сред...
Читать
Что такое переспам ключевых слов: причины, последствия, примеры и сервисы для проверки текста
6 февраля 2026
185
Что такое переспам ключевых слов: причины, последствия, примеры и сервисы для проверки текста
Переспам ключевых слов остаётся одной из самых частых и опасных ошибок при создании SEO-контента. Несмотря на развитие поисковых алгоритмов и отказ от примитивных методов ранжирования, многие сайт...
Читать
Обновление инструмента проверки robots.txt от Google: что нужно знать SEO-специалистам
18 февраля 2026
97
Обновление инструмента проверки robots.txt от Google: что нужно знать SEO-специалистам
Зачем нужен файл robots.txt Файл robots.txt — это текстовый файл, размещаемый в корневой директории сайта. Он служит для указания поисковым роботам, какие страницы сайта должны быть проиндек...
Читать
Нетворкинг - формула успеха для карьерного роста
16 августа 2024
1260
Нетворкинг - формула успеха для карьерного роста
Цели и преимущества нетворкинга Нетворкинг преследует несколько основных целей, напрямую связанных с карьерным ростом, развитием бизнеса и личной эффективностью: Доступ к экспертным...
Читать
Созданию плитки тегов на Битрикс
16 октября 2020
5776
Созданию плитки тегов на Битрикс
Часть 1 — Пошаговая инструкция по созданию плитки тегов на Битрикс Данная инструкция включает себя 3 варианта реализации. На основании статьи вы сможете написать ТЗ для своего разработчика. ...
Читать
SEO анализ конкурентов: Как исследование конкурентов помогает улучшить позиции вашего сайта
27 октября 2025
184
SEO анализ конкурентов: Как исследование конкурентов помогает улучшить позиции вашего сайта
SEO анализ конкурентов — это одна из ключевых составляющих успешной стратегии поисковой оптимизации. В условиях жесткой конкуренции в интернете, важно не только следить за собственными показателям...
Читать
Разоблачение реферального маркетинга: открой Истину и получай прибыль
17 декабря 2024
1798
Разоблачение реферального маркетинга: открой Истину и получай прибыль
Рефералы играют все более значимую роль в современных маркетинговых стратегиях и бизнес-моделях. Согласно исследованию Ambassadors+, 92% компаний считают, что реферальные программы стали важным ка...
Читать
Трафик для бизнеса: виды, источники и действенные способы привлечения целевых посетителей
3 марта 2025
1099
Трафик для бизнеса: виды, источники и действенные способы привлечения целевых посетителей
Трафик в интернет-маркетинге - это поток пользователей, которые посещают веб-сайт или другой онлайн-ресурс (мобильное приложение, аккаунт в социальных сетях и т.д.). Измеряется он количеством прос...
Читать
Что такое временная почта: зачем она нужна и как её создать
27 февраля 2026
147
Что такое временная почта: зачем она нужна и как её создать
Сегодня почти каждый онлайн-сервис требует указать адрес электронной почты: для регистрации, получения бонусов, доступа к контенту или пробного периода. В результате основной почтовый ящик быстро ...
Читать
Как отличить кликбейт от цепляющих заголовков и составлять правильные анонсы
4 октября 2024
1395
Как отличить кликбейт от цепляющих заголовков и составлять правильные анонсы
Кликбейт - это провокационный метод привлечения внимания пользователей к контенту посредством ярких, интригующих, а зачастую и вводящих в заблуждение заголовков и описаний. Термин происходит от ан...
Читать
Раскрой Потенциал Фриланса: Инструкция Для Новичков
2 июля 2024
1830
Раскрой Потенциал Фриланса: Инструкция Для Новичков
Фриланс (от английского "freelance" - свободный копье) - это форма занятости, при которой специалист не состоит в штате какой-либо компании, а самостоятельно выбирает заказчиков и проекты для сотр...
Читать
API - проводники в эру функциональных и масштабируемых решений
6 марта 2025
1380
API - проводники в эру функциональных и масштабируемых решений
Представьте, что вы являетесь разработчиком нового мобильного приложения для заказа еды. Чтобы интегрировать функцию просмотра ресторанов на карте, удобного поиска заведений и построения...
Читать
Упрощаем управление продвижением в Яндекс.Директе с помощью Коммандера
14 ноября 2024
1097
Упрощаем управление продвижением в Яндекс.Директе с помощью Коммандера
"Директ Коммандер" - это мощный инструмент для эффективного управления рекламными кампаниями в Яндекс.Директе. Разработанный специалистами самой поисковой системы, он призван значительно упростить...
Читать
Автоматический обзвон клиентов голосовым роботом: полное руководство по запуску от А до Я в 2026 году
23 апреля 2026
130
Автоматический обзвон клиентов голосовым роботом: полное руководство по запуску от А до Я в 2026 году
Современный рынок коммуникаций переживает фундаментальную трансформацию. Еще несколько лет назад автоматический обзвон ассоциировался исключительно с агрессивным телемаркетингом и низкокачественны...
Читать
Почему Google не добавляет ваш сайт в поиск: топ-9 технических и SEO-ошибок
2 июня 2025
1174
Почему Google не добавляет ваш сайт в поиск: топ-9 технических и SEO-ошибок
Google крайне чувствителен к скорости загрузки сайта. Это один из первых факторов, который влияет на индексацию ресурса. Если ваш сайт грузится слишком долго, поисковый робот может просто не дожда...
Читать
Как написать крутую статью в блог за 13 шагов: понятный алгоритм для сильных публикаций
15 декабря 2025
202
Как написать крутую статью в блог за 13 шагов: понятный алгоритм для сильных публикаций
Создать по-настоящему сильную статью в блог — задача сложнее, чем кажется. Простого набора фактов давно недостаточно: читатель ожидает пользу, структуру, живой язык и реальный опыт, а поисковые си...
Читать
Комплексный подход к юзабилити для эффективного веб-ресурса
4 октября 2024
1131
Комплексный подход к юзабилити для эффективного веб-ресурса
Юзабилити (от англ. usability - 'удобство использования', 'пригодность к использованию') - это термин, определяющий степень удобства взаимодействия пользователя с интерфейсом программного продукта...
Читать
Конверсионный маркетинг: Как увеличить продажи и удержание клиентов с помощью оптимизации
20 октября 2025
220
Конверсионный маркетинг: Как увеличить продажи и удержание клиентов с помощью оптимизации
Конверсионный маркетинг (или маркетинг конверсий) — это подход, направленный на повышение эффективности бизнес-операций за счет увеличения числа желаемых действий со стороны пользователей. Такие д...
Читать
Цвета, которые действительно продают: Комплексное руководство по цветовому веб-дизайну для роста продаж
3 марта 2025
1316
Цвета, которые действительно продают: Комплексное руководство по цветовому веб-дизайну для роста продаж
Цвет играет гораздо более важную роль в успехе веб-ресурса, чем может показаться на первый взгляд. Правильно подобранная цветовая гамма способна стать мощным инструментом для привлечения внимания ...
Читать
смотреть все