Выгрузка структуры с помощью Netpeak Spider

Выгрузка структуры с помощью Netpeak Spider

В данной статье рассмотрим варианты составления текущей структуры сайта. Возможны два пути составления карты сайта - ручной и с помощью сервисов. Рассмотрим оба.

Для работы со структурой в онлайн режиме удобно использовать сервис https://www.mindmeister.com/. Данный сервис позволяет не перекидываться файлами, и редактировать структуру онлайн в несколько рук. Но вариант платный! В бесплатном режиме на одну почту доступно 3 карты, далее только если удалить одну из предыдущих.

Рассмотрим особенности программы

1) Онлайн, т.е. видно все этапы работы и есть возможность возврата к любой точке, т.к. результат хранится на сервере;
2) Платная, для использования большим числом карт;
3) Удобно скинуть ссылку заказчику и он видит результат;
4) При движении большого числа блоков, возможны задержки.

Остается также вариант использовать программу XMind 8.

Рассмотрим особенности программы

1) Бесплатная;
2) Нет задержки при переносе больших кусков карты;
3) При работе приходится постоянно передавать файлы по сети, после внесения изменений.

Минивывод

Есть несколько вариантов для структурирования карты сайта - один оналйн другой оффлайн. Каждый определяется в соответствии с необходимостью!

1 Методика вынесения структуры - Ручная

1) Пишем название нашего проекта с приставкой черновая структура, рисунок 1



Рисунок 1 - Задание названия для карты структуры сайта
2) Выбираем настройку карты, нам необходимо “Выравнивание по правому краю”. Это делается для понимания вложенности и удобства.

Рисунок 2 - Задание направления веток для структуры сайта
3) Необходимо изначально сделать историю по цветам - чтобы любой кто будет пользоваться картой, понимал что обозначает тот или иной цвет. Это упрощает процесс коммуникации между специалистами.

- Нажимаем правой кнопкой мыши и выбираем “Добавить плавающий узел”

- Называем его “История”

- Добавляем 6 историй:

1) Вспомогательный элемент не для внедрения

2) Информационые запросы

3) Склейка

4) Расширение

5) С конкурентов

6) Текущая структура


Рисунок 3 - Цветовая легенда сайта
4) Заходим на сайт и начинаем выписывать структуру. В начале выписываем все функциональные страницы из меню

Рисунок 4 - Задание текущей структуры сайта

Внимание! Обязательно на карту выносим Н1 страницы и добавляем ссылку на страницу

Верхнее меню, пример

Рисунок 5 - Задание текущей структуры + ссылки на страницы

На данном примере верхнее меню дублируется в подвале сайта.

5) Выносим у интернет-магазина категории и теги (если есть), а у сайта услуг - услуги и теги. Товары выносить на карту не нужно!

Рисунок 6 - Задание вспомогательных блоков не для внедрения

Серым по истории - это у нас вспомогательный элемент, который объединяет какой-то блок страниц, в примере - это регионы, бренд.

На данном этапе чистовая структура вынесена вся, можно приступать к следующим этапам продвижения.

ИНТЕРНЕТ-МАРКЕТИНГ
РАЗРАБОТКА САЙТОВ
SEO продвижение

2 Методика вынесение структуры - Автоматизированная

Автоматизированный способ сбора структуры сайта задействует специальный инструмент Netpeak Spider. Но в рамках бесплатного тарифа нет возможности выгружать отчет - а именно отчет о сруктуре и необходим для дальнейших действий. Очевидным плюсом инструмента является отсутствие внесения каких либо настроек! Алгоритм работы с программой выглядит следующим образом:

1) Берем интересующий нас адрес и вставляем в окно после открытия программы

Рисунок 7 - Задание сайта для анализа
2) И нажимаем кнопку старт

Рисунок 8 - Запуск паука
3) Дожидаемся окончания сбора и нажимаем Экспорт-Структура сайта

Рисунок 9 - Выгрузка структуры сайта
4) Открываем файл и добавляем фильтр на первую строку

Рисунок 10 - Включение фильтра на первой строке
5) Убираем лишнее и оставляем:

- не пустые уровни

- URL

- Код Ответа сервера

- Content-Type

- Title

- Description

- Содержимое H1

Рисунок 11 - Удаление лишних столбцов
6) Сейчас нужно убрать технические страницы. Через фильтр на Content-Type отмечаем все кроме text/html.. и Пустые

Рисунок 12 - Задание значений для фильтра

Выделяем и удаляем строки

7) Далее определяем что есть ещё лишнего. Смотрим графу Код ответа сервера

Рисунок 13 - Задание фильтров

Удаляем эти строки

8) Анализируем пустые страницы по графе URL. Параллельно заполняем их URL, Title, Description, H1 - Копируя их значение из уровня.


Рисунок 14 - Отбор пустых строк

Рисунок 15 - Перенос значений в пустые URL

Рисунок 16 - Перенос значений в пустые URL
9) Далее пройтись по списку URL смотрим что может быть лишнего. Возможно что-то попало в индекс, что не должно было быть - например /reviews (в данном случае имеется в виду полная копия отдельной карточки с отзывами на товар.) . Таким образом можно выявить все необходимые страницы.
10) Проверяем h1 - не должно быть пустых ячеек. Если нет - добавляем Значение с Уровня
11) Удаляем столбик URL, Код ответа сервера, Content-Type, Description, Title и самый первый столбик. Плюс все пустые Уровни.
12) Удаляем шапку файла
13) Отделяем товары и категории. На структуру выносятся все кроме товаров
14) Опускаемся в самый низ и вводим любое слово.
15) Копируем Ctrl+C
16) Обводим все кроме столбика с H1

Рисунок 17 - замена на константу структуры
17) Нажимаем CTRL + G

Рисунок 18 - Работа с константами
18) Нажимаем выделить и далее константы (Ничего не меняем)

Рисунок 19 - Работа с константами
19) Нажимаем CTRL + V

Рисунок 20 - Заполнения константой переменных
20) Копируем структуру и переходим в Notepad ++
21) Выделяем нашу константу по уровням и заменяем на пустое

Рисунок 21 - Замена значений в Notepad++
22) Заменив все константы копируем все и создаем в XMIND новую карту и вставляем

Рисунок 22 - Готовая структура в блокноте

Рисунок 23 - Готовая структура

Далее выделяем дополнительные блоки отделяя услуги или категории товаров от пунктов меню.

Артём Опарин

Артём Опарин

Ведущий SEO специалист компании

Вывод по выгрузке структуры с помощью Netpeak Spider

Таким образом было рассмотрено 2 механизма сбора структуры сайта. Ручной метод обладает своим плюсом по скорости, если проект небольшой. С другой стороны можно упустить скрытые страницы, на которые руками не выйти. В тоже время автоматизированный метод требует приобретения специального инструмента, но в рамках него будет получен мощный механизм для анализа ошибок сайта. Еще одним важным моментом является то что необходимо выбрать среду для построения карты сайта. Здесь также нужно осуществить выбор в пользу того инструмента, который больше подходит.

Что дальше?

После составления структуры сайта можно приступать к её расширению и структурированию

Автор

Артём Опарин

Артём Опарин

ИНТЕРНЕТ-МАРКЕТОЛОГ С ОПЫТОМ БОЛЕЕ 10 ЛЕТ.

Подписывайтесь в соцсетях:

Комментарии

Вам также может понравиться

Учетные записи: гид по безопасности в цифровой вселенной
13 июня 2024
3259
Учетные записи: гид по безопасности в цифровой вселенной
Что такое аккаунт Аккаунт (или учетная запись) - это персональная страница пользователя, создаваемая после прохождения процедуры регистрации на том или ином сайте, в социальной сети, онлайн-с...
Читать
Как написать крутую статью в блог за 13 шагов: понятный алгоритм для сильных публикаций
15 декабря 2025
284
Как написать крутую статью в блог за 13 шагов: понятный алгоритм для сильных публикаций
Создать по-настоящему сильную статью в блог — задача сложнее, чем кажется. Простого набора фактов давно недостаточно: читатель ожидает пользу, структуру, живой язык и реальный опыт, а поисковые си...
Читать
Создание плитки тегов через SEO — умного фильтра модуль «Сотбит»
16 октября 2020
5212
Создание плитки тегов через SEO — умного фильтра модуль «Сотбит»
Часть 2 — Создание плитки тегов через SEO — умного фильтра модуль «Сотбит» https://marketplace.1c-bitrix.ru/solutions/sotbit.seometa/ Стоимость 14990 рублей. Принцип работы модуля: ...
Читать
Цвета, которые действительно продают: Комплексное руководство по цветовому веб-дизайну для роста продаж
3 марта 2025
1452
Цвета, которые действительно продают: Комплексное руководство по цветовому веб-дизайну для роста продаж
Цвет играет гораздо более важную роль в успехе веб-ресурса, чем может показаться на первый взгляд. Правильно подобранная цветовая гамма способна стать мощным инструментом для привлечения внимания ...
Читать
Надёжный бэкап — лучший план Б в жизни цифровых файлов
25 июня 2025
574
Надёжный бэкап — лучший план Б в жизни цифровых файлов
В эпоху цифровизации информация стала важнейшим активом — неважно, идёт ли речь о корпоративной базе данных, личных фотографиях или содержимом интернет-магазина. Вся наша работа, переписка, докуме...
Читать
Вебмастер - профессия будущего: создавай, управляй, зарабатывай!
1 января 2025
1186
Вебмастер - профессия будущего: создавай, управляй, зарабатывай!
Стремительное развитие цифровых технологий и всеобъемлющая цифровизация современного мира открыли новые горизонты и перспективы для профессионального роста. Люди в эпоху, когда интернет стал неотъ...
Читать
Что такое индексация сайта и как она помогает вашему бизнесу получать клиентов из поиска
20 марта 2026
232
Что такое индексация сайта и как она помогает вашему бизнесу получать клиентов из поиска
В современном цифровом мире создание сайта — это лишь половина дела. Чтобы ваш ресурс начал приносить прибыль, он должен стать видимым для потенциальных клиентов в Google и Яндексе. Ключевым этапом на...
Читать
Анализ рынка: как не ошибиться в бизнесе и выбрать правильную стратегию
2 июня 2025
1045
Анализ рынка: как не ошибиться в бизнесе и выбрать правильную стратегию
Анализ рынка — это не просто модный термин из арсенала маркетологов. Это инструмент, который позволяет понять, насколько жизнеспособна бизнес-идея, какова текущая ситуация в отрасли, какие потребн...
Читать
Полный гайд по кластеризации семантического ядра: от теории до автоматизации
30 марта 2026
282
Полный гайд по кластеризации семантического ядра: от теории до автоматизации
Кластеризация поисковых запросов — это процесс группировки ключевых фраз семантического ядра в кластеры на основе схожести поисковой выдачи по ним. В современной поисковой оптимизации (SEO) этот э...
Читать
Поисковые роботы: что это такое и как ими управлять
16 декабря 2024
1251
Поисковые роботы: что это такое и как ими управлять
Поисковые роботы, также известные как краулеры, пауки или боты, играют ключевую роль в функционировании поисковых систем. Они выступают связующим звеном между опубликованным в интернете контентом ...
Читать
Симбиоз SEO-специалиста и ИИ: пошаговое руководство по генерации и кластеризации семантики без галлюцинаций
8 июня 2026
172
Симбиоз SEO-специалиста и ИИ: пошаговое руководство по генерации и кластеризации семантики без галлюцинаций
Современный рынок поисковой оптимизации (SEO) находится в состоянии перманентной трансформации. Алгоритмы поисковых систем Яндекс и Google регулярно обновляются, выдвигая все более жесткие требова...
Читать
Создаем сайт с нуля: пошаговое руководство для начинающих
15 июля 2024
1240
Создаем сайт с нуля: пошаговое руководство для начинающих
В современном мире, где интернет стал неотъемлемой частью нашей повседневной жизни, присутствие в онлайн-пространстве жизненно важно для любого бизнеса. Компании всех размеров и сфер деятельности ...
Читать
Robots.TXT: полная инструкция по созданию, настройке и использованию директив под нужды SEO
21 марта 2022
11513
Robots.TXT: полная инструкция по созданию, настройке и использованию директив под нужды SEO
Что такое robots.txt Robots.txt — это стандартный текстовый файл в кодировке UTF-8 с расширением .txt, который содержит директивы и инструкции индексирования сайта, его страниц или разделов. Он н...
Читать
Реферальные программы - источник стабильного дохода: виды, выбор, налогообложение
6 сентября 2024
1707
Реферальные программы - источник стабильного дохода: виды, выбор, налогообложение
Реферальные программы - это маркетинговый инструмент, основанный на рекомендациях существующих клиентов. Суть проста: компания мотивирует своих текущих клиентов (рефереров) приглашать новых пользо...
Читать
Секреты продвижения в двух поисковых гигантах: исчерпывающее руководство по отличиям SEO под Яндекс и Google
21 марта 2025
1430
Секреты продвижения в двух поисковых гигантах: исчерпывающее руководство по отличиям SEO под Яндекс и Google
Осуществлять эффективное SEO-продвижение в современных реалиях невозможно без глубокого понимания различий в подходах ведущих поисковых систем к ранжированию и формированию выдачи. При этом две кр...
Читать
Профессия SEO-специалист: всё, что нужно знать
20 августа 2024
1291
Профессия SEO-специалист: всё, что нужно знать
На сегодняшний день эффективное присутствие компании в интернете является критически важным для успеха бизнеса. По данным статистики, более 90% пользователей начинают поиск товаров и услуг именно ...
Читать
AJAX: Принцип работы, влияние на SEO и способы оптимизации для поисковых систем
2 июня 2025
1402
AJAX: Принцип работы, влияние на SEO и способы оптимизации для поисковых систем
AJAX (Asynchronous JavaScript and XML) – это веб-технология, позволяющая веб-страницам обмениваться данными с сервером асинхронно, без необходимости перезагрузки всей страницы. Используя AJAX, сай...
Читать
Полное руководство по SEO для англоязычных сайтов: стратегии и лучшие практики
24 октября 2025
539
Полное руководство по SEO для англоязычных сайтов: стратегии и лучшие практики
Продвижение сайтов в поисковых системах (SEO) — это не просто техническая задача, а полноценная маркетинговая стратегия, требующая глубокого понимания особенностей целевой аудитории и специфики по...
Читать
Стратегия использования атрибута nofollow: влияние на ранжирование и безопасность ссылочного профиля
21 апреля 2026
242
Стратегия использования атрибута nofollow: влияние на ранжирование и безопасность ссылочного профиля
Атрибут rel="nofollow" — это техническая инструкция в HTML-коде ссылки, которая сообщает поисковым роботам, что им не следует передавать ссылочный вес (PageRank) целевой странице. Визуально такая ...
Читать
Beyond Speed: Как метрики CWV 2.0 и энергоэффективность определяют лидеров выдачи в 2026 году
13 мая 2026
210
Beyond Speed: Как метрики CWV 2.0 и энергоэффективность определяют лидеров выдачи в 2026 году
В 2026 году поисковое продвижение окончательно вышло за рамки работы с ключевыми словами и ссылочной массой. Сегодня в центре алгоритмов Яндекса и Google стоит живой человек и его субъективное ощу...
Читать
Разоблачение реферального маркетинга: открой Истину и получай прибыль
17 декабря 2024
1885
Разоблачение реферального маркетинга: открой Истину и получай прибыль
Рефералы играют все более значимую роль в современных маркетинговых стратегиях и бизнес-моделях. Согласно исследованию Ambassadors+, 92% компаний считают, что реферальные программы стали важным ка...
Читать
Разработка мобильных версий в 2025 году: тренды, которые изменят правила игры
26 марта 2025
1669
Разработка мобильных версий в 2025 году: тренды, которые изменят правила игры
С каждым годом мобильный интернет занимает все более прочные позиции, открывая новые возможности для бизнеса и налагая определенные требования на разработчиков веб-ресурсов. По данным аналитическо...
Читать
Секрет высоких позиций — грамотная техоптимизация сайта
6 июня 2025
678
Секрет высоких позиций — грамотная техоптимизация сайта
Техническая оптимизация — это основа SEO-продвижения, наравне с контентом и внешними факторами. Её цель — обеспечить стабильную работу сайта, удобную навигацию, быструю загрузку и корректное взаим...
Читать
Ошибка 500 сервера: что означает, причины возникновения и как исправить
11 ноября 2022
2299
Ошибка 500 сервера: что означает, причины возникновения и как исправить
Что такое внутренняя ошибка сервера 500 Код ошибки 500 указывает на то, что браузер отправил запрос корректно, однако сервер по разным причинам не смог его обработать. Сообщение об ошиб...
Читать
Словарь для карьерного роста: разбираем C-level от А до Я
6 августа 2024
1235
Словарь для карьерного роста: разбираем C-level от А до Я
На современном этапе развития бизнеса наблюдается стремительный рост популярности использования англоязычных аббревиатур для обозначения высших руководящих должностей в компаниях. Термины вроде CE...
Читать
Бесконечные фильтры и сортировки: как остановить генерацию дублей и спасти краулинговый бюджет
22 мая 2026
198
Бесконечные фильтры и сортировки: как остановить генерацию дублей и спасти краулинговый бюджет
Современный интернет-магазин невозможно представить без фильтрации и сортировки товаров (по цене, бренду, цвету). С точки зрения UX — это стандарт качества, но для SEO данный функционал часто стан...
Читать
Ошибка 502 Bad Gateway: полное руководство по диагностике и исправлению
23 июля 2024
1438
Ошибка 502 Bad Gateway: полное руководство по диагностике и исправлению
Ошибка 502 Bad Gateway - довольно распространенная проблема, с которой рано или поздно сталкиваются многие веб-мастера и пользователи интернета. Суть ее заключается в том, что веб-сервер, выступая...
Читать
Масштабный разбор конверсии: теория, практика, кейсы для интернет-маркетологов
1 января 2025
1366
Масштабный разбор конверсии: теория, практика, кейсы для интернет-маркетологов
Отслеживание конверсии является критически важным аспектом для любого бизнеса, осуществляющего деятельность в интернете. Конверсия представляет собой ключевой показатель эффективности (KPI), котор...
Читать
Агентство или фрилансер: кого выбрать для SEO, чтобы выйти в топ Яндекса и Google без фильтров
13 ноября 2025
280
Агентство или фрилансер: кого выбрать для SEO, чтобы выйти в топ Яндекса и Google без фильтров
SEO-продвижение — это не разовая акция, а долгосрочная инвестиция в бизнес. Белые методы, которые используют Яндекс и Google для ранжирования, требуют комплексного подхода: техническая оптимизация...
Читать
7 шагов к эффективной визуализации структуры сайта: Гайд для оптимизации и SEO
10 октября 2025
374
7 шагов к эффективной визуализации структуры сайта: Гайд для оптимизации и SEO
Структура сайта — это его фундаментальная основа, которая определяет, как пользователи и поисковые системы воспринимают ресурс. Визуализация этой структуры позволяет упростить проектирование, сдел...
Читать
Чек-лист по SEO: 44 способа увеличить поисковый трафик в 2025 году
12 декабря 2025
478
Чек-лист по SEO: 44 способа увеличить поисковый трафик в 2025 году
SEO-продвижение давно перестало быть набором разрозненных рекомендаций — сегодня это система, в которой важно одновременно учитывать техническое состояние сайта, качество контента, структуру стран...
Читать
Руководство по продвижению интернет-магазина: от SEO до рекламы и увеличения конверсии
30 мая 2025
1145
Руководство по продвижению интернет-магазина: от SEO до рекламы и увеличения конверсии
Интернет-магазины стали неотъемлемой частью современной коммерции. В условиях высокой конкуренции и насыщенности рынка важно не только создать привлекательный сайт с удобной навигацией и ассортиме...
Читать
смотреть все