Выгрузка структуры с помощью Netpeak Spider

Выгрузка структуры с помощью Netpeak Spider

В данной статье рассмотрим варианты составления текущей структуры сайта. Возможны два пути составления карты сайта - ручной и с помощью сервисов. Рассмотрим оба.

Для работы со структурой в онлайн режиме удобно использовать сервис https://www.mindmeister.com/. Данный сервис позволяет не перекидываться файлами, и редактировать структуру онлайн в несколько рук. Но вариант платный! В бесплатном режиме на одну почту доступно 3 карты, далее только если удалить одну из предыдущих.

Рассмотрим особенности программы

1) Онлайн, т.е. видно все этапы работы и есть возможность возврата к любой точке, т.к. результат хранится на сервере;
2) Платная, для использования большим числом карт;
3) Удобно скинуть ссылку заказчику и он видит результат;
4) При движении большого числа блоков, возможны задержки.

Остается также вариант использовать программу XMind 8.

Рассмотрим особенности программы

1) Бесплатная;
2) Нет задержки при переносе больших кусков карты;
3) При работе приходится постоянно передавать файлы по сети, после внесения изменений.

Минивывод

Есть несколько вариантов для структурирования карты сайта - один оналйн другой оффлайн. Каждый определяется в соответствии с необходимостью!

1 Методика вынесения структуры - Ручная

1) Пишем название нашего проекта с приставкой черновая структура, рисунок 1



Рисунок 1 - Задание названия для карты структуры сайта
2) Выбираем настройку карты, нам необходимо “Выравнивание по правому краю”. Это делается для понимания вложенности и удобства.

Рисунок 2 - Задание направления веток для структуры сайта
3) Необходимо изначально сделать историю по цветам - чтобы любой кто будет пользоваться картой, понимал что обозначает тот или иной цвет. Это упрощает процесс коммуникации между специалистами.

- Нажимаем правой кнопкой мыши и выбираем “Добавить плавающий узел”

- Называем его “История”

- Добавляем 6 историй:

1) Вспомогательный элемент не для внедрения

2) Информационые запросы

3) Склейка

4) Расширение

5) С конкурентов

6) Текущая структура


Рисунок 3 - Цветовая легенда сайта
4) Заходим на сайт и начинаем выписывать структуру. В начале выписываем все функциональные страницы из меню

Рисунок 4 - Задание текущей структуры сайта

Внимание! Обязательно на карту выносим Н1 страницы и добавляем ссылку на страницу

Верхнее меню, пример

Рисунок 5 - Задание текущей структуры + ссылки на страницы

На данном примере верхнее меню дублируется в подвале сайта.

5) Выносим у интернет-магазина категории и теги (если есть), а у сайта услуг - услуги и теги. Товары выносить на карту не нужно!

Рисунок 6 - Задание вспомогательных блоков не для внедрения

Серым по истории - это у нас вспомогательный элемент, который объединяет какой-то блок страниц, в примере - это регионы, бренд.

На данном этапе чистовая структура вынесена вся, можно приступать к следующим этапам продвижения.

ИНТЕРНЕТ-МАРКЕТИНГ
РАЗРАБОТКА САЙТОВ
SEO продвижение

2 Методика вынесение структуры - Автоматизированная

Автоматизированный способ сбора структуры сайта задействует специальный инструмент Netpeak Spider. Но в рамках бесплатного тарифа нет возможности выгружать отчет - а именно отчет о сруктуре и необходим для дальнейших действий. Очевидным плюсом инструмента является отсутствие внесения каких либо настроек! Алгоритм работы с программой выглядит следующим образом:

1) Берем интересующий нас адрес и вставляем в окно после открытия программы

Рисунок 7 - Задание сайта для анализа
2) И нажимаем кнопку старт

Рисунок 8 - Запуск паука
3) Дожидаемся окончания сбора и нажимаем Экспорт-Структура сайта

Рисунок 9 - Выгрузка структуры сайта
4) Открываем файл и добавляем фильтр на первую строку

Рисунок 10 - Включение фильтра на первой строке
5) Убираем лишнее и оставляем:

- не пустые уровни

- URL

- Код Ответа сервера

- Content-Type

- Title

- Description

- Содержимое H1

Рисунок 11 - Удаление лишних столбцов
6) Сейчас нужно убрать технические страницы. Через фильтр на Content-Type отмечаем все кроме text/html.. и Пустые

Рисунок 12 - Задание значений для фильтра

Выделяем и удаляем строки

7) Далее определяем что есть ещё лишнего. Смотрим графу Код ответа сервера

Рисунок 13 - Задание фильтров

Удаляем эти строки

8) Анализируем пустые страницы по графе URL. Параллельно заполняем их URL, Title, Description, H1 - Копируя их значение из уровня.


Рисунок 14 - Отбор пустых строк

Рисунок 15 - Перенос значений в пустые URL

Рисунок 16 - Перенос значений в пустые URL
9) Далее пройтись по списку URL смотрим что может быть лишнего. Возможно что-то попало в индекс, что не должно было быть - например /reviews (в данном случае имеется в виду полная копия отдельной карточки с отзывами на товар.) . Таким образом можно выявить все необходимые страницы.
10) Проверяем h1 - не должно быть пустых ячеек. Если нет - добавляем Значение с Уровня
11) Удаляем столбик URL, Код ответа сервера, Content-Type, Description, Title и самый первый столбик. Плюс все пустые Уровни.
12) Удаляем шапку файла
13) Отделяем товары и категории. На структуру выносятся все кроме товаров
14) Опускаемся в самый низ и вводим любое слово.
15) Копируем Ctrl+C
16) Обводим все кроме столбика с H1

Рисунок 17 - замена на константу структуры
17) Нажимаем CTRL + G

Рисунок 18 - Работа с константами
18) Нажимаем выделить и далее константы (Ничего не меняем)

Рисунок 19 - Работа с константами
19) Нажимаем CTRL + V

Рисунок 20 - Заполнения константой переменных
20) Копируем структуру и переходим в Notepad ++
21) Выделяем нашу константу по уровням и заменяем на пустое

Рисунок 21 - Замена значений в Notepad++
22) Заменив все константы копируем все и создаем в XMIND новую карту и вставляем

Рисунок 22 - Готовая структура в блокноте

Рисунок 23 - Готовая структура

Далее выделяем дополнительные блоки отделяя услуги или категории товаров от пунктов меню.

Артём Опарин

Артём Опарин

Ведущий SEO специалист компании

Вывод по выгрузке структуры с помощью Netpeak Spider

Таким образом было рассмотрено 2 механизма сбора структуры сайта. Ручной метод обладает своим плюсом по скорости, если проект небольшой. С другой стороны можно упустить скрытые страницы, на которые руками не выйти. В тоже время автоматизированный метод требует приобретения специального инструмента, но в рамках него будет получен мощный механизм для анализа ошибок сайта. Еще одним важным моментом является то что необходимо выбрать среду для построения карты сайта. Здесь также нужно осуществить выбор в пользу того инструмента, который больше подходит.

Что дальше?

После составления структуры сайта можно приступать к её расширению и структурированию

Автор

Артём Опарин

Артём Опарин

ИНТЕРНЕТ-МАРКЕТОЛОГ С ОПЫТОМ БОЛЕЕ 10 ЛЕТ.

Подписывайтесь в соцсетях:

Комментарии

Вам также может понравиться

Масштабный разбор конверсии: теория, практика, кейсы для интернет-маркетологов
1 января 2025
1374
Масштабный разбор конверсии: теория, практика, кейсы для интернет-маркетологов
Отслеживание конверсии является критически важным аспектом для любого бизнеса, осуществляющего деятельность в интернете. Конверсия представляет собой ключевой показатель эффективности (KPI), котор...
Читать
Обновление инструмента проверки robots.txt от Google: что нужно знать SEO-специалистам
18 февраля 2026
179
Обновление инструмента проверки robots.txt от Google: что нужно знать SEO-специалистам
Зачем нужен файл robots.txt Файл robots.txt — это текстовый файл, размещаемый в корневой директории сайта. Он служит для указания поисковым роботам, какие страницы сайта должны быть проиндек...
Читать
Как узнать, что ищут на вашем сайте: настройка поиска в Google Analytics
3 июня 2025
889
Как узнать, что ищут на вашем сайте: настройка поиска в Google Analytics
Поисковая строка на сайте — это один из самых недооцененных, но крайне полезных инструментов. Она не просто помогает пользователям быстрее находить нужную информацию, товары или услуги, но и являе...
Читать
CTR – что это в рекламе, как посчитать и повысить кликабельность
2 декабря 2022
2111
CTR – что это в рекламе, как посчитать и повысить кликабельность
Что такое CTR и зачем его считать CTR или click-through rate — это процентное отношение числа кликов на объявление к числу его показов. Чем чаще кликают на рекламу, тем выше CTR. Значение эт...
Читать
Наращивание ссылочной массы сайта: эффективные методы
18 февраля 2023
2601
Наращивание ссылочной массы сайта: эффективные методы
Что такое ссылочная масса Понятие ссылочной массы — это совокупность проиндексированных ссылок, которые направлены на конкретный продвигаемый веб-сайт. Практика создания этих ссылок обычно...
Читать
Что делать, если конкуренты покупают ключевые слова с названием вашего бренда: эффективные стратегии защиты и рекомендации SEO-специалиста
22 января 2026
284
Что делать, если конкуренты покупают ключевые слова с названием вашего бренда: эффективные стратегии защиты и рекомендации SEO-специалиста
Когда компания продвигает свой бренд в поиске, она рассчитывает на предсказуемый поток целевых клиентов. Но в конкурентных нишах всё чаще возникает ситуация, когда соперники начинают покупать ключ...
Читать
Как ставить цели по СМАРТ и добиваться больших результатов
25 июня 2024
1919
Как ставить цели по СМАРТ и добиваться больших результатов
В современном динамичном мире бизнеса умение правильно ставить цели играет ключевую роль в достижении успеха. Одной из наиболее популярных и эффективных методик целеполагания является подход СМАРТ...
Читать
Повышаем конверсию с SEO-текстами: советы для авторов и оптимизаторов
31 октября 2024
1253
Повышаем конверсию с SEO-текстами: советы для авторов и оптимизаторов
В современном цифровом мире успех любого интернет-ресурса напрямую зависит от грамотного SEO-продвижения. Создание качественного, оптимизированного под поисковые системы контента является одним из...
Читать
Диверсификация от А до Я: полное руководство для предпринимателей
13 августа 2024
2186
Диверсификация от А до Я: полное руководство для предпринимателей
Диверсификация – это распределение усилий и ресурсов между несколькими разными направлениями или видами деятельности. Главная цель диверсификации – снизить риски и минимизировать потери в случае н...
Читать
Стратегия использования атрибута nofollow: влияние на ранжирование и безопасность ссылочного профиля
21 апреля 2026
254
Стратегия использования атрибута nofollow: влияние на ранжирование и безопасность ссылочного профиля
Атрибут rel="nofollow" — это техническая инструкция в HTML-коде ссылки, которая сообщает поисковым роботам, что им не следует передавать ссылочный вес (PageRank) целевой странице. Визуально такая ...
Читать
Как удалить негативные отзывы о компании?
16 декабря 2022
2730
Как удалить негативные отзывы о компании?
Как удалить отзывы в интернете Удалением негативных отзывов занимаются агентства, которые специализируются на управлении репутацией. При появлении негативных откликов о компании важно быст...
Читать
Полное руководство по SEO-продвижению для сайтов производителей: стратегии, инструменты и лучшие практики
19 сентября 2025
394
Полное руководство по SEO-продвижению для сайтов производителей: стратегии, инструменты и лучшие практики
Продвижение сайтов производителей — это ключевая составляющая успеха бизнеса в условиях современной цифровой экономики. В отличие от традиционных интернет-магазинов, сайты производителей имеют сво...
Читать
Архитектура вместо хаоса: как графовые алгоритмы автоматизируют внутреннюю перелинковку и выводят коммерческие страницы в ТОП
17 июня 2026
181
Архитектура вместо хаоса: как графовые алгоритмы автоматизируют внутреннюю перелинковку и выводят коммерческие страницы в ТОП
Современное поисковое продвижение в Яндексе и Google требует кардинальной смены парадигмы в проектировании внутренней структуры веб-ресурсов. Традиционное восприятие перелинковки как хаотичного или по...
Читать
Распахните потенциал Google Forms: с пошаговой инструкцией к совершенству
29 мая 2024
3940
Распахните потенциал Google Forms: с пошаговой инструкцией к совершенству
Google Forms - это бесплатный облачный сервис от компании Google, позволяющий создавать интерактивные онлайн-формы, опросы, тесты и анкеты в пару кликов. Сервис входит в набор офисных приложений G...
Читать
Автоматический обзвон клиентов голосовым роботом: полное руководство по запуску от А до Я в 2026 году
23 апреля 2026
270
Автоматический обзвон клиентов голосовым роботом: полное руководство по запуску от А до Я в 2026 году
Современный рынок коммуникаций переживает фундаментальную трансформацию. Еще несколько лет назад автоматический обзвон ассоциировался исключительно с агрессивным телемаркетингом и низкокачественны...
Читать
Как узнать регистратора доменных имен: кто это, как устроен и как выбрать лучшего
26 сентября 2025
443
Как узнать регистратора доменных имен: кто это, как устроен и как выбрать лучшего
Доменные имена — это важный элемент в цифровом мире, являющийся основой для любого онлайн-проекта, будь то сайт, интернет-магазин или блог. Каждый сайт в интернете имеет свой уникальный адрес, кот...
Читать
Маркетинг: Путь к Успешным Продажам
30 мая 2024
1625
Маркетинг: Путь к Успешным Продажам
Маркетинг - это комплексный процесс, направленный на выявление и удовлетворение потребностей клиентов с целью получения прибыли. Термин происходит от английского "marketing", что можно перевести к...
Читать
Руководство по оптимизации INP: от поиска Long Tasks до зеленой зоны Core Web Vitals
25 мая 2026
250
Руководство по оптимизации INP: от поиска Long Tasks до зеленой зоны Core Web Vitals
Современное поисковое продвижение сайтов в Яндекс и Google вышло далеко за рамки классической оптимизации метатегов и закупки ссылочной массы. Сегодня ключевым фактором ранжирования и удержания по...
Читать
API - проводники в эру функциональных и масштабируемых решений
6 марта 2025
1505
API - проводники в эру функциональных и масштабируемых решений
Представьте, что вы являетесь разработчиком нового мобильного приложения для заказа еды. Чтобы интегрировать функцию просмотра ресторанов на карте, удобного поиска заведений и построения...
Читать
10 ключевых правил копирайтинга для создания эффективных и продающих текстов
5 ноября 2025
390
10 ключевых правил копирайтинга для создания эффективных и продающих текстов
Копирайтинг — это искусство создания текстов, которые не только информируют, но и убеждают. В современном мире, насыщенном информацией, эффективный копирайтинг стал ключевым элементом в маркетинге...
Читать
Что такое валовая маржа простыми словами: как рассчитать по формуле с примерами
13 апреля 2026
247
Что такое валовая маржа простыми словами: как рассчитать по формуле с примерами
Валовая маржа — это финансовый показатель, представляющий собой разницу между суммарной выручкой компании и переменными (прямыми) расходами на производство товара или оказание услуг. Простыми слов...
Читать
Как продвигать мобильные приложения в 2025: выход в топ App Store и Google Play
25 августа 2025
535
Как продвигать мобильные приложения в 2025: выход в топ App Store и Google Play
В 2025 году рынок мобильных приложений стал максимально конкурентным. Пользователи скачивают только то, что быстро находят в топе App Store или Google Play, а алгоритмы учитывают не только количес...
Читать
Модель AIDA: Исчерпывающий обзор концепции, проверенной временем
17 февраля 2025
1164
Модель AIDA: Исчерпывающий обзор концепции, проверенной временем
Техника AIDA является одной из самых известных и проверенных временем моделей в сфере маркетинга и продаж. Ее широкое распространение и популярность объясняются простотой, структурированностью про...
Читать
Ошибка 429: выявляем источник проблемы и находим эффективные пути решения
24 марта 2025
2155
Ошибка 429: выявляем источник проблемы и находим эффективные пути решения
Ошибка 429 Too Many Requests является распространенной проблемой, с которой нередко сталкиваются веб-разработчики, администраторы сайтов и даже обычные пользователи интернета. Эта ошибка HTTP-стат...
Читать
Основные причины недоверия к сайту и способы их устранения
23 февраля 2026
168
Основные причины недоверия к сайту и способы их устранения
В современном мире интернет-сайты играют ключевую роль в бизнесе. Однако даже если ваш сайт выглядит красиво, это не гарантирует, что пользователи будут доверять ему и, как следствие, совершать покупк...
Читать
Ошибка 502 Bad Gateway: полное руководство по диагностике и исправлению
23 июля 2024
1447
Ошибка 502 Bad Gateway: полное руководство по диагностике и исправлению
Ошибка 502 Bad Gateway - довольно распространенная проблема, с которой рано или поздно сталкиваются многие веб-мастера и пользователи интернета. Суть ее заключается в том, что веб-сервер, выступая...
Читать
Новый алгоритм Яндекса против малополезного контента: как защитить сайт и вернуть позиции
4 февраля 2026
278
Новый алгоритм Яндекса против малополезного контента: как защитить сайт и вернуть позиции
Алгоритмы поисковых систем становятся умнее каждый год, и 2025-й — один из самых заметных этапов их развития. Яндекс усилил контроль за качеством контента и обновил фильтры, направленные на борьбу...
Читать
Что такое релевантность простыми словами
16 мая 2024
2284
Что такое релевантность простыми словами
Определение релевантности В широком смысле релевантностью называют соответствие одного объекта другому. Это понятие произошло от английского relevant — соответствующий, уместный. В SEO рел...
Читать
Как увеличить органические продажи на маркетплейсах: полное руководство по оптимизации карточек товара
22 июня 2026
173
Как увеличить органические продажи на маркетплейсах: полное руководство по оптимизации карточек товара
В 2026 году рынок маркетплейсов окончательно трансформировался: эпоха «дикого роста», когда продажи шли практически у любого продавца, сменилась жесткой конкурентной борьбой. Сегодня Wildberries, ...
Читать
Как узнать и изменить User Agent в любом браузере — пошагово и понятно
31 июля 2025
1247
Как узнать и изменить User Agent в любом браузере — пошагово и понятно
User Agent — это уникальная строка, которая передаётся сайту при каждом открытии веб-страницы. Её основная задача — сообщить серверу, какое именно устройство, операционная система и браузер исполь...
Читать
Куда приведут прокси: безопасность, маркетинг, SEO
5 июня 2024
1222
Куда приведут прокси: безопасность, маркетинг, SEO
Прокси-сервер - это промежуточное звено между пользователем интернета и веб-ресурсами, на которые он заходит. Его основная задача - выступать в роли посредника, перенаправляя запросы и скрывая реа...
Читать
Гипертекст: Что это, как работает и зачем он нужен в современном интернете
18 июля 2025
1027
Гипертекст: Что это, как работает и зачем он нужен в современном интернете
Гипертекст — это не просто часть веб-страницы, а основа всей цифровой среды, в которой мы живём. Он настолько глубоко интегрирован в наш повседневный онлайн-опыт, что многие даже не осознают его п...
Читать
смотреть все