RiveSolutions SEO Spider FAQ

Как изменить user-agent?

Для смены user-agent откройте настройки ‘Настройки User Agent’: Выберите мобильный или десктопный вариант строки user-agent:

Как прокраулить сайт с использованием прокси?

Для использования прокси, откройте страницу настроек прокси в меню настроек: Затем введите адрес прокси и при необходимости логин/пароль, если прокси сервер требует авторизации:

Как получить все страницы в фильтре в виде Excel файла?

Допустим в ходе анализа сайта обнаружилось, что у вас много дубликатов значений тега Title, или любых других проблем. Эти проблемы отображаются в так называемых фильтрах. Если вы хотите сохранить информацию об этих проблемах, для дальнейшего исправления или составления плана работ, то вы можете экспортировать эти данные в таблицу Excel.

Для этого выберите конкретный фильтр, у вас подсветится кнопка экспорта данных.

Нажмите на нее, затем вы сможете создать имя для файла с данными и сохранить его по нужному пути.

Как прокраулить весь сайт?

По умолчанию SEO Spider обходит все ссылки вашего сайта без учета поддоменов. Любые поддомены в этом случае трактуются как внешние ссылки. Для того, чтобы проанализировать поддомены, вам нужно включить настройку «Переходить по ссылкам на поддомены».

Кстати, для ускорения анализа вашего сайта, вы можете отключить проверку CSS, JavaScript, SWF и внешних ссылок.

Как прокраулить только ссылки из выбранной поддиректории?

Если вы хотите прокраулить единственно выбранную поддиректорию, то для этого вам нужно ввести URL адрес этой директории и прежде чем запустить анализ сайта, выставить соответствующую настройку.

Для этого откройте настройки краулера и отключите настройку «Анализировать страницы за пределами начальной папки».

Тем самым вы запрещаете программе выходить за пределы заданной папки.

Что делать если меня заблокировал сервер?

Во-первых, вы можете изменить user agent краулера, так как иногда блокировка происходит по идентификации user agent’a. Как это сделать, читайте здесь.

Во-вторых, если вы уже заблокированы, вы можете воспользоваться прокси серверами. Как заставить программу для анализа сайта использовать прокси, читайте здесь.

В-третьих, чтобы такое не происходило, в программе предусмотрено задание временной паузы между запросами. Вы сразу ее можете выставить, если заранее знаете, что при частых запросах конкретный сервер вас точно заблокирует. О том как выставить паузу между запросами и как она работает, читайте здесь.

Как включить паузу между запросами для анализа сайта?

Временная пауза между запросами — это частота выгрузки страниц с сайта для анализа. Условно говоря, если временная пауза 2 секунды, то программа не будет загружать данные с сайта чаще 2 секунд.

Для включения этой опции, откройте ‘Настройки паузы краулера’:

Затем включите опцию ‘Использовать паузу между запросами’:

Далее вам станет доступно задание настроек верхней и нижней временной границы паузы.

Если верхняя граница не равна нижней, в таком случае вы задаете диапазон значений временной паузы. Программа каждый раз будет выбирать случайное время для паузы из этого диапазона.

Обратите внимание, вы не сможете задать верхнюю границу меньше, чем нижнюю границу. Если в самом начале у вас заданы значения 0/0, то сперва задайте верхнюю границу.

После чего нажмите кнопку Применить’.

Как проверить наличие счетчика Яндекс Метрики на всех страницах сайта?

Для начала вам нужно узнать номер счетчика Яндекс Метрики, сделать это можно, войдя в панель управления метрикой на сайте:

Скопируйте номер счетчика, наличие которого хотите проверить на всех страницах сайта.
Затем откройте в программе ‘Настройки поиска счетчиков Яндекс Метрики’:

Далее необходимо включить опцию поиска счетчиков Яндекс Метрики:

После чего введите номер счетчика и нажмите кнопку ‘Применить’.
Также вы можете нажать кнопку ‘Добавить счетчик’.
Появится новое поле для ввода, куда вы можете ввести второй счетчик.

Всего доступно 5 полей ввода счетчиков:

Примените настройки. После этого в таблице фильтров вы увидите фильтры, которые будут отображать страницы, с пропущенными счетчиками Яндекс Метрики:

Что такое фильтры?

В программе на странице ‘Информация аудита’ слева представлена так называемая таблица фильтров. Эта таблица состоит из строк (фильтров), описывающих наиболее типичные и важные ошибки, на которые стоит обратить внимание при проведении технического аудита сайта.

Какие страницы попадают в фильтры?

В каждый из фильтров попадают только те страницы, которые удовлетворяют условию фильтра. Так, например в фильтре ‘Дубликаты title’ будут находиться адреса страниц, на которых найдены повторяющиеся значения тега title в рамках всего вашего сайта.

Фильтр ‘Битые ссылки’ содержит адреса страниц, которые при загрузке вернули код ответа 404 Not Found. И так далее.

Для каждого из фильтров доступно краткое описание. Оно отображается над таблицей ссылок при выборе конкретного фильтра.

Группировка фильтров

Фильтры — очень удобное разбиение групп ошибок. Для каждого фильтра присвоена важность. Она отображается в виде иконки слева от названия. Всего есть три важности: info, warnings, error.

Например ‘Пустые meta keywords’ имеет важность ‘info’, так как поисковые системы на данный момент уже не анализируют значение этого тега, но он был оставлен для справки.

В программе имеется альтернативная сортировка фильтров только по важности. Для включения нажмите на иконку смены группировки фильтров, как показано ниже на скриншоте и выберите группировку по важности.

Фильтры будут сгруппированы по убыванию важности и таблица фильтров примет следующий вид:

О том, как экспортировать данные, представленные в фильтрах в таблицу Excel можно прочитать здесь.

В программе поддерживаются дополнительные всплывающие таблицы. Эти таблицы позволяют узнать три аспекта о какой-либо странице на сайте:

  • Ссылки на странице
  • Ссылки на этой странице
  • HTTP ответ сервера

Для отображения этих таблиц, просто кликните по одной из вкладок снизу:

После чего выделите из основной таблицы страницу, вам будет показана соответствующая информация о ней:

Как идентифицировать страницы с длинными названиями страниц, мета-описаниями или URL-адресами?

Для этих целей в программе представлены три фильтра в разделе ‘Информация аудита’:

  • Слишком длинные значения title
  • Слишком длинные meta description
  • Слишком длинные ссылки

В эти фильтры попадают страницы (о фильтрах читайте здесь), на которых значения указанных элементов веб-страницы по длине превышают заданные вами же значения. То есть вы сами можете конфигурировать максимальную длину тех или иных элементов страниц при проведении аудита.

Для изменения максимальной длин тегов title или meta description, перейдите в `Настройки параметров размера/длины` и подкорректируйте соответствующие значения:

Для конфигурирования максимальной длины ссылок перейдите в `Настройки лимитов` и затем задайте необходимую вам максимальную длину ссылок: