Для анализа внутренней оптимизации сайта наряду с программой Xenu Link Sleuth существует аналог Screaming Frog SEO Spider. Его функционал также упрощает выполнение задачи аудита сайта.
Скачать данную программу можно на официальном сайте https://www.screamingfrog.co.uk/seo-spider/check-updates/?version=5.1 .
Screaming Frog SEO Spider может применяться на следующих операционных системах: Windows, OS X 10.7.3 & Later, OS X 10.7.2 & earlier, Ubuntu.
У Screaming Frog SEO Spider большое количество плюсов. Он позволяет:
сканировать весь сайт или отдельные необходимые страницы- искать страницы, которые имеют в коде вручную заданный текст или фрагмент кода
- вывести структуру сайта
- настроить сканирование и отображаемую информацию
- сгенерировать файл sitemap.xml с расширенными настройками
- использовать произвольный User-Agent
- сканировать сайты, требующие авторизацию через базовую аутентификацию
- сделать паузу в сканировании, запомнить и продолжать с этого места при новом запуске
- отсканировать необходимые страницы сайта или не включать их в сканирование
- выгружать данные в CSV с расширенными возможностями
- настроить перенаправление URL-адресов
- выдает обширную информацию по SEO о найденных страницах
- имеет поддержку API Google Analytics и Google Search Console (Google Webmaster)
- отображает коды ответа сервера для найденных страниц
Но имеет и некоторое количество минусов:
- сложно отсканировать очень большие сайты, которые имеют больше 300 тысяч страниц
- отсутствует русская локализация
- сложности освоения интерфейса
- требования к ресурсам компьютера
- неудобно выгружать исходящие ссылки с сайта
- невозможно рассчитать статический вес страниц
Основной функционал Screaming Frog SEO Spider:
- находит битые страницы и временные и постоянные редиректы, отображает анкоры и сами документы, где имеются ссылки на эти страницы.
- находит страницы по определенному фрагменту, выгружает содержимое тегов по регулярному выражению
- отображает структуру сайта и уровень вложенности страниц, визуализирует данные
- находит страницы с тегами title, в том числе совпадающие с тегом h1
- отображает информацию по meta-тегам, которые управляют поисковыми роботами (rel=»canonical», rel=»next», rel=»prev» тега link)
- проверяет время загрузки страницы
- находит дубли страниц по хэш-сумме исходного кода
- находит страницы с мета-тегами description
- находит изображения большого размера, а также где отсутствуют или длинные атрибуты alt и title тега img.