Фильтр кодов ответа сервера
Для получения списка проблемных страниц можно использовать фильтр кодов ответа сервера
Можно отфильтровать проблемные страницы
Для успешной раскрутки сайта, вас, как руководителя бизнеса должно волновать есть ли на сайте страницы с кодами отличными от 200, т.е. нормальной работы сайта.
Особенно пристальное внимание нужно обращать на страницы с кодами 5*, 4*
Список кодов можно посмотреть в википедии: http://ru.wikipedia.org/wiki/Список_кодов_состояния_HTTP
Самый критичный случай – код 500 и выше, обычно это говорит о неработоспособности сайта.
Коды 400 и выше говорят о проблемах доступа к заданным ресурсам сервера.
Страницы сайта, к которым робот не может получить доступ
Пристальное внимание следует обращать на ответ сервера 404, который говорит, что заданный ресурс не найден.
Но, раз программа пыталась обращаться к такой странице, то где-то у вас на сайте есть ссылка на эту страница и следует поставить задачу исполнителям на устранение этой проблемы.
Программа позволяет автоматически найти все эти ссылки в режиме “Анализ содержания сайта”.