Screaming Frog SEO Spider Обновление - Версия 9.0

1. 1) Конфигурируемое хранилище базы данных (масштаб)
2. 2) Распределение памяти в приложении
3. 3) Хранить и просматривать HTML и визуализированный HTML
4. 4) Пользовательские заголовки HTTP
5. 5) Улучшения XML Sitemap
6. 6) функция гранулярного поиска
7. 7) Обновлен эмулятор сниппета SERP
8. 8) Запросы API после сканирования
9. Другие обновления
10. Небольшое обновление - версия 9.1 выпущена 8 марта 2018 года
11. Небольшое обновление - версия 9.2 выпущена 27 марта 2018 года
12. Небольшое обновление - версия 9.3 выпущена 29 мая 2018 года
13. Небольшое обновление - версия 9.4 выпущена 7 июня 2018 года

Я рад объявить о выпуске Screaming Frog SEO Spider 9.0 с внутренним кодовым названием «8-летняя Обезьяна».

Наша команда была занята разработкой, работая над новыми захватывающими функциями. В нашем последнем обновлении мы выпустили новый пользовательский интерфейс, в этом выпуске у нас появился новый и чрезвычайно мощный гибридный механизм хранения. Вот что нового.

1) Конфигурируемое хранилище базы данных (масштаб)

SEO Spider традиционно использует оперативную память для хранения данных, что позволяет ему иметь некоторые удивительные преимущества; помогает сделать его молниеносным, сверхгибким, а также предоставляет данные и отчеты в реальном времени, фильтрует, сортирует и ищет во время сканирования.

Однако хранение данных в памяти также имеет свои недостатки, особенно в масштабировании. Вот почему версия 9.0 теперь позволяет пользователям выбирать сохранение на диск в базе данных, что позволяет SEO Spider сканировать в действительно беспрецедентном масштабе для любого настольного приложения, сохраняя при этом те же, знакомые отчеты в реальном времени и удобство использования.

Ограничение сканирования по умолчанию теперь составляет 5 миллионов URL в SEO Spider, но это не жесткое ограничение, SEO Spider способен сканировать значительно больше (с правильным оборудованием). Здесь просканировано 10 миллионов URL-адресов, из которых 26 миллионов (с 15 миллионами в очереди), например.

Мы ненавидим нумерацию страниц, поэтому мы позаботились о том, чтобы SEO Spider был достаточно мощным, чтобы пользователи могли спокойно просматривать данные. Например, вы можете прокрутить 8 миллионов заголовков страниц, как если бы это было 800.

Отчеты и фильтры также являются мгновенными, хотя сортировка и поиск в большом масштабе займут некоторое время.

Важно помнить, что сканирование остается процессом, интенсивно использующим память, независимо от того, как хранятся данные. Если данные не хранятся в ОЗУ, потребуется много места на диске с достаточным объемом ОЗУ и, в идеале, твердотельными накопителями. Таким образом, все еще требуются достаточно мощные машины, в противном случае скорость сканирования будет ниже, чем у ОЗУ, поскольку узким местом становится скорость записи на диск. Твердотельные накопители позволяют SEO Spider сканировать со скоростью, близкой к оперативной памяти, и мгновенно читать данные, даже в огромных масштабах.

По умолчанию SEO Spider будет хранить данные в ОЗУ («режим хранения в памяти»), но пользователи могут вместо этого выбрать сохранение на диск, выбрав «режим хранения базы данных» в интерфейсе (через «Конфигурация> Система> Хранилище»). на их технические характеристики машины и требования к сканированию.

Пользователи, не имеющие SSD или имеющие мало места на диске и имеющие много оперативной памяти, могут предпочесть продолжить сканирование в режиме хранения памяти. В то время как другие пользователи с твердотельными накопителями могут предпочесть просто сканировать, используя «режим хранения базы данных» по умолчанию. Настраиваемое хранилище позволяет пользователям определять свой опыт, поскольку оба режима хранения имеют свои преимущества и недостатки в зависимости от технических характеристик и сценария машины.

Пожалуйста, смотрите наш гид на как сканировать очень большие сайты для более подробной информации об обоих режимах хранения.

Сохраненный формат сканирования (файлы .seospider) одинаковы в обоих режимах хранения, поэтому вы можете запустить сканирование в ОЗУ, сохранить и возобновить сканирование в масштабе при сохранении на диск (и наоборот).

2) Распределение памяти в приложении

Прежде всего, прошу прощения за то, что заставил всех вручную редактировать файл .ini, чтобы увеличить выделение памяти за последние 8 лет. Теперь вы можете установить распределение памяти внутри самого приложения, что немного более удобно для пользователя. Это можно установить в «Конфигурация> Система> Память». SEO Spider даже сообщит вашу физическую память, установленную в системе, и позволит вам быстро настроить ее.

Увеличение выделения памяти позволит SEO Spider сканировать больше URL-адресов, особенно в режиме хранения в ОЗУ, а также при хранении в базе данных. При сохранении на диск память действует как кеш, что позволяет SEO Spider быстрее выполнять действия и сканировать больше URL-адресов.

3) Хранить и просматривать HTML и визуализированный HTML

Теперь вы можете хранить как необработанный HTML, так и визуализированный HTML для проверки DOM (когда JavaScript рендеринг режим) и просмотрите их в нижнем окне «Просмотр источника».

Это очень полезно для различных сценариев, таких как отладка различия между тем, что видно в браузере и в SEO Spider (вы больше не нужно использовать WireShark ), или просто при анализе того, как был представлен JavaScript, и есть ли определенные элементы в коде.

Вы можете одновременно просматривать исходный HTML и визуализированный HTML, чтобы сравнить различия, которые могут быть особенно полезны, когда элементы динамически создаются с помощью JavaScript.

Вы можете включить эту функцию в разделе «Конфигурация> Паук> Дополнительно» и отметить соответствующие опции «Сохранить HTML» и «Сохранить визуализированный HTML», а также экспортировать весь HTML-код, используя «Массовый экспорт> Источник всех страниц». меню уровня.

Здесь запланированы некоторые дополнительные функции, чтобы помочь пользователям определить различия между статическим и визуализированным HTML.

4) Пользовательские заголовки HTTP

SEO Spider уже предоставил возможность настраивать заголовки user-agent и Accept-Language, но теперь пользователи могут полностью настроить запрос заголовка HTTP.

Это означает, что вы можете установить что угодно: от кодировки accept, cookie, реферера или просто указав любое уникальное имя заголовка. Это может быть полезно при моделировании использования файлов cookie, логики управления кэшем, тестирования поведения реферера или других способов устранения неполадок.

5) Улучшения XML Sitemap

Теперь вы можете создавать XML Sitemaps с любым кодом ответа, а не просто 200 страницами состояния «ОК». Это позволяет гибко быстро создавать карты сайта для различных сценариев, например, для страниц, которые еще не существуют, от 301 до новых URL-адресов, и вы хотите заставить Google выполнить повторное сканирование, или вы хотите 404/410, и вы хотите быстро удалить из индекса.

Если у вас правильно настроен hreflang на веб-сайте, вы также можете включить hreflang в XML Sitemap.

Обратите внимание - SEO Spider может создавать XML-файлы Sitemap только с hreflang, если они уже присутствуют в настоящее время (в виде атрибутов или через заголовок HTTP). Больше прийти сюда.

6) функция гранулярного поиска

Ранее, когда вы выполняли поиск в SEO Spider, он выполнял поиск по всем столбцам, которые нельзя было настроить. SEO Spider теперь будет выполнять поиск только по столбцу адреса (URL) по умолчанию, и вы сможете выбрать, по каким столбцам выполнять поиск по регулярному выражению.

Это, очевидно, делает функциональность поиска более быстрой и полезной.

7) Обновлен эмулятор сниппета SERP

Google значительно увеличил среднюю длину фрагментов SERP в ноябре прошлого года, где они подскочили с 156 символов до более чем 300. Согласно нашему исследованию, фильтры максимальной длины описания по умолчанию были увеличены до 320 символов и 1866 пикселей на рабочем столе в SEO. Паук.

Нижнее окно Предварительный просмотр фрагмента SERP также был обновлен, чтобы отразить это изменение, чтобы вы могли посмотреть, как ваша страница может выглядеть в Google.

Стоит помнить, что это для рабочего стола. Количество фрагментов мобильного поиска также увеличилось, но по нашим исследованиям они немного меньше - ок. 1,535px для описания, которое обычно не превышает 230 символов. Таким образом, если большая часть вашего трафика и конверсий осуществляется через мобильный телефон, вы можете обновить настройки максимального описания в разделе «Конфигурация> Паук> Настройки». Вы можете переключить тип устройства в эмуляторе фрагмента SERP, чтобы увидеть, как они выглядят в отличие от рабочего стола.

Как указывалось ранее, эмулятор фрагмента SERP иногда может быть словом в обоих направлениях по сравнению с тем, что вы видите в Google SERP из-за точных размеров пикселей и границ. Google также иногда урезал описания намного раньше (особенно для видео), поэтому, пожалуйста, используйте только в качестве приблизительного руководства.

8) Запросы API после сканирования

Наконец, если вы забыли подключиться к Гугл Аналитика , Google Search Console , величавый , Ahrefs или же Мос после того, как вы начали сканирование или реализовали его в самом конце, теперь вы можете подключиться к его API и «запрашивать данные API», не пересекая все URL-адреса.

Другие обновления

Версия 9.0 также включает в себя ряд небольших обновлений и исправлений ошибок, описанных ниже.

• В то время как мы ввели новый режим хранения базы данных для улучшения масштабируемости, производительность стандартного хранилища также была значительно улучшена. SEO Spider использует меньше памяти, что позволит пользователям сканировать больше URL, чем предыдущие итерации SEO Spider.
• ' исключать «Конфигурация теперь работает мгновенно, так как она применяется к URL-адресам, уже ожидающим в очереди. Ранее исключение работало только для новых обнаруженных URL-адресов, а не для тех, которые уже найдены и ожидают в очереди. Это означало, что вы можете применить исключение, и пройдет некоторое время, прежде чем SEO Spider перестанет сканировать URL-адреса, соответствующие вашему регулярному выражению исключения. Уже нет.
• Вкладки (и экспорты) «inlinks» и «outlinks» теперь включают все источники URL, а не только ссылки (элементы привязки HTML) в качестве источника. Ранее, если URL был обнаружен только с помощью канонического атрибута, атрибута hreflang или rel next / prev, вкладка «ссылки» была бы пустой, и пользователям приходилось полагаться на «отчет о пути сканирования» или различные отчеты об ошибках, чтобы подтвердить источник просканированного URL. Теперь они включены в «inlinks» и «outlinks», а «type» определяет элемент источника (ahref, HTML canonical и т. Д.).
• В соответствии с планом Google по прекратить использование старая схема сканирования AJAX (и прямой рендеринг #! URL), мы настроили рендеринг по умолчанию, чтобы только текст , Вы можете переключаться только между текстом, старой схемой сканирования AJAX и рендерингом JavaScript.
• Теперь вы можете выбрать «отменить» загрузку при сканировании, экспорт данных или запуск поиска или сортировку.
• Мы добавили несколько симпатичных номеров строк в custom robots.txt особенность.
• Чтобы соответствовать характеристикам рендеринга Google, теперь мы разрешаем URL-адреса BLOB-объектов во время Рендеринг JS ползать.
• Мы переименовали старый отчет «GA & GSC Not Matched» в « Страницы сирот отчет, так что это немного более очевидно.
• Перезапись URL теперь применяется к режиму ввода списка.
• Теперь для удобства перезаписи URL есть удобная опция «удалить все параметры».
• Мы ввели многочисленные JavaScript рендеринг улучшения стабильности.
• Версия Chromium, используемая для рендеринга, теперь отображается в диалоговом окне «Справка> Отладка».
• Режим списка теперь поддерживает загрузку файлов .gz.
• SEO Spider теперь включает в себя обновление Java 8 161 с несколькими исправлениями ошибок.
• Исправлено: SEO Spider некорректно сканировал бы все «исходящие ссылки» с страниц перенаправления JavaScript или страницы с мета-обновлением с пометкой «Всегда следовать перенаправлениям» в расширенной конфигурации. Спасибо нашему другу Фили Вайзе при обнаружении этого!
• Исправлено: интеграция Ahrefs запрашивает данные о домене и поддомене несколько раз.
• Исправлено: интеграция Ahrefs не запрашивала информацию для HTTP и HTTPS на (суб) доменном уровне.
• Исправлено: в отчете о пути сканирования отсутствовали некоторые типы ссылок, которые теперь исправлены.
• Исправлено: некорректное поведение robots.txt для правил, заканчивающихся * $.
• Исправлено: недействительная дата истечения срока действия cookie браузера Браузера для локалей за пределами Великобритании.

Это все на данный момент. Это большой релиз, которым мы гордимся внутри компании, поскольку он представляет собой новую площадку для того, что достижимо для настольных приложений. Это делает сканирование в масштабе более доступным для сообщества SEO, и мы надеемся, что вам всем понравится.

Как всегда, если у вас возникли проблемы с нашим последним обновлением, сообщите нам об этом через служба поддержки и мы поможем и решим любые вопросы.

Сейчас мы начинаем работу над версией 10, в которую будут включены некоторые давние запросы функций. Спасибо всем за их терпение, отзывы, предложения и постоянную поддержку Screaming Frog , это действительно ценится.

Теперь, пожалуйста, зайдите и загрузите версию 9.0 Screaming Frog SEO Spider и дайте нам знать ваши мысли.

Небольшое обновление - версия 9.1 выпущена 8 марта 2018 года

Мы только что выпустили небольшое обновление до версии 9.1 SEO Spider. Этот релиз в основном исправляет ошибки и небольшие улучшения -

• Следите за использованием диска в пользовательском каталоге базы данных, а не в домашнем каталоге. Благодаря Майк Кинг для этого!
• Прекратить мониторинг использования диска в режиме памяти.
• Сделать поддержку чтения карты сайта utf-16.
• Исправить сбой с помощью Google Analytics в режиме хранения базы данных.
• Исправлена ​​ошибка, из-за которой статистика глубины не отображалась при загрузке в сохраненном сканировании.
• Исправлен сбой при просмотре Inlinks в нижней части окна.
• Исправлено падение в Custom Extraction при использовании xPath.
• Исправить сбой при неудачной инициализации встроенного браузера.
• Исправлен сбой при импорте сканирования в режиме хранения базы данных.
• Исправлен сбой при сортировке / поиске основного главного вида.
• Исправлено падение при редактировании пользовательского файла robots.txt.
• Исправлена ​​прерывистая прокрутка во вкладке View Source.
• Исправлен сбой при поиске на вкладке «Просмотр источника».

Небольшое обновление - версия 9.2 выпущена 27 марта 2018 года

Мы только что выпустили небольшое обновление до версии 9.2 SEO Spider. Как и в 9.1, этот выпуск исправляет ошибки и включает в себя некоторые небольшие улучшения.

• Ускорьте экспорт генерации XML Sitemap.
• Добавить возможность отмены экспорта XML Sitemap.
• Добавьте опцию для запуска без инициализации встроенного браузера (Конфигурация-> Система-> Встроенный браузер). Это для пользователей, которые не могут обновить свои параметры безопасности и не требуют сканирования JavaScript.
• Увеличьте пользовательскую максимальную длину извлечения до 32 000 символов.
• Запретить пользователям устанавливать каталог базы данных в места, доступные только для чтения.
• Исправлено переключение в древовидное представление с поиском по месту, которое показывает диалог «Поиск», навсегда и навсегда.
• Исправить неверное количество ссылок после повторного паука.
• Исправлен сбой при выполнении поиска.
• Исправить сбой сохраненного проекта при сканировании в режиме списка с данными hreflang.
• Исправлен сбой при повторном паутинге в режиме списка.
• Исправьте сбой в экспорте «Массовый экспорт> Весь источник страницы».
• Исправить обрезку веб-страницы на скриншотах.
• Исправлен поиск в древовидном представлении, пока сканирование не идет в ногу со временем.
• Исправлена ​​ошибка, из-за которой в древовидной структуре отсутствовал адресный столбец
• Исправьте отсутствующие пространства имен в файлах сайта hreflang XML.
• Исправьте ненужные пространства имен из XML-файлов сайтов.
• Исправлена ​​ошибка, из-за которой политика общего доступа к ресурсам в разных источниках неверно сообщалась при отображении JavaScript.
• Исправлена ​​ошибка загрузки при большом сканировании в режиме базы данных.

Небольшое обновление - версия 9.3 выпущена 29 мая 2018 года

Мы только что выпустили небольшое обновление до версии 9.3 SEO Spider. Подобно 9.1 и 9.2, этот выпуск исправляет ошибки, а также содержит некоторые небольшие улучшения.

• Обновление ширины пикселя фрагмента SERP.
• Обновление до Java 1.8, обновление 171.
• Ярлыки не созданы для учетной записи пользователя при установке в качестве администратора в Windows.
• Не удается продолжить работу с Majestic, если вы загрузили сохраненный сканер.
• Удаленный URL появляется снова после сохранения / загрузки сканирования.
• Inlinks исчезают после повторного паука.
• Количество внешних ссылок никогда не обновляется.
• HTTP Canonicals неверен, когда целевой URL содержит запятую.
• Экспорт «Директив> Далее / Пред» завершается неудачно из-за косой черты в имени файла по умолчанию.
• Сбой при редактировании описания SERP с использованием режима хранения базы данных.
• Сбой в AHREF при ползании без кредитов.
• Сбой при запуске из-за установленных пользователем библиотек Java.
• Сбой при удалении URL в древовидном представлении.
• Сбой сканирования страниц с кодировкой utf-7.
• Сбой при использовании режима хранения Datebase в турецкой локали.
• Загрузка поврежденного файла .seospider вызывает сбой в режиме хранения базы данных.
• Отсутствующие зависимости при инициализации встроенного браузера в Ubuntu 18.04.

Небольшое обновление - версия 9.4 выпущена 7 июня 2018 года

Мы только что выпустили небольшое обновление до версии 9.4 SEO Spider.

• Возврат Java к обновлению 161 версии 1.8 из-за сбоя при расчете ширины шрифта для вычислений SERP.
• Исправлена ​​проблема с перезаписью типов контента во время рендеринга JavaScript.
• Исправлен сбой при создании снимков экрана при рендеринге JavaScript.