Используя механизм распределенного сканирования можно достичь наибольшей производительности в EmEx 3.
Суть этого механизма заключается в том, что очередь обрабатывается не по порядку, а по доменам. То есть, в работу (скачивание) берется линк со следующего домена, если текущий домен уже находится в работе.
Для примера: есть медленный сайт А и быстрый Б. Но в списке очередных ссылок ссылки с сайта А стоят первыми, и их много. Соответственно при линейном алгоритме управления очередью пока мы не пройдем полностью медленный сайт А мы не сможем перейти к более быстрому сайту Б.
При распределенном сканировании будут браться в работу ссылки с сайта А и с сайта Б в указаных долях. Таким образом, пока обрабатывается одна ссылка на сайт А, EmEx 3 успеет пройти три-четыре ссылки с сайта Б.
Включить механизм распределенного сканирования можно из настроек программы
|
Home / Support