Добро пожаловать в EmEx 3

No contents entries on this page
Contents
Topic functions menu
Menu
This is the first topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

EmEx 3 предназначен для сбора информации (e-mail адресов, номеров телефонов, номеров ICQ/MSN/Skype и многого другого) из публичных источников, размещенных в сети Интернет.

При создании EmEx 3 были решены наиболее частые задачи, с которыми сталкивались пользователи нашего популярного продукта Advanced Email Extractor (AEE), а так же учтены новейшие технологии защиты e-mail адресов от подобного сбора.

Интерфейс пользователя стал проще и удобнее, а возможности программы - практически неограниченны.

Более 300 поисковых машин по всему миру могут обрабатывать ваши запросы. Мы постоянно отслеживаем актуальность баз данных скриптов для обработки результатов ответов от поисковых машин, поэтому вам не придется обновлять программу если поисковая машина изменила формат возвращаемых данных. При каждом запуске EmEx 3 вы получите обновленные настройки для поиска.

Посмотрите на краткий перечень возможностей EmEx 3 и убедитесь сами:

·Поиск как с заданного источника, так и по поисковым машинам

·Одновременный поиск по более чем 100 поисковым машинам мира

·Поддержка авторизации по HTTP или через веб форму

·Ограничение поиска по стране, доменной зоне или кодовой странице документа

·Гибко настраиваемый фильтр исключений

·Фильтр ссылок

·Фильтр доменов

·Фильтр ключевых слов, поддерживающий логические выражения

·Фильтр ограничения активности запросов к сканируемым сайтам (анти-флуд)

·Работа по расписанию

·Динамическая замена содержимого документа

·Маскировка по User-Agent

·Фильтрация по MIME типам

·Многопоточное сканирование, позволяющее обрабатывать до 100 ссылок одновременно

·Ограничение скорости загрузки

·Постоянно обновляемые скрипты для распознавания собираемой информации

·Использование прокси серверов

·Возможность создания собственных схем для сбора информации

·И многое другое!

© 2020 EMMA Labs All rights reserved.


Системные требования
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Для запуска EmEx 3 вам потребуется:

·Компьютер, работающий под управлением линейки от Windows 8.1 (32 бит) или старше

·Место на жестком диске - 50 мегабайт (для установки программы)

·Рекомендуемый объем оперативной памяти - 2 гигабайт и выше

·Подключение к сети интернет (ADSL/LAN/WiFi)

Рекомендуемые параметры для максимальной производительности:

·64 битная операционная система

·4 гигабайт оперативной памяти или больше


Как работает EmEx 3

No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Схема работы EmEx 3

Примечание:

Документ, обрабатываемый EmEx 3 преобразуется в Unicode по той кодировке, которая указана в заголовке HTML документа. Если же метка кодировки отсутствует, то будет произведена попытка преобразовать его в Unicode по текущей (системной) кодировки.


Высокая сетевая активность
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

При сборе информации с публичных источников вы должны учитывать фактор защиты от высокой сетевой активности с одного IP адреса (Flood). Большинство серверов (как и emex3.com, emex3.ru) имеют такое ограничение.

Что это означает?

Если с одного IP адреса приходит очень много запросов в короткий промежуток времени, то сайт начинает блокировать такие запросы на какой то промежуток времени, отдавая сообщение об ошибке или пустую страницу, тем самым защищаясь от возможной DDoS атаки с этого IP адреса.

Почему это так важно?

Поскольку EmEx 3 может загружать до 50 документов одновременно, то это может породить защитную реакцию сайта с подобной защитой. Процесс сканирования может быть расценен как потенциальная DoS атака и вы перестанете получать информацию с этого сервера, а соответственно и не сможете получать результаты поиска.

Как этого избежать?

·Используйте Механизм распределения по доменам, когда потоки загрузки веб страниц распределяются равномерно по разным доменам

·Используйте Фильтр ограничения активности

·Используйте Список анонимных прокси серверов. В этом случае каждый новый запрос будет порождаться с другого IP адреса. Но в этом случае учитывайте, что скорость получения данных начинает зависеть от скорости такого прокси сервера.


Бан от поисковых машин
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Современные поисковые машины также имеют защиту от повышенной сетевой активности.

Мы настоятельно рекомендуем не снимать запрет на сканирование прямых ссылок с поисковых машин в настройках. Иначе вы можете быть временно отключены от поисковой машины по превышение сетевой активности.


Глубина погружения, что это?
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Глубина погружения - это термин означающий насколько далеко EmEx 3 будет просматривать ссылки находящиеся в документе.

Например:

Document.htm содержит ссылки http://www.domain.com/page1.htm и http://www.domain2.com/page2.htm. Документ page1.htm содержит ссылку на документ http://www.domain3.com/page3.htm, а page2.htm на http://www.domain4.com/page4.htm

·При глубине погружения равной 0, EmEx 3 будет просматривать только Document.htm и не будет добавлять в очередь найденные ссылки.

·При глубине погружения равной 1, EmEx 3 добавит ссылки page1.htm и page2.htm, но не будет добавлять найденные в них ссылки в очередь.

·При глубине погружения равной 2, EmEx 3 добавит ссылки на page1.htm и page2.htm, а так же найденные в них page2.htm и page4.htm в очередь обработки.

Примечание:

Механизм ограничения по кросс-ссылкам действует аналогично, только границей перехода является имя домена, а не ссылка.

Иллюстрация механизма глубины погружения


Простая сетевая математика
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Самый частый вопрос в технической поддержке - "как быстро я соберу 10.000 реальных емейлов?"

Однозначного ответа не существует, и быть не может. И вот почему:

Результат работы EmEx 3 зависит целиком и полностью от Вас и источника поиска.

EmEx 3 обрабатывает тот документ, ссылку на который вы ему дали. Если там есть необходимая вам информация, то он ее извлечет. Но если ее там нет, то взять ее ему будет неоткуда.

Может статься так, что один единственный документ будет содержать все то, что вам надо, а может быть и так, что эту информацию придется собирать из десятков тысяч страниц.

Все зависит целиком и полностью от Вас - как вы настроите программу, что вы укажете в качестве источника, и есть ли необходимая информация на этом источнике.

Скорость работы EmEx 3 зависит от пропускной способности Вашего канала и канала Вашего провайдера.

Простая математика и не более того!
Допустим, что Вы имеете соединение, скоростью в 512 килобит. Это означает, в теории, что вы можете скачивать документы с максимальной скоростью в 64 килобайта/секунду. Средняя современная HTML страница может занимать до 150 килобайт. Соответственно на передачу этой страницы вы должны затратить около 2-3х секунд.

Если мы запускаем одновременно 10 потоков, то мы все равно не сможем получать более 64 килобайт/секунду.

Это ограничение нашего канала. Остановившись на исключительно идеальных требованиях мы получили среднюю скорость получения одной страницы - 2-3 секунды. Соответственно для обработки 100 страниц потребуется 200-300 секунд. Учтите, что для того, чтобы сервер начал вам отдавать страницу, требуется тоже некоторое время и служебный траффик (~10-20%), но уже исходящий.

От момента запроса страницы до ее получения потребуется, как минимум два раза отослать информацию на запрашиваемый сервер (HTTP запрос) и получить ответ (HTTP заголовки). И только потом уже начнется передача самой страницы. Но сюда еще вмешивается и ряд таких параметров, как загруженность канала до сервера и скорость ответа сервера.

Соответственно мы получим, в лучшем случае 200-300 секунд, а в реальности от 500 и более секунд на 100 страниц при канале в 512 килобит. Мы ввели различные схемы, для того, чтобы увеличить скорость работы EmEx 3 - это и распределенное сканирование, и использование прокси серверов. Тестируйте, используйте, подбирайте для себя наиболее оптимальные решения!


Качество результатов поиска
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Мы отвечаем на наиболее частые вопросы, относительно результатов поиска с помощью EmEx 3

Действительно ли все те емейлы, что я соберу будут реальными?

EmEx 3 не проверяет полученную информацию на правдивость. Его задача - собрать информацию в том виде, в каком она представлена на сайте. Ответственность за достоверность полученой информации несет владелец того ресурса, откуда эта информация была извлечена.

Существует ряд решений для проверки различного типа информации на актуальность.

Например, для емейл адресов, - продукты компании Emma Labs:

High Speed Verifier

Mailing List Wizard

Почему в результаты работы EmEx 3 может примешиваться "мусор"?

Пока не изобретен искусственный интеллект, мы вынуждены опираться на математику чисел и формулы поиска :)

Если бы все страницы в сети интернет были стандартизированы, то таких сбоев бы не возникало, но поскольку мы хотим получить необходимую информацию любым способом, то нам приходится расширять условия поиска и использовать алгоритмы, которые найдут больше, чем просто алгоритмы по стандартным условиям, но зато с определенными степенями погрешности.

Мы специально заложили в программу ряд фильтров, которые помогут свести этот "цифровой шум" до максимального минимума.


С чего начать?
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Вы в первый раз запустили EmEx 3 ? Этот раздел создан для вас!

Что вам надо знать:

·Как работает EmEx 3

·Интерфейс пользователя

·Как избежать бана на сканируемых сайтах

·Как избежать бана от поисковых машин

·Как быстро вы соберете необходимые результаты

Юридическая ответственность, это тоже немаловажно!

1.Прежде чем собирать информацию с какого либо из сайтов, убедитесь, что это не запрещено правообладателем

2.Мы не поддерживаем SPAM рассылки. Вся ответственность ложится только на Вас. Запомните! EmEx 3 - это персональная поисковая машина, а не инструмент для порождения SPAM активности.

3.Мы оставляем за собой право отозвать лицензию на EmEx 3, если он будет использоваться для совершения противоправных действий.


Основное окно
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Основное окно приложения состоит из четырех компонентов: Меню, закладок Очереди и Результатов, Панели настройки проекта и Монитора.


Меню
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Основное меню предоставлено тремя пунктами: Проект, Редактирование, Справка

Меню Проект

Из меню Проект вы можете управлять работой программы. Запускать, приостанавливать или останавливать текущий проект. Изменять ограничения полосы пропускания интернет-канала, изменять количество рабочих потоков сканирования и задать параметры работы по расписанию. Так же меню отображает график загрузки канала в реальном режиме времени.

Меню Редактирование

Меню Редактирование предназначено для редактирования очереди обработки и списка результатов

Так же можно сжать проект: удалить из очереди ссылки соответствующие данным критериям.

Меню Справка

Из меню Справка вы можете быстро перейти на страницы посвященные EmEx 3 и расположенные на нашем сайте. Так же посмотреть текущий статус Лицензии и произвести Активацию или перенос Лицензии на другой компьютер.


Меню в панели задач
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Из меню Панели задач доступны основные функции по управлению работой EmEx 3 аналогично меню Проект


Очередь
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Подробнее об очереди обработки см. Глоссарий

Окно очереди

Пиктограммы и их значение в очереди задач:

Ссылка обрабатывается

Успешная ссылка

Ссылка является редиректом и была перенаправлена

Ошибочная ссылка

Необработанная ссылка

Пропущенная ссылка


Список результатов
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

В закладке результатов находятся найденные EmEx 3 данные. С помощью контекстного меню вы можете удалить ненужные вам данные или внести изменения в проект для более тонкой настройки параметров поиска.


Строка информации
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Строка информации позволяет вам видеть текущие параметры проекта, общее время работы проекта, статус исполнения, а так же вызвать дополнительные окна результатов


Окно монитора
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

В Монитора отображается график работы EmEx 3, количество потоков загрузки и парсинга, а так же текущие обрабатываемые ссылки.

Используя монитор, Вы можете оптимизировать настройки EmEx 3 и повысить производительность или снизить нагрузку на компьютер.


Встроенный просмотр HTML
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Зачастую бывает так, что вы видите почтовый адрес на HTML странице, но EmEx 3 почему то его не находит.

Следует ли из этого, что механизм парсинга EmEx 3 содержит ошибку? В большинстве случаев ответ - нет.

Программы для автоматического сбора адресов существуют давно и самым простым способом найти e-mail в документе было просто искать символ "@". Поэтому стали вводить простую защиту от подобного поиска - заменить символ "@" на картинку или слова "(at)" или "_at_". Тогда исходный HTML текст не будет содержать почтовых адресов в явном виде, но для пользователя они будут видны или понятны как почтовый адрес.

С помощью встроенного HTML браузера вы сможете провести анализ такой страницы и правильно настроить модуль динамической замены для обхода защиты. Для удобства, просмотр кода мы снабдили синтаксической подсветкой.

Опытные пользователи для поиска нужных строк могут использовать язык регулярных выражений (стандарт Perl)


Интерфейс
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Основные настройки интерфейса EmEx 3

Сворачивать в трей

Кнопка 'Минимизировать' сворачивает EmEx 3 в системный трей

Закрывать в трей

Кнопка 'Закрыть' сворачивает EmEx 3 в системный трей

Всегда показывать иконку в трее

Значок EmEx 3 всегда присутствует в системном трее.

Одиночный клик вызывает приложение

Вызов EmEx 3 из системного трея происходит по одиночному щелчку кнопки мыши. Если не установлено, то требуется двойное щелчок.

Показывать оповещения в минимизированном виде

Показывать оповещения о завершении проекта и другие если свернут в системный трей

Запускать автоматически проект после создания

После завершения Мастера создания проекта, проект будет запущен автоматически.

Запускать автоматически проект после загрузки

После завершения загрузки проекта, проект будет запущен автоматически.

Использовать автосохранение проекта

Во время работы EmEx 3 будет автоматически сохранять проект через указанное время

Автоматически сжимать проект во время процесса сканирования

Во время работы EmEx 3 будет автоматически сжимать проект с заданными в интерфейсе параметрами через указанное время.


Настройки сети
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Регулирование скорости загрузки полезно, если вы хотите ограничить полосу пропускания интернет канала для EmEx 3 и высвободить ее для других приложений.

Тип соединения

Выберите скорость Вашего интернет канала. EmEx 3 автоматически рассчитает ограничения

Тест на скорость соединения

Если Вы не знаете скорость своего интернет канала, воспользуйтесь публичными измерителями скорости. При нажатии на кнопку откроется окно вашего браузера со ссылкой на http://www.dslreport.com/

Максимальная скорость

Загружать документы с максимально возможной скоростью

Средняя

Устанавливает среднюю скорость загрузки. Позволяет одновременно с работой EmEx 3 комфортно работать в Интернет

Низкая

Устанавливает низкую скорость загрузки. Удобно использовать в случаях, когда вы активно используете Интернет

Количество активных потоков

Устанавливает максимальное количество потоков загрузки ссылок.


Планировщик
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Планировщик - удобное средство если вы хотите распределить нагрузку на интернет-канал по времени.

Например в дневное время EmEx 3 будет использовать среднюю или низкую скорость загрузки, а в ночное время - максимальную.


Очередь

EMMA Labs website

Управление очередью
No contents entries on this page
Contents
Topic functions menu
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Настройте очередь для оптимальной работы EmEx 3. Настройки очереди влияют на скорость работы, нагрузку на процессор и оперативную память, а так же на защиту от высокой сетевой активности.

Линейный алгоритм

EmEx 3 будет обрабатывать ссылки в том порядке в котором они попали в очередь по принципу FIFO - первый вошел, первый вышел

Распределение по доменам

Потоки загрузки распределяются для разных доменов, во избежании нескольких одновременных запросов на один сервер. Тем самым защищаясь от блокировки за высокую сетевую активность.

Максимальное количество потоков на домен

Ограничение количества одновременных потоков загрузки для одного домена.

Уровень доменного имени

Уровень доменного имени по которому EmEx 3 будет считать что это другой сервер, как правило это домены 2-го уровня.

Например: emmalabs.ru

Не добавлять в очередь прямые ссылки на поисковые машины

Если документ содержит ссылку на поисковую машину (например Google), то EmEx 3 не будет добавлять эту ссылку в очередь обработки. Так как все поисковые машины имеют защиту от излишней активности, страница которая содержит много подобных ссылок может привести к блокировке Вашего IP адреса со стороны сервера.

Игнорировать ошибку 404 при скачивании

Ошибка 404 означает что такого документа на сервере нет. Однако некоторые сервера выдают ошибку 404, но при этом отдают документ содержащий нужную информацию.

Время ожидания (таймаут)

Время ожидания в течении которого поток загрузки будет пытаться получить ссылку. Слишком высокое время может привести к долгому ожиданию ответа от плохих серверов, слишком маленькое (на медленных каналах) к ложной пометке ссылки как ошибочной.

Количество попыток загрузки

Количество попыток загрузки ссылки в случае превышения времени ожидания ответа от сервера.

Ограничение количества потоков парсера

По умолчанию EmEx 3 автоматически запускает потоки парсера по мере необходимости. На очень быстрых интернет-каналах это может привести к неоправданно большой нагрузке на процессор и чрезмерному расходу оперативной памяти. Вы можете ограничить количество потоков парсера во избежании подобных проблем.

Представляться как браузер или поисковый робот

По умолчанию EmEx 3 представляется для сервера как браузер Internet Explorer (User-agent - Internet Explorer), если вы хотите изменить это поведение выберите нужную вам опцию. Так же это позволяет замаскироваться под поискового "паука", которому отдается другой, более облегченный контент.

Случайным образом

EmEx 3 будет выбирать произвольное значение User-agent для каждого нового домена из собственного списка.

Из списка

Вы можете выбрать конкретное стандартное значение User-agent.

Произвольный

Вы можете сформировать свое значение User-agent.


Прокси сервера
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

EmEx 3 может работать с прокси-серверами.

Прокси-сервера можно использовать как для того чтобы иметь возможность загружать страницы не напрямую из интернета (например если вы работаете в локальной сети), так и для того чтобы избежать блокирования сервером вашего IP адреса за частые запросы.

Использовать прокси-сервер

Для загрузки ссылок EmEx 3 будет использовать соединение только через через прокси-серверы.

Использовать файл списка прокси-серверов

Загрузить текстовый файл со списком прокси-серверов.

Список серверов должен быть в формате: адрес:порт , сервера разделяются переводом строки

Список прокси-серверов

Задать прокси-сервера вручную. Список серверов должен быть в формате: адрес:порт , сервера разделяются переводом строки

Периодически менять прокси-сервер

EmEx 3 будет периодически менять сервера из списков. В противном случае будет использоваться только первый из списка


Фильтрация по типу документов
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Фильтрация по типам документов позволяет сократит объем скачаной информации, за счет исключения определенных файлов, например архивов, музыкальных, видео и исполняемых файлов.

Этот фильтр использует определение по расширению файла. Т.е. по последним символам после знака точки в имени.

Обрабатывать все типы файлов

EmEx 3 будет пытаться загрузить все типы файлов для поиска данных.

Не обрабатывать указанные типы файлов

Расширения файлов, которые EmEx 3 будет игнорировать

Обрабатывать указанные типы файлов

Расширения файлов которые EmEx 3 будет загружать, файлы с другими расширениями будут игнорироваться.

Разрешить обработку документов без расширения

Разрешить обработку документа который не имеет расширения в дополнение к вышеуказанным расширениям. Документы без расширения как правило являются CGI-скриптами.

Не обрабатывать документы с размером больше чем:

Если размер файла превышает указанное значение, EmEx 3 не будет загружать этот файл


Ограничение активности
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Для борьбы с защитой от высокой сетевой активности мы рекомендуем не отключать этот фильтр

Домен

Имя сервера для которого используется фильтр. Например slon.ru

Количество запросов за период

Максимальное количество запросов за определенный промежуток времени

Период

Промежуток времени в течении которого могут быть выполнены запросы

Одновременных запросов

Количество допустимых одновременных запросов к серверу, если задано значение 0 - ограничение не используется


Фильтр доменов
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Домен

Имя домена (например google.com)

Включить все субдомены

Все домены более низкого уровня так же будут включены (например search.google.com, images.google.com и т.д.)

Настройки программы

Указанные настройки будут применены на уровне программы. В противном случае они будут применены только в текущем проекте.

Режим

Запретить - Все ссылки с этого домена не будут добавляться в очередь

Игнорировать - Все ссылки с этого домена будут добавлены в очередь, но помечены как пропущенные. В дальнейшем вы сами сможете принять решение и обработать только те ссылки, которые вам нужны.

Разрешить только - Все ссылки с этого домена будут добавлены в очередь. В то же время все ссылки с других доменов - нет. Полезно если вы хотите обработать несколько доменов не свзяанных друг с другом.

Применить изменения к текущей очереди заданий

Удалить все запрещенные или пометить все игнорируемые ссылки в текущей очереди заданий


Препроцессинг
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Правила предварительной обработки документов (препроцессинга) помогают избегать обработки документов содержащих определенные ключевые слова.

Редактирование

Редактирование выбраного правила

Добавить

Добавить новое правило

Удалить

Удалить правило. Правила полученные с сервера удалить нельзя.

Название

Название правила

Строка поиска

Строка поиска. Могут применяться логические элементы для усложненных параметров поиска:

| - логическое ИЛИ

& - логическое И (имеет более высокий приоритет перед логическим ИЛИ)

() - скобки для группировки и изменения приоритета логических операций

Область поиска

Область где EmEx 3 будет искать указанные слова.

Действие

Действие выполняемое в случае нахождения указаных слов


Фильтр MIME типов
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Сервера отдают информацию о файле в заголовках HTTP запроса c указанием MIME типа.

Фильтрация по MIME типу нужна для тех ссылок, которые не имеют расширения имени файла, и соответственно не могут быть отфильтрованы с помощью фильтра по типу документа. Однако, сервер, с которого получается этот документ, всегда возвращает его тип.

Используя MIME фильтр вы можете запретить (или разрешить) скачивание того типа данных, которые заведомо не содержат необходимую вам информацию (например видео-поток).

EmEx 3 может анализировать эту информацию для решения загружать эту ссылку или нет.

Включить MIME фильтр

Фильтрация по MIME-типам позволяет исключать заведомо ненужные файлы и не пытаться их загрузить, тем самым уменьшая время и объем загруженной информации.

Разрешить обработку MIME типов не присутствующих в списке

Разрешает EmEx 3 обрабатывать ссылки и документы с неизвестным MIME типом


Фильтр URL
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

"Черные" и "Белые" списки позволяют запретить или разрешить EmEx 3 пытаться обрабатывать определенные URL

Подстрока

Строка для поиска. Разрешено использование масок: * - любое количество символов, ? - любой одиночный символ

Режим

Запретить - Не добавлять URL, которые содержат подстроку или маску в очередь

Разрешить только - Добавлять в очередь только те URL, которые содержат указанную подстроку или маску

Чуствительно к регистру

Выполнять поиск с учетом регистра символов

Настройки программы

Указанные настройки будут применены на уровне программы. В противном случае они будут применены только в текущем проекте.


Ссылка или список
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

На этом этапе мастера настроек Вам предлагается указать источник, с которого вы будете получать необходимую информацию.

Вы можете использовать прямую ссылку на необходимый документ, или же воспользоваться мастером экспорта истории посещений страниц (только для Internet Explorer от версии 6.0 и выше).

Ссылка или файл содержащий список ссылок

В качестве исходного источника можно выбрать ссылку на сайт или документ сайта или же загрузить в EmEx 3 список ссылок.

EmEx 3 поддерживает два типа списков: документ стандарта HTML с ссылками типа A HREF= или обычный текстовый документ в котором перечислены ссылки в виде http://domain.com/page.htm

Требуется авторизация

Если ссылка указывает на сайт для которого требуется авторизация типа Login/Password (например для закрытых сайтов или интернет-форумов) отметьте эту опцию. В этом случае EmEx 3 проведет авторизацию (способ, зависит от настроек) и начнет сканирование с указанной вами ссылки.

Более точная настройка будет доступна на следующих шагах создания проекта. См. раздел Настройка авторизации

Требуется выполнить отсылку данных через веб-форму

Если ссылка указывает на некую форму (например окно поиска на сайте или форуме), которую требуется заполнить перед началом работы, вам необходимо отметить эту опцию. В этом случае EmEx 3 откроет ссылку во внутреннем окне браузера перед запуском проекта, где вы сможете заполнить необходимые вам поля и отослать запрос, после чего начнет обработку со страницы результата которую вернет сайт.


Использование поисковых машин
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Наличие в EmEx 3 постоянно обновляемого списка поисковых машин дает практически неограниченные возможности по поиску данных в интернете.

Наиболее частое применение для использования поисковых машин - это поиск ссылок определенного типа. Довольно часто вы ищете одно, а получаете от поисковиков абсолютно другое. EmEx 3 пройдется по ссылкам с указаной глубиной погружения, и используя фильтр ключевых слов и фильтр ссылок, найдет то, что вы искали.

Источник данных

Поисковая фраза

Для начала поиска необходимо указать поисковую фразу, на основе которой будет строится поиск. Полученные от поисковой машины ссылки будут поставлены в очередь для обработки на предмет поиска нужных данных.

Ограничение на количество результатов

Если необходимо ограничить получение ссылок от поисковой машины только первыми 100 ссылками - задайте соответствующее ограничение.

Если установлено значение 0 - количество ссылок не ограничено.

Расширенные настройки

Ограничения по глубине погружения

Ограничения

Без ограничений

Программа будет обрабатывать все ссылки найденные как в поисковой выдаче, так и внутри найденных сайтов.

С уровнем погружения

Обработка сайтов из поисковой выдачи согласно правилам глубины погружения

Сканировать только сайты из результатов поиска

Программа не будет обрабатывать ссылки ведущие на другие сайты если они будут найдены в внутри сайтов поисковой выдачи.

Поисковые машины

Выбор поисковых машин производится простым добавлением в правый список.

Предложить новый поисковик

Если вы нашли новую поисковую машину и хотите чтобы она была добавлена в список общедоступных нажмите кнопку 'Предложить новый поисковик', в открывшемся окне браузера заполните и отправьте форму запроса.

Мы проанализируем эту поисковую машину и обновим скрипты поиска. При последующем запуске EmEx 3 вы получите настройки для работы с этой поисковой машины автоматически.


Настройка авторизации
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Авторизация по HTTP (средствами системы)

EmEx 3 будет эмулировать заполнение всплывающего окна с запросом имени пользователя и паролем.

Пример системного окна авторизации

Логин

Имя пользователя. Строка которая будет передаваться окну.

Пароль

Пароль. Строка которая будет передаваться окну.

Примечание:

Значения логина и пароля сохраняются в проекте.

Использовать только для начального документа

Значения логина и пароля будут использованы только для начального документа. При получении другой ссылки содержащей запрос на авторизацию EmEx 3 не будет пытаться авторизоваться вновь.

Авторизация через веб-форму

Авторизация используя веб-форму на странице сайта. Например авторизация на интернет-форуме.

Пример веб-формы

Примечание:

Значения логина и пароля НЕ сохраняются в проекте.

Ссылка на документ содержащий форму авторизации

Ссылка по которой находится форма авторизации. Эта ссылка используется EmEx 3 для первоначальной авторизации на сайте. Обработка начнется с ссылки указанной в настройках проекта.


Рекомендации
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

На этом этапе мы хотим вам дать несколько полезных советов:

1.Не пытайтесь охватить своим поиском весь интернет - это не улучшит результатов, а всего лишь породит абсолютно бесцельно затраченный трафик.

2.Обязательно прочтите статью о глубине погружения. Погружение с глубиной в 5 ссылок от начального документа зачастую способно охватить фактически весь сайт целиком.

3.Используя механизмы авторизации следует помнить, что сайты подобного рода в 99.9% случаев защищены от излишней сетевой активности. И если вы не хотите лишиться вашей учетной записи на этом сайте, то настройте фильтр анти-флуда заранее, до старта проекта, а не после того, как админ этого сайта заблокирует вашу учетную запись.
Просто представьте сами, как это выглядит со стороны логов - один пользователь просматривает одновременно по 10 страниц со скоростью 5 страниц за секунду.... Естественно, что это робот! Тише едем - дальше будем.

4.Если вы не хотите видеть надпись "скорее всего на вашем компьютере вирус..." при попытке найти что-то в поисковой машине Google, то отключите прямое сканирование поисковых машин - вы не найдете таким образом там ничего из того, что ищете, но зато получите стопроцентный бан.

5.Использование фильтров динамической замены может существенно увеличить количество найденных результатов, но не увлекайтесь - это сильно повышает нагрузку на процессор и память.


Сбор емейл адресов
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Все

EmEx 3 будет собирать все e-mail адреса, которые найдет в загружаемых документах

Используя фильтрацию по стране/языку/доменной зоне

EmEx 3 будет фильтровать найденные e-mail адреса по заданным условиям

Проводить проверку на синтаксис

EmEx 3 будет проверять найденные адреса на предмет соответствия стандарту RFC.

Телефоны и факсы

Помимо e-mail адресов так же будет осуществляться сбор номеров телефонов и факсов

Ссылки

Будут собираться все ссылки которые будут найдены в документах


Ограничение по языку/стране (емейл адреса)
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

TLD емейла

Ограничение по добавлению email адреса исходя из его TLD (см. Глоссарий)

TLD документа

Ограничение на добавление емейла по доменной зоне ссылки.
Например: http://www.emmalabs.ru/emex/index.htm, для этой ссылки TLD - ru

Кодировка документа

Ограничение по добавлению емейла исходя из кодировки документа. EmEx 3 анализирует страницу и ищет в ней соответствующий тег CHARSET. Например charset=1251 будет означать что кодировка страницы Windows-1251

Язык документа

Ограничение по добавлению емейла исходя из языка документа. EmEx 3 анализирует страницу и ищет в ней тег LANG. Поскольку для кодировки страницы могут использоваться разные наборы символов (кроме 1251 или KOI-8R), в том числе и независимая от языка UTF-8, этот фильтр позволяет более точно определить язык страницы.

Использовать фильтр

Разрешает использование выбранного фильтра

Использовать логику 'НЕ' для выделенного

Аналогично действию кнопки 'Инвертировать'

Использовать логику 'И'

Логическое объединение всех выбранных фильтров. То есть, все условия должны быть соблюдены для успешного добавления емейла в список результатов. В противном случае любое из выполненных условий разрешит добавление в список результатов.


Ограничение по языку (ссылки)
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

TLD документа

Ограничение по добавлению ссылки в очередь обработки исходя из его TLD (см. Глоссарий)

Кодировка документа

Ограничение по добавлению ссылки в очередь обработки исходя из кодировки документа. EmEx 3 анализирует страницу и ищет в ней соответствующий тег CHARSET

Язык документа

Ограничение по добавлению ссылки в очередь обработки исходя из языка документа. EmEx 3 анализирует страницу и ищет в ней соответствующий тег LANG. Поскольку для кодировки страницы могут использоваться разные наборы символов (кроме 1251 или KOI-8R), в том числе и независимая от языка UTF-8, этот фильтр позволяет более точно определить язык страницы.

Использовать фильтр

Разрешает использование выбранного фильтра

Использовать логику 'НЕ' для выделенного

Аналогично действию кнопки 'Инвертировать'

Использовать логику 'И'

Логическое объединение всех выбранных фильтров. То есть, все условия должны быть соблюдены для добавления ссылки в очередь обработки. В противном случае любое из выполненных условий разрешит добавление.


Сбор телефонов и факсов
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Строка с номером должна содержать:

Ключевое слово которое должна содержать строка с номером. Несколько ключевых слов необходимо отделять друг от друга запятыми.
Например: Факс, Тел, Fax, Phone

Строка с номером не должна содержать:

Ключевое слово наличие при наличии которого номер не будет считаться телефонным или номером факса. Например: ICQ, Skype

Собирать номера телефонов по маске

Маска для поиска номера телефона на веб странице.

# - любая цифра

? - символы +-.() пробел

Не допускается использовать: русские буквы, символы \ / % ^ > < $

Заменять двойной ноль на знак плюс:

В международной записи двойной ноль в начале номера телефона равнозначен знаку +. Замена производится после того, как номер был извлечен из источника.

Исключать повторяющиеся номера

Одинаковые номера не будут добавляться в список результатов. Одинаковыми считаются одни и те же последовательности цифр, вне зависимости от их написания. Например: (555) 666-777 и 555-666-777 будут считаться одинаковыми. При выключенной опции EmEx 3 будет считать разное написание одного номера - разными номерами.

Примечание:

C помощью этого механизма поиска вы можете искать не только телефонные номера или факсы, но такие данные, как номера ICQ.


Сбор номеров ICQ/MSN/Skype...
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Отметьте чекбокс с указаным типом, если вы хотите собирать номера популярных IM мессенджеров.

На данный момент EmEx 3 поддерживает сбор ICQ, MSN и Skype. Но Вам ничего не мешает обратиться в нашу службу поддержки, чтобы мы увеличили набор поддерживаемых типов мессенджеров.


Поиск ссылок по условию
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Часто так бывает, что мы ищем ссылку на нужный фильм на RapidShare, а находим ссылки на ресурсы сомнительного типа, где нам предлагают заплатить или зарегистрироваться, прежде чем вам дадут посмотреть на эту ссылку.

Мы предлагаем воспользоваться EmEx 3 для того, чтобы сэкономить свое время и найти желаемое гораздо быстрее и без регистраций или оплат.

Используя фильтр ссылок вы можете найти то, что хотели

Принцип работы заключается в следующем - если в найденной ссылке находится требуемая подстрока, то ссылка будет добавлена в список результатов.

Более того - вы можете сразу же добавить домен в список игнорируемых, чтобы дальше по нему не искать.


Фильтр очереди
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders


Фильтрация по ключевым словам
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Фильтрация по ключевым словам - мощное средство которое позволит вам сузить область поиска и сократить затраченное время и объем загруженной информации при поиске данных.

Поиск

Ключевое слово или логическое выражение из ключевых слов.

Каждое из ключевых слов поддерживает логические операции &, |, () - соответственно И, ИЛИ и Группировка

Например: продажа | (строительство & дома)

Регулярное выражение

Строка поиска является регулярным выражением

Условие

Условие для поиска ключевого слова. Где EmEx 3 будет искать данное ключевое слово.

Результаты

Условие для списка результатов. Будут ли результаты найденные в документе с указанными ключевыми словами добавляться в список результатов.

Ссылки

Условие для очереди обработки. Будут ли ссылки найденный в документе с указанными ключевыми словами добавляться в очередь обработки.

Логика

Логика работы для всего списка ключевых слов:

·Логическое И - жесткое соответствие (все условия исполняются)

·Логическое ИЛИ - любое из условий исполняется


Динамическая замена
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Динамическая замена предназначена для обхода защиты от сбора информации, когда определенные символы меняют на какое то слово или картинку. Вы можете это обнаружить, используя встроеный HTML браузер.

Ссылка (Каталог)

Подстрока или маска в ссылке при совпадении с которой в документе будет происходить динамическая замена. Если не используется маска, то программа проверяет на наличие указанной строки.

Строка поиска

Исходная строка.

Замена

Строка или символ на которую будет заменяться исходная строка.

Регулярное выражение

Строка поиска является регулярным выражением

Чувствительна к регистру

Строка поиска чувствительна к регистру.


Фильтрация с помошью JScript
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Начиная с версии 3.0.2164 EmEx 3 позволяет использовать технологии JScript для фильтрации результатов и управления очередью обработки.

В EmEx 3 программа на JScript применяется для "одобрения" результата поиска. Если результат удовлетворяет прочим ограничениям, задаваемым в настройках EmEx 3 , то программа на JScript говорит последнее решающее слово - добавлять адрес в список найденных или нет.

В отличии от AEE вы можете управлять очередью с помощью JScript.

Программа-обработчик на JScript привязывается к какому то типу из собираемых результатов. Таким образом Вы можете настроить один обработчик для телефонов и факсов, а другой - для собираемых емейлов.

Название | Тип | Описание
URL | свойство, R/O | Возвращает ссылку на документ, откуда получен результат var x = emex3.URL;
Document | свойство, R/O | Возвращает содержимое сканируемого документа var x = emex3.Document;
URLDomain | свойство, R/O | Возвращает домен ссылки на документ var x = emex3.URLDomain;
URLDocument | свойство, R/O | Возвращает имя документа, включая расширение var x = emex3.URLDocument;
DataField(index) | метод | Возвращает поле строки результата. Индекс поля зависит от выбранного результата. var email = emex3.DataField(0);
GetEmailDomain(email) | метод | Возвращает домен емейл адреса, переданного в функцию в качестве параметра var x = emex3.GetEmailDomain("account@domain.com"); //var x будет содержать domain.com
GetEmailUser(email) | метод | Возвращает имя аккаунта пользователя, полученного из емейл адреса, переданного в функцию в качестве параметра var x = emex3.GetEmailUser("account@domain.com"); var x = emex3.GetEmailUser(emex3.DataField(0)); //var x будет содержать account
AddLinkToQueue(url) | метод, bool | Добавляет в очередь обработки ссылку на документ if (emex3.AddLinkToQueue("http://www.microsoft.com")) { ... }
AddDomainToIgnoreList(url, domainlevel) | метод | Добавляет домен в список игнорируемых. В качестве аргумента используется ссылка или имя домена. Второй параметр определяет ограничение по уровню домена. Если установлен в ноль, то будет использовано все имя домена (автодетект). emex3.AddDomainToIgnoreList("www.google.com", 0);
StopProcessCurrentDomain() | метод | Добавить домен источника в список игнорируемых. emex3.StopProcessCurrentDomain();
Stop() | метод | Остановить сканирование. emex3.Stop();
Pause() | метод | Поставить сканирование на паузу. emex3.Pause();
Start() | метод | Продолжить сканирование. Запустить проект. emex3.Start();
Approve() | метод | Разрешить добавление обрабатываемого JScript результата. emex3.Approve();


Ограничение по глубине погружения
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Ограничение по глубине погружения позволяет уменьшить количество обрабатываемых документов

Не использовать ограничения по глубине погружения

EmEx 3 будет просматривать все найденные документы и добавлять ссылки в очередь обработки

Сканировать начальный сайт и сайты из начального документа

EmEx 3 будет собирать ссылки только из указанного документа. Обработка внешних ссылок будет проводиться только для тех которые встретились в стартовом документе.

Как правило эта опция полезна при обработки поисковой выдачи или файла содержащего список ссылок

Использовать ограничение по каталогу

Просмотр документов будет ограничиваться только подкаталогами указанной ссылки. Как правило это ограничение используется если вам необходимо обработать сайт или его часть

Разрешить собирать ссылки из подкаталогов

Если установлено, то EmEx 3 будет сканировать указанный каталогу для поиска данных. Все найденные ссылки, которые являются подкаталогами для указанной ссылки будут добавляться в очередь обработки, все остальные игнорироваться.

Например: ссылка http://www.emmalabs.ru/emex/download/ будет добавлена в очередь обработки, а http://www.emmalabs.ru/aee/ будет пропущена.

Запретить сканировать внешние сайт

EmEx 3 будет игнорировать ссылки в документе указывающие на домен отличный от домена самого документа.

Но разрешить обрабатывать ссылки на другие сайты - в этом случае ссылки на документы из других доменов будут добавлены в очередь, но ссылки найденные в этих документах обрабатываться не будут

Использовать ограничение по глубине сканирования (все ссылки)

См. Глубина погружения

Использовать ограничение по кросс-ссылкам (между доменами)

См. Глубина погружения

Документов на домен

EmEx 3 будет добавлять в очередь не более указанного количества ссылок с одного домена.


Объединение проектов
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

EmEx 3 позволяет объединять несколько проектов для ускорения поиска.

Добавить проект

Добавить в текущий проект

EmEx 3 добавит непройденные ссылки из указанного проекта в новый, как если бы вы загрузили список ссылок

Исключать из текущего проекта

Все непройденные ссылки будут считаться обработанными, т.е. при нахождении подобной ссылки в каком либо документе EmEx 3 не будет ее включать в очередь.

Игнорировать

Ссылки из проекта будут пропущены. Если подобные ссылки потом будут найдены в каких либо документах, они будут поставлены в очередь на обработку

Исключать успешные обработанные ссылки

Успешные ссылки будут считаться обработанными и не будут добавлены в проект, а так же будут игнорироваться в случае нахождения в каком либо документе.

Исключить ссылки, содержащие ошибки при обработке

Ошибочные ссылки будут считаться обработанными и не будут добавлены в проект, а так же будут игнорироваться в случае нахождения в каком либо документе.

Исключить удаленные

Удаленные ссылки не будут импортироваться в проект и если вновь будут найдены, то будут обработаны как новые

Исключать результаты

Результаты сохраненные в исходном проекте игнорируются.


Ограничения размера очереди/результатов
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Документов, которые будут обработаны

Если ограничение не используется, то по умолчанию все значения выставлены в 500,000, включите эту опцию, если вы не хотите использовать значение по умолчанию.

Документов, которые будут обработаны

Максимальное количество ссылок которые будет обрабатывать EmEx 3 . При достижении лимита проект будет остановлен.

Макс. количество документов в очереди

Максимальное количество ссылок которые могут быть добавлены в проект. При достижении лимита EmEx 3 перестанет добавлять все найденные ссылки в очередь.

Ограничение на количество результатов

Максимальное количество результатов которые будут добавлены в список результатов. При достижении лимита вновь найденные результаты будут потеряны.


Использование эмуляции Internet Explorer
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Некоторые сайты используют JavaScript для динамической генерации ссылок или емейл адресов на этапе загрузки страницы. Использование этого режима разрешает исполнение скриптов для получения страницы в том виде в котором его видит пользователь..

Исполнение JavaScript в документе (эмуляция Internet Explorer)

Разрешить эмуляцию Internet Explorer для списка ссылок.

Эмулировать IE для всех сайтов в очереди задач

Использовать эмуляцию для все сайтов. Очень опасный режим, потому что программа не контролирует исполнение JS скриптов. Возможно срабатывание антивирусов. Мы не рекомендуем включать эту опцию.


Корректировка в процессе работы
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Корректировка в процессе работы позволяет изменять очередь обработки для исключения ненужной или ошибочной информации.

Меню для редактирования может быть вызвано по правой кнопке мыши.


Экспорт результатов
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

EmEx 3 поддерживает экспорт результатов поиска (и очереди) в формат: TXT, CSV, XML, MS Excel

Формат

Выберите формат экспорта

Файлы результатов

Выберите результаты для экспорта. Это могут быть не только e-mail адреса, но и ссылки, номера телефонов/факсов, номера ICQ/Skype

Поля, предназначенные для экспорта

Выберите поля для каждого типа результатов


Примеры типовых задач
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Поиск новых бизнес контактов

Для развития бизнеса необходимы новые связи. Вы не можете развиваться, если о вас с каждым днем не будут узнавать все больше Ваших потенциальных клиентов.

«Я знаю, где находятся мои потенциальные клиенты. Это форумы, блоги определенной направленности. Мы содержим штат, который находится в постоянном поиске и сборе email адресов, ICQ, Skype, телефонов и факсов из этих источников. Ранее мы использовали Advanced Email Extractor, который помогал нам в этой работе, но с появлением EmEx 3 мы стали работать еще эффективнее. Новые механизмы фильтрации и оптимизации поиска снизили нашу нагрузку на сеть, а результаты стали потрясающими.»

Поиск необходимых файлов в файлохранилищах (Rapidshare, DepositFiles, Letbit и т.д.)

Задайте необходимые критерии поиска, например – название музыкального альбома и получите все ссылки и описания, имеющие отношение к теме. Избавьте себя от просмотра массы «мусорных» ссылок, появляющихся при поиске с помощью поисковых машин.

Проблема в поиске по ключевому слову + rapidshare заключается в том, что вы получите все что угодно, но только не нужные вам линки. С помощью EmEx 3 такой поиск занимает минуты и происходит без Вашего участия. Вам надо всего лишь правильно задать условия.

Поиск контента в дискуссиях на форумах и блогах

Популярные треды в форумах и блогах имеют свойство увеличиваться очень быстро – вчера вечером было 50 сообщений, а сегодня их уже 1000! Проходит неделя и вы вспоминаете, что где-то в треде была нужная вам ссылка, описание или картинка.

Искать ее вручную во всем треде? Ждать пока она будет проиндексирована (если вообще будет) поисковиками?

Нет, достаточно запустить EmEx 3 и выпить чашку кофе, пока программа соберет все нужные ссылки.

Сайты знакомств и социальные сети

Очень хорошие места для рекламы товаров или сервисов. Аудитория таргетирована, остается только правильно ее отобрать. Вас интересуют девушки 25-27 лет, Москва, м. Варшавская? Зачем использовать встроенный поиск и открывать десятки страниц, когда можно использовать EmEx 3 (кстати, поддерживающий возможности работы с сайтами, требующими идентификации пользователя) и за несколько минут получить полный список целевой аудитории.


Ограничение по территории использования
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Существует два типа лицензирования для использования EmEx 3, ограниченных по территории использования продукта:

Страны СНГ и Неограниченая (WorldWide)

Мы просим принять во внимание, что нарушение этого ограничения может являться основанием для досрочного прекращения действия Вашей лицензии.


Как активировать EmEx 3

No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Лицензия на EmEx 3 требует онлайн активации.

Для того, чтобы активировать Вашу лицензию на EmEx 3 вы должны запустить программу и выбрать пункт меню: "Активация EmEx 3 "

Далее Вам понадобится ввести Ваш ключ лицензии (используйте функции копирования текста и вставки, для того, чтобы избежать ошибок при наборе текста) и пройти механизм активации.

Вы должны быть подключены к интернет для активации Вашего ключа лицензии и EmEx 3 не должен блокироваться программами брандмауэрами (файрвол).

Обращаем Ваше внимание, что активация привязывается к компьютеру, на котором установлен EmEx 3 .

Для переноса лицензии на другой компьютер воспользуйтесь функцией переноса лицензии.


Как перенести лицензию на другой компьютер
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Перенос лицензии на другой компьютер.

Лицензионное соглашение предусматривает использование программы из расчета приобретенных копий на компьютер.

Как только лицензия активирована, с другого компьютера становится невозможным использование того же номера лицензии.

Если Вы хотите перенести лицензию на другой компьютер, то вам необходимо пройти процедуру деактивации лицензии.

Для этого запустите EmEx 3 на том компьютере, на котором Вы проходили активацию и выберите пункт "Удалить лицензию с компьютера" в меню программы.

Вы должны быть подключены к сети интернет, чтобы завершить деактивацию лицензии.

После того, как лицензия деактивирована, Вы можете активировать EmEx 3 на другом компьютере.

Если вы не имеете возможность деактивировать Вашу лицензию на старом компьютере, то обратитесь в службу технической поддержки.


Часто задаваемые вопросы и ответы
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Раздел Ч.А.В.О. доступен на официальном сайте:

https://www.emex3.ru/emex3/faq.php


Техническая поддержка
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Официальный сайт EmEx 3 :

https://www.emex3.ru/

Раздел технической поддержки:

https://www.emex3.ru/support/

Уроки, демо, обучение:

https://www.emex3.ru/support/learning.html

Для доступа к технической поддержке потребуется регистрация на сайте.

Если Вы уже имеете учетную запись на сайте www.emmalabs.ru или www.emmalabs.com то используйте Ваш логин и пароль для доступа к тех.поддержке.


Авторские права
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Исключительные права на программу EmEx 3 принадлежат компании EMMA Labs

Программа, включая Программное обеспечение и любую сопроводительную документацию, защищена авторским правом в соответствии с законами об авторском праве, а также международными соглашениями об авторском праве, и другими законами и соглашениями о правах интеллектуальной собственности.


Глоссарий
No contents entries on this page
Menu
Go to previous topic
Go to home topic
This is the last topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

-В-

Веб-форма

Список полей которые требуется заполнить пользователю. Обычно веб-форма используется для заполнения запроса или выборки данных. Например поисковые каталоги, в которых вам необходимо задать условие поиска. Результатом веб-формы является документ которые вернет сайт после анализа заполненных пользователем данных.

-Д-

Домен

Определение. В документации под доменом понимается FQDN (Fully Qualified Domain Name) полное имя домена. То есть для программы домены 3 уровня - разные домены.

-К-

Кросс-ссылка

Ссылка ведущая на домен отличный от начального.

-H-

Необработанная ссылка

Ссылка из очереди обработки, которая еще не загружалась EmEx 3

-О-

Обработка (Обработка ссылки)

Загрузка и анализ (парсинг) документа для поиска данных.

Обработанная ссылка

Ссылка из очереди обработки, которую EmEx 3 загружал из интернета.

Очередь обработки

Список содержащий изначально заданные или найденные в документах ссылки.

Ошибочная ссылка

Ссылка, при обработке которой произошла ошибка.

-П-

Парсинг

Поиск в документе данных. Например почтовых адресов, ссылок, телефонных номеров.

Пропущенная ссылка

Ссылка исключенная пользователем из очереди обработки.

-Р-

Размер очереди обработки

Сумма обработанных и необработанных ссылок

Редирект

Ссылка, при попытке загрузки которой получено перенаправление от сервера на другой адрес (то есть новая ссылка).

Результат

Информация собранная EmEx 3 из документов. Емейл, номер телефона/факса, ICQ, Skype или другая.

-С-

Ссылка (ссылка на документ)

Адрес документа в интернете. Например: http://www.emex3.ru//index.html
Ссылка вида http://www.emex3.ru/ тоже является ссылкой на документ. Как правило это неявно загружаемый index.html

-У-

Успешная ссылка

Ссылка, обработка которой произошла без ошибок.

TLD

Top Level Domain, домен первого уровня. Завершающая часть доменного имени разделенного точками. Например: ru, com, org и т.д.