Data Hunter лого

Peraspera Data Hunter

Цифровая платформа для решения задач
автоматизированного поиска, сбора и обработки больших данных,
собираемых из сети Интернет и корпоративных источников данных
в промышленных масштабах

Инструмент реализации положений тактической методологии собственной разработки – «Умного парсинга»

Презентация Рус .pdf

Presentation Eng .pdf

Presentación Esp .pdf

Содержание

Мы обеспечиваем

Ключевые преимущества

Состав платформы

Предустановленные краулеры

Предустановленные алгоритмы

Источники поиска и сбора данных

Масштабируемость

Производительность

ИТ-поддержка, документация

Кейсы

Как с нами связаться

Мы обеспечиваем

Высокое качество и скорость получения целевых данных

Проблема:
Некачественные, сырые данные, отсутствие автоматизации

Регулярность данных

Проблема:
Отсутствие регулярности получения и обработки данных

Актуальность данных

Проблема:
Динамическое изменение источников парсинга

Непрерывность сбора и обработки данных

Проблема:
Отсутствие унификации процесса сбора и обработки данных

Ключевые преимущества

Отчуждаемость продукта

Возможность установки на территории заказчика (On Premises)

Прозрачность процессов

Прозрачность процессов поиска, сбора и обработки данных — контроль качества данных на всех этапах от поиска до визуализации

Функциональная адаптивность

Возможность встроить дополнительные краулеры и аналитические обработчики от других разработчиков

Универсальность

Возможность работать с внешними и внутренними источниками данных

Доступность собираемых данных

Возможность сбора данных, защищенных captcha, рендеринг js, ротация прокси и IP — адресов

Интегрируемость

Наличие развитого API

Удобство использования

Понятный интерфейс пользователя, администратора продукта и администратора ИБ, большое количество настроек, в частности, глубины поиска и сбора, временных параметров

Состав платформы

Модуль поиска и сбора данных

Модуль интеграции данных

Модуль хранения данных

Модуль потоковой обработки данных

Модуль визуализации данных

Модуль информационной безопасности

Предустановленные краулеры

Список постоянно расширяется. Краулеры могут быть разработаны и сконфигурированы под целевые задачи Заказчика.

Краулер	Функции	Элементы контента
Яндекс-краулер	Поиск/сбор данных из результатов поиска Яндекса*	Ссылка из поисковой выдачи
Google-краулер	Поиск/сбор данных из результатов поиска Google*	Ссылка из поисковой выдачи
Telegram-краулер	Поиск/сбор данных из открытых каналов/групп Telegram*	Сообщение из Telegram-канала Telegram-канал Внешняя ссылка в сообщении канала
Вконтакте-краулер	Поиск/сбор данных из открытых профилей/групп VK*	Сообщение из группы Ссылка в сообщении Сообщение со стены пользователя Комментарий к сообщению Группа Реакция на комментарий/сообщение Профиль пользователя
Одноклассники-краулер	Сбор данных из открытых профилей/групп OK*	Группа Топики (сообщения) в группе
Универсальный краулер сайтов	Сбор данных из открытых сайтов*	—
Краулер для баз данных	Поиск/сбор данных из различных баз данных	Строка таблицы базы данных
Яндекс-дзен краулер	Поиск/сбор новостей	Новость Агентство Тема, к которой прикреплена новость
Краулер реестров	Сбор файлов с реестрами	Файл с реестром

*По текстовым запросам

Предустановленные алгоритмы

Контроль дублей данных

Проверка пассажей

Проверка данных по реестрам

Рендеринг содержимого веб-ресурса

Поиск ключевых слов и фраз в текстовом содержимом веб-ресурса

Проверка доступности веб-ресурсов

Агрегация данных нескольких веб-ресурсов

Источники поиска и сбора данных

Масштабируемость

Возможность подключения неограниченного количества

Источников данных

Сайты, соцсети, мессенджеры, БД, блоги, форумы, порталы, сервисы, любые корпоративные источники

Краулеров

Разработка кастомных краулеров, тонкая настройка и конфигурация краулеров

Алгоритмов

Разработка кастомных алгоритмов, формирование цепочек обработки данных

Производительность

Показатели могут масштабироваться в зависимости от потребностей и целей проекта

Количество запросов к 1 ресурсу: сайты, домен вместе с поддоменами: 2 запроса в секунду

Количество запросов к 1 ресурсу: анонимизация и обход блокировок: 1 запрос за 5 секунд

Количество запросов к социальным сетям: 5 запросов в секунду

Количество запросов за 24 часа: 12 миллионов

Количество загруженных страниц за 24 часа: 8 миллионов

Объём загруженных данных за 24 часа / за 1 секунду: 1.071 Тб / 12.3 Мб

Одновременное количество запрашиваемых ресурсов: 80

Занимаемая полоса канала: 200 Мбит/сек, в пике 400

ИТ-поддержка, документация

Базовые услуги техподдержки

Входят в лицензию

Разрешение инцидентов и проблем, вызванных некорректной работой продукта

Исправление ошибок в продукте с предоставлением плановых релизов, устраняющих ошибки

Предоставление плановых релизов продукта в соответствии с планом релизов поставщика

Устные дистанционные консультации

Дополнительные услуги техподдержки

Не входят в лицензию

Разрешение инцидентов и проблем, вызванных некорректным использованием продукта потребителем

Исправление ошибок в продукте с предоставлением срочных релизов, устраняющих ошибки

Предоставление плановых релизов продукта в соответствии с планом релизов поставщика

Разработка спайдера на заказ, настройка, встраивание в продукт

Расширенное консультирование с выездом к потребителю

Организация и проведение обучения

Документация

Описание процессов, обеспечивающих поддержание жизненного цикла ПО

Скачать

Описание функциональных характеристик ПО и информация, необходимая для установки и эксплуатации ПО

Скачать

Информация, необходимая для эксплуатации экземпляра ПО, предоставленного для проведения экспертной проверки

Скачать

Выявление тенденций взаимодействия общества и религиозных организаций.

Умный парсинг

Подробнее

Как с нами связаться

ООО «ЕС-лизинг СОФТ»
ИНН: 7726501708
Москва
Генеральный директор: Чугунов Виталий Рудольфович

+7 (495) 319-59-15
+7 (916) 349-78-63
contact@eclsoft.ru
https://eclsoft.ru

Обсудить проект:
Telegram
Whatsapp

Все продукты