Peraspera Data Hunter

Автоматизация управления поиском и сбором данных

Разработано в России

Презентация Peraspera Data Hunter .pdf

Содержание

Определение продукта

Предустановленные краулеры

Функционал администратора

Функционал аналитика данных

Масштабируемость

Стоимость

Техподдержка, документация

Кейсы применения

Регистрация ПО

Связь с разработчиком

Определение продукта

Peraspera Data Hunter — уникальное комплексное решение уровня middleware для автоматизации управления поиском и сбором данных в интернете и корпоративных источниках

Основные функции:

управление кластером краулеров
управление поиском и сбором данных

*Краулер (crawler: поисковый робот) — программа, определяющая логику поиска и сбора данных

Мастер-класс: «Peraspera Data Hunter — охота за данными начинается» на форуме BIG DATA&AI 30 марта 2023.

Мастер-класс адресован широкому кругу специалистов, которым требуется автоматизация поиска и сбора данных, а также управление этими процессами.

Ведущий мастер-класса: Чугунов Виталий Рудольфович

Отчет о событии —

Предустановленные краулеры

Краулер	Функции	Элементы контента
Яндекс-краулер	Поиск/сбор данных из результатов поиска Яндекса*	Ссылка из поисковой выдачи
Google-краулер	Поиск/сбор данных из результатов поиска Google*	Ссылка из поисковой выдачи
Telegram-краулер	Поиск/сбор данных из открытых каналов/групп Telegram*	Сообщение из Telegram-канала Telegram-канал Внешняя ссылка в сообщении канала
Вконтакте-краулер	Поиск/сбор данных из открытых профилей/групп VK*	Сообщение из группы Ссылка в сообщении Сообщение со стены пользователя Комментарий к сообщению Группа Реакция на комментарий/сообщение Профиль пользователя
Одноклассники-краулер	Сбор данных из открытых профилей/групп OK*	Группа Топики (сообщения) в группе
Универсальный краулер сайтов	Сбор данных из открытых сайтов*	—
Краулер для баз данных	Поиск/сбор данных из различных баз данных	Строка таблицы базы данных
Краулер для веб-страниц	Сбор данных из различных веб-таблиц	Строка из веб-таблицы
Краулер реестров	Сбор файлов с реестрами	Файл с реестром

*По текстовым запросам

Функционал администратора

Управление краулерами

Установка, редактирование, удаление пакетов спайдеров

Создание, конфигурация, удаление краулеров

Неограниченное подключение краулеров и источников

Управление проектами

Cоздание, редактирование проектов

Закрепление краулеров за проектом

Назначение проекта аналитикам данных

Мониторинг статуса и состояния кластера и хостов

Мониторинг статистики выполнения задач

Мониторинг динамики сбора элементов

Журнал событий

Просмотр логов

Личный кабинет

Интерфейс администратора

Статус кластера, статистика выполнения задач

Пакеты спайдеров

Краулеры

Проекты

Функционал аналитика данных

Управление заданиями по поиску/сбору данных

Создание, редактирование, удаление заданий

Конфигурация задач по поиску и сбору данных

Многократное использование заданий по поиску и сбору данных

Автоматическая передача результатов в систему-приемник/хранилище

Управление расписанием выполнения заданий по поиску и сбору данных

Создание, настройка, удаление расписаний

Закрепление расписания за заданиями

Мониторинг статистики выполнения задач

Управление списками параметров

Создание, настройка, удаление списков предустановленных значений параметров краулеров

Просмотр, выгрузка отчетов по сбору данных

Мониторинг динамики сбора элементов

Журнал событий

Просмотр логов

Личный кабинет

Интерфейс аналитика данных

Задания по поиску и сбору данных

Расписания выполнения задач

Статистика выполнения задач

Отчеты

Масштабируемость

Возможность подключения неограниченного количества источников данных

Веб-сайты, социальные сети, мессенджеры, блоги, форумы, интернет сервисы, базы данных, корпоративные порталы, любые корпоративные источники

Возможность подключения неограниченного количества краулеров

Разработка кастомных краулеров, тонкая настройка и конфигурация краулеров

Стоимость

	Коробочный продукт Серверные мощности не входят в стоимость Подключение собственных краулеров 500.000₽ за 1 краулер	Сервис Серверные мощности входят в стоимость Без возможности подключения собственных краулеров
Ограничение на количество скачиваемых элементов контента в сутки	Стоимость годовой лицензии продукта	Стоимость годовой лицензии сервиса
До 10.000 единиц* контента в сутки	2.920.000 руб в год	3.650.000 руб в год
До 50.000 единиц* контента в сутки	13.505.000 руб в год	16.425.000 руб в год
До 100.000 единиц* контента в сутки	23.725.000 руб в год	29.200.000 руб в год
Неограниченное скачивание	37.000.000₽ в год	48.000.000 руб в год

*Под единицей скачиваемого контента понимается минимальный размер данных в зависимости от краулера, например: 1 открывок текста, 1 изображение, 1 ссылка, 1 документ и т.д. Полный список элементов тарификации по краулерам представлен в документации продукта.