Умный парсинг

С аналитикой и визуализацией

Решение сложных бизнес-задач
по поиску, сбору и обработке данных

Парсинг — автоматизированный сбор и структурирование данных
из интернета и корпоративных источников при помощи программы или сервиса

Презентация Рус .pdf
Presentation Eng .pdf
Presentación Esp .pdf

Содержание

Мы обеспечиваем

Особенности

Как мы работаем

Консалтинг

Эксплуатация

Области применения

Компетенция: 20 лет на рынке

Кейсы

Федеральные регуляторы: обеспечение безопасности

Финансовый сектор: обеспечение безопасности

Государственный сектор: цифровой двойник

Социальный сектор: мониторинг и анализ СМИ и социальных сетей

Сектор FMGG: управление производством и потребительской корзиной

Кадры и образование: бесконтактная социология, мониторинг

Энергетика: мониторинг и анализ

Сельское хозяйство: анализ

Источники парсинга

Производительность

Законность парсинга

Как с нами связаться

Мы обеспечиваем

Особенности

Разработка проектов под клиента: уникальные парсеры + аналитические инструменты

Аналитическая обработка данных, продвинутая математика, визуализация

Собственное ПО для поиска, сбора и анализа данных (регистрация в Реестре ПО)

Возможность установки ПО в закрытый контур Заказчика, обучение, поддержка

Возможность использования неограниченного количества источников данных

Возможность использования неограниченного количества парсеров

Собственный вычислительный центр для сбора, хранения и обработки данных

Как мы работаем

Мы решаем уникальные бизнес-задачи любой сложности.
Наша работа по сбору и анализу данных состоит из двух этапов:

Консалтинг

Выявление потребностей

● Выявление и формализация тематических потребностей Заказчика
● Определение временных, функциональных границ и объёмов проекта

Определение источников данных

● Выявление источников, содержащих тематические данные
● Исследование выявленных источников данных с целью выбора способа парсинга
● Создание краулера — поискового работа для получения тематических данных из выбранных источников

Исследование семантики

● Итерационное изменение семантики (слова и словарные фразы) до получения результата, который будет полностью удовлетворять ожиданиям
● На практике первоначальная семантическая гипотеза меняется на 70%

Исследование аналитических гипотез

● Формирование и исследование аналитических гипотез, как набора единичных и взаимоувязанных алгоритмов обработки данных, в результате работы которых формируется окончательный целевой набор данных

Настройка и кастомизация

● Настройка инструментов поиска, сбора, хранения, обработки и визуализации данных в целях подготовки сервиса или системы к эксплуатации

Обучение персонала

● Обучение сотрудников Заказчика в соответствии с ролевым составом продукта: администратор, бизнес-аналитик\пользователь, администратор ИБ

Эксплуатация

Техническая поддержка

● Поддержка ИТ служб Заказчика на 2-м уровне в случае нарушения работоспособности продукта/сервиса
● Исправление ошибок в продукте
● Плановое расширение функциональности продукта и изменение дизайна в соответствии с графиком вендора

Адаптация к изменяющимся условиям

● Адаптация поисковых роботов-краулеров, алгоритмов обработки, средств обхода блокировок в связи с динамическими изменениями в источниках данных

Области применения

Отрасли, предусматривающие регулярный сбор и обработку данных из открытых источников

Компетенция: 20 лет на рынке

Мы предлагаем услуги по поиску, сбору и анализу данных из интернета, корпоративных источников и документов для формирования информационной базы об объекте поиска.

В качестве бизнес-решений по сбору и анализу данных мы предлагаем:

Автоматизацию процессов поиска, сбора и анализа текстовых данных.

Классификацию и анализ неструктурированных данных, сайтов.
Поиск смыслов в анализируемых текстовых данных.
Набор обученных нейросетевых моделей и алгоритмов для типовых бизнес-задач.
Набор готовых парсеров и коннекторов к источникам данных.
Интеллектуальную автоматизацию.

Как эксперты в области поиска и анализа данных, мы располагаем солидным портфелем из более, чем 50 успешных решений для крупных компаний, в числе которых банки, органы власти и управления, известные производственные и ИТ-компании.

Кейсы

Клиент ЕСЛ Софт: Банк России

Банк России

Выявление и анализ сведений о нелегальной деятельности на финансовом рынке.

Умный парсинг

Подробнее
Клиент ЕСЛ Софт: БКС Банк

БКС Банк

Поиск и анализ информации в социальных сетях.

Умный парсинг

Подробнее
Клиент ЕСЛ Софт: Роскомнадзор

Роскомнадзор

Проверка блокировок сайта через поисковые системы, анонимайзеры, Proxy, VPN.

Умный парсинг

Подробнее
Клиент ЕСЛ Софт: Администрация Президента

Администрация Президента

Выявление подростковых сообществ в Интернете деструктивной направленности.

Умный парсинг

Подробнее
Клиент ЕСЛ Софт: ЦЭОМ

ЦЭОМ

Выявление тенденций взаимодействия общества и религиозных организаций.

Умный парсинг

Подробнее

Федеральные регуляторы: обеспечение безопасности

Задачи

Результаты

Противодействие нелегальной деятельности на финансовом и страховом рынке

● Выявлено более 10500 субъектов за 2022 и 2023 гг
● Заблокировано более 11200 интернет-ресурсов

Обеспечение контроля исполнения Федерального Закона о блокировке незаконного контента

● Выявлено более 500 запрещенных ресурсов
● Наложено штрафов на сумму более 28 млрд руб

Прогнозирование вероятности наступления нестабильного состояния банка

● Достигнута точность прогнозирования финансового состояния банка от 70% до 90%

Мониторинг рынка криптовалют

● Выявлены первоисточники новостей, сформированы цепочки изменений трактовки новостей

Финансовый сектор: обеспечение безопасности

Задачи

Результаты

Поиск аккаунтов и цифровых следов должников в соцсетях

● Выявлено 4200 должников в соцсетях VK и Одноклассники

Формирование социально-экономического портрета должников

Получены следующие данные о должниках:
● Местоположение и контакты;
● Соц статус: работа, семейное положение;
● Круг друзей 1-го, 2-го уровней;
● Финансово-экономический потенциал;
● Социальные связи между должниками

Категоризация должников с целью оценки перспективности портфеля должников

● Сформирована модель категоризации должников по группам: «объём долга» и «сложность поиска»

Госсектор: цифровой двойник территории

Управление отраслью, городом, регионом, компанией

Задачи

Результаты

Управление недвижимостью
Учет и оптимизация

● Уменьшено число учреждений в 3.5 раза
● Затраты сокращены на 68 %

Нецелевое использование муниципальной недвижимости

● Выявлено 15% объектов недвижимости нецелевого использования

Мониторинг финансовой активности

● Достигнуты финансовые KPI за 2 года

● Мониторинг благоустройства и комфорта
● Мониторинг безопасности городской среды
● Мониторинг социального взаимодействия
● Мониторинг экологической ситуации

● Оптимизация объектов исследования
● Выявление закономерностей взаимодействия
● Формирование предложений по улучшению инфраструктуры

Социальный сектор: мониторинг и анализ СМИ и соцсетей

Задачи

Результаты

Анализ проводимых активностей

● Оказана существенная помощь по пресечению деятельности социальной «группы смерти» «Синий кит»

● Снижена эффективность деятельности социальных групп, направленных на подростковый экстремизм и деструктивное поведение (борьба с течением “АУЕ”)

● Приняты меры для борьбы с подрывом государственных устоев и репутации образов национальных героев

● Выявление лидеров мнений
● Выявление информационных вбросов
● Выявление групп влияния
● Выявление целевой аудитории

Анализ и прогноз успешности мероприятий

Консолидация тематической информации – облако слов, ТОП обсуждений и просмотров

Оценка тональности публикаций и комментариев

Товары широкого потребления

Управление производством и потребительской корзиной

Задачи

Результаты

Масштабирование продаж: выявление потенциальных рынков сбыта

● Обработано ~ 1 500 000 торговых точек по России и Белоруссии
● Оптимизированы базы данных Заказчика на 56%
● Повышено качество данных на 98%
● Сокращены затраты на ИТ-инфраструктуру на 70%
● Увеличена выручка на 20% за 2 года
● Увеличен ассортиментный потенциал (SKU) на 35% от текущих поставок

Расчет потенциала торговых точек для увеличения продаж и расширения ассортимента

Увеличение розничных продаж за счет учета динамики изменения во времени платежеспособного спроса потребителя

Другие отрасли

Источники парсинга

Источники парсинга
Источники парсинга
Источники парсинга
Источники парсинга
Источники парсинга
Источники парсинга
Источники парсинга
Источники парсинга
Источники парсинга
Источники парсинга
Источники парсинга

Производительность

Показатели могут масштабироваться в зависимости от потребностей и целей проекта

Количество запросов к 1 ресурсу: сайты, домен вместе с поддоменами: 2 запроса в секунду

Количество запросов к 1 ресурсу: анонимизация и обход блокировок: 1 запрос за 5 секунд

Количество запросов к социальным сетям: 5 запросов в секунду

Количество запросов за 24 часа: 12 миллионов

Количество загруженных страниц за 24 часа: 8 миллионов

Объём загруженных данных за 24 часа / за 1 секунду: 1.071 Тб / 12.3 Мб

Одновременное количество запрашиваемых ресурсов: 80

Занимаемая полоса канала: 200 Мбит/сек, в пике 400

Законность парсинга

В соответствии с действующим законодательством РФ разрешено всё, что не запрещено Законом. Парсинг сайтов является законным, если не происходит нарушений запретов, установленных законодательством РФ.

Организация вправе осуществлять автоматизированный сбор информации в открытом доступе на сайтах в сети интернет при соблюдении условий:

Информация находится в открытом доступе и не защищается законодательством об авторских и смежных правах.
Автоматизированный сбор осуществляется законными способами.
Автоматизированный сбор информации не приводит к нарушению работы сайтов.
Автоматизированный сбор информации не приводит к ограничению конкуренции.

Как с нами связаться

ООО «ЕС-лизинг СОФТ»
ИНН: 7726501708
Москва
Генеральный директор: Чугунов Виталий Рудольфович

+7 (495) 319-59-15
+7 (916) 349-78-63
contact@eclsoft.ru
https://eclsoft.ru

Обсудить проект:
Telegram
Whatsapp

Все продукты

Поделиться