PolyAnalyst Text mining & NLP

PolyAnalyst предоставляет широкий выбор алгоритмов машинного обучения и статистической обработки для анализа структурированных данных, таких как числа, строки и даты. Система позволяет решать задачи классификации, кластеризации, предсказания численных значений, выявлять типичные паттерны и аномалии, и строить предсказательные модели на основе анализа временных рядов и сетевых структур. PolyAnalyst может производить чистку и обогащение данных, используя алгоритмы нечеткого сравнения разных представлений объектов. Построенные системой предсказательные модели позволяют извлекать полезные знания, скрытые в анализируемых сырых данных, и применять эти знания для принятия эффективных управленческих и бизнес-решений. PolyAnalyst содержит более тридцати современных инструментов интеллектуального анализа, позволяющих решать подавляющее число прикладных задач. Также в PolyAnalyst возможно использовать высокоуровневые языки программирования Python и R для выполнения специальных операций с данными. - Прогнозирование - Регрессионный анализ - Анализ статистических распределений - Кластеризация - Анализ покупательских корзин - Деревья решений - Анализ временных рядов - Классификация - Анализ связей - Разрешение сущностей.

Инструменты ETL и BI для преобразования данных и конструирования веб-отчетов PolyAnalyst ETL & BI предоставляет пользователям средства self-service трансформации данных, а также отображения результатов сложных алгоритмов анализа в виде интерактивных графических отчетов, доступных для понимания неспециалистов. ДОСТУПНА ВСЯ ПАЛИТРА ETL-ИНСТРУМЕНТОВ: - Объединение - Аналог SQL JOIN - Конкатенация - Аналог SQL UNION - Агрегирование - Аналог SQL GROUP BY - Разность - Формирование таблицы из записей, имеющихся в одной таблице, но отсутствующих в другой - Производные колонки - Расчет и вывод новых производных вычисляемых атрибутов, а также построение правил проверки данных - Условия - Позволяет установить условия для выполнения дочерних узлов, что способствует автоматизации выполнения скрипта - Фильтрация строк - Фильтрует записи согласно критерию, заданному аналитиком - Фильтрация данных - Позволяет фильтровать колонки, которые не представляют интереса с точки зрения статистического анализа данных - Транспонирование - Позволяет переводить данные из строчного представления в колонки. Аналог функции PIVOT - Выборка - Генерирует из талицы данных случайные выборки записей или выборки, отвечающие определенным условиям - Редактирование таблицы - Позволяет вручную редактировать данные в исходной таблице - ABC/XYZ анализ - Позволяет разделить продукты на 3 группы (A, B и C) по критерию привлекательность продукта, или группы X, Y и Z по стабильности продаж - RFM анализ - Позволяет разделить клиентов на различные сегменты в зависимости от их активности и ценности для компании - Извлечение и замена терминов - Уникальные записи - Модификация колонок - Сортировка строк - Дискретизация - REST - Простой инструмент для отправки запросов GET/POST/PUT/DELETE без написания самих запросов - Python Всего более 100 Self-Service инструментов для работы с данными. ETL & BI инструменты: преимущества использования PolyAnalyst ETL & BI системы для трансформации и анализа больших данных - Загрузка, трансформация, очистка, обогащение и графическое предоставление данных в одной системе, без необходимости сопряжения различных программных продуктов; - Создание модели proof of concept бизнес-пользователем за 1 час без привлечения ИТ-специалиста; - Несколько десятков Low-code инструментов преобразования данных, настраиваемых без программирования; - Последовательности аналитических процедур легко настраиваются на регулярное автоматизированное выполнение; - Возможность интеграции кода и моделей, разработанных на языках Python и R; - Оперативное self-service создание пользовательских отчетов; - Свыше 30 нативных графических инструментов для построения отчетов, настраиваемых без написания кода; - Удобный веб-интерфейс для работы в браузере; - Возможность многомерного представления результатов; - Гибко настраиваемая ролевая модель, разграничивающая доступ к данным и отчетам; - Высокая масштабируемость и производительность: поддержка крупных массивов данных и большого количества пользователей; - Возможность полностью автономной работы системы в закрытом контуре заказчика или публикации отчетов в Интернете с использованием безопасного шифрованного канала доступа.

Программа для аналитики PolyAnalyst представляет собой сочетание следующих элементов: - доступ практически к любому источнику, всеядность форматов данных, возможность одновременной загрузки и объединения множества файлов из вложенных папок, объединение данных из разных источников; - приведение данных в необходимый для анализа формат с помощью эффективных инструментов очистки, включая восстановление пропущенных значений и нормализации; - большая коллекция статистических инструментов, а также алгоритмов машинного обучения и передовых инструментов обработки естественного языка; - возможность создания графических отчетов с целью обобщения результатов анализа данных; - автоматизация аналитических процедур для работы без участия человека по установленному расписанию. Одно из главных преимуществ аналитики данных PolyAnalyst заключается в том, что она позволяет объединить технологии, которые обычно предполагают использование разных программ для аналитики. Все возможные операции по обработке данных, начиная с их сбора из разных источников, импорта, объединения, очистки, и заканчивая анализом данных, экспортом результатов и созданием отчетов, вы можете выполнить в единой аналитической среде. Таким образом, программа аналитики данных PolyAnalyst является сквозным инструментом по работе с данными.

Бесплатный аналитический сервис Yandex DataLens от компании Яндекс.Облако предназначен для анализа данных на основе интерактивных дашбордов. Система предназначена для быстрой проверки гипотез, совместной работы с системой и визуализации бизнес-метрик. Решение Yandex DataLens подходит для разных видов организаций, отраслей и размеров. Основная целевая аудитория — это команды, работающие с данными, аналитики, разработчики и менеджеры проектов. Основные функции Yandex DataLens: - Быстрая проверка гипотез на основе данных. - Подключение разных источников данных. - Визуализация бизнес-метрик на дашбордах. - Совместная работа с системой. - Безопасность и соответствие стандартам. Особенности Yandex DataLens: - Единая экосистема и безопасность. - Гибкость подключения разных источников данных. - Командная работа с дашбордами. - Бесплатный доступ в базовой версии. Система состоит из подсистем: Дашборды Чарты Конструктор Модели данных SQL Аналитические вычисления.

Содержит модули управления данными, импорта/экспорта, графического представления, разнообразные аналитические методы. Полный функционал: Загрузка и сохранение таблиц в разных форматах Сохранение графиков Сохранение и загрузка рабочих книг Автоматическое формирование отчётов Фильтрация данных Обработка выбросов и пропусков Проверка нормальности и подгонка распределений Стандартизация данных и преобразование к нормальному распределению Балансировка классов и разбиение на выборки Описательные статистики и корреляции Таблицы частот и таблицы сопряжённости Т-критерий Дисперсионный анализ Непараметрическая статистика Множественная линейная и нелинейная регрессия <Обобщённые линейные модели Совместный анализ и шкалирование лучше-хуже Карты контроля качества и анализ процессов Анализ измерительных систем Стандартные графики: линейный, гистограмма, диаграмма рассеяния, ящик с усами График средних с ошибками Диаграмма Вороного и разбиение Делоне График ближайших соседей Круговая диаграмма Диаграмма причин и следствий Интерактивное удаление данных по графику Интерполяция сплайнами и РБФ Вариограммы и кригинг Кластеризация: К-средних, иерархическая, DBSCAN, EM Карты Кохонена Факторный анализ Логит и пробит регрессии Линейный и нелинейный дискриминантный анализ Канонический анализ Алгоритм априори Метод опорных векторов Случайный лес Преобразование временных рядов Сезонная АРПСС Спектральный анализ Описательные статистики для изображений И многие другие актуальные статистические методы.

Содержит модули управления данными, импорта/экспорта, графического представления, разнообразные аналитические методы. Функционал зависит от комплектации набора модулей: Комплектация Academic по функционалу совпадает с комплектацией Modeler и предназначена для некоммерческого использования в ВУЗах и других учебных и академических учреждениях. Для государственных учебных заведений и научно-исследовательских институтов. Позволяет решать широкий круг задач и максимально эффективно использовать в учебном и научно-исследовательском процессе для инженеров, врачей, экономистов, менеджеров, и др. специальностей.

Содержит модули управления данными, импорта/экспорта, графического представления, разнообразные аналитические методы. Функционал зависит от комплектации набора модулей: Максимально полная комплектация включает комплектацию Modeler, алгоритмы внедрения, оптимизации и обновления предиктивных моделей. Позволяет решать самые сложные задачи в бизнесе, экономике, промышленности, фармацевтике и др. областях человеческой деятельности путем выбора лучшей прогностической модели на основе ключевых индикаторов, внедрения и обновления прогностических моделей, применения алгоритмов оптимизации на основе разработанных моделей. Комплектация Data Scientist качественно расширяет функционал комплектации Modeler. К модулям машинного обучения добавляется возможность автоматического выбора лучшей модели, а для деревьев регрессии появляется особый модуль оптимизации – с его помощью можно подобрать значения предикторов так, чтобы целевые переменные укладывались в заданные границы. Для временных рядов появляется возможность проводить вейвлет-анализ. Полный функционал: Все модули из Modeler Скоринг моделей Выбор лучшей модели (регрессия) Выбор лучшей модели (классификация) Оптимизация деревьями регрессии .

Аналитическая система «N3.Аналитика» поддерживает полный цикл работ с данными: загрузка/очистка/преобразование/хранение/визуализация. Импорт информации осуществляется из разных источников, включая: - реляционные и нереляционные базы данных; - веб-сервисы SOAP и Restful; - файлы различных форматов. После проверки, очистки и трансформации данные поступают в промежуточное хранилище, где накапливаются в виде «озера данных». Для формирования корпоративного хранилища используется обеспечивающая целостность данных методология Data Vault 2.0; за процесс обработки от загрузки до агрегации отвечает компонент интеграции, разработанный на основе открытого ПО ApacheAirflow. Следующий этап — формирование витрины данных для построения визуальных отчетов — происходит в аналитическом хранилище. В работе платформы задействована колоночная БД на основе Yandex Clickhouse, благодаря чему даже на большом объеме данных отчеты формируются мгновенно. Для визуализации BI аналитики выбран один из лучших среди свободного ПО инструментов — платформа ApacheSuperSet, обеспечивающая 30 видов представления информации, включая возможность построения специализированных отчетов. Создание отчетов осуществляется с помощью конструктора, располагающего интуитивно-понятным интерфейсом и не требующего от оператора знания языков программирования. Детализация данных до любого уровня. От общей картины к поиску причин. Cбор, обработка, анализ, хранение и визуализация данных, построение отчетности. Управленческие дэшборды и панели мониторинга для контроля всех аспектов работы компании и персонала. Выявление проблем, определение перспектив. К преимуществам BI системы следует отнести: - способность быстро обрабатывать большие объемы информации, используя современные программы для аналитики; - расширенные возможности в части визуализации данных; - создание различных типов отчетов пользователями без навыков программирования.

Конструктор веб-форм QForm освобождает программистов от рутины и мелких задач. В сервисе возможно разделять права доступа к сайтам, что удобно для работы больших команд с различными зонами ответственности. Назначьте администратора или гостя, чтобы управлять доступом к базе клиентов и наладить отправку уведомлений. Вы сами выбираете, кому хотите поручить сбор полученных заявок, чтобы исключить ошибки и повысить продуктивность. В отличии от других сервисов, мы не ограничиваем своих пользователей в функционале или количестве сайтов, заявок. Наш бесплатный конструктор квизов и форм — это простой и мощный инструмент для любого бизнеса.

Система Analytic Workspace состоит из следующих подсистем: - Источники данных, - Модели, - Виджеты, - Информационные панели, - Администрирование. Подключение к различным источникам данных ETL-трансформация и аналитика данных ML-прогнозирование Self-service визуализация данных Работайте одновременно с различными источниками данных Базы данных (Oracle, Clickhouse, MySQL, Microsoft SQL, Greenplum, PostgreSQL, Vertica, MariaDB, MongoDB, Red Database, Firebird, OData, 1C); Файлы и архивы с файлами (QVD,.xls, .xlsx, .json, .txt, .csv, .xml, .tsv, .xlsb, .ods, .odf, .jsonl); Внутреннее хранилище Analytic Workspace на базе Clickhouse; Web-сервисы (API); Доступно добавление своих JDBC-коннекторов Анализируйте данные и получайте результаты Analytic Workspace — это полноценная BI-аналитика и трансформация данных для решения самых сложных бизнес-задач: Извлечение и трансформация данных с помощью Extract-Transform-Load (ETL)-модуля на базе связки сервисов Apache Spark и Apache Airflow; Создание моделей drag-and-drop способом; Использование SQL в моделях; Создание расчетных полей и иерархии; Объединение таблиц одного/нескольких источников; Внутреннее аналитическое хранилище на базе Clickhouse; ML-прогнозирование Визуализируйте 26 вариантов встроенных визуальных элементов и возможность сформировать собственный виджет с использованием HTML, CSS и JS благодаря встроенной интеграции с Echarts, где доступно 400 видов визуализации. Экспорт данных возможен в форматы: .png, .pdf, .csv, .xlsx, формируется индивидуальный доступ по ссылке для каждого виджета. Работайте командой Web-интерфейс; Многопользовательский режим; Разграничение прав доступа по принципу ABAC (доступ к атрибутам) до уровня виджетов с возможностью расширения полномочий; Безопасность данных.

Позволяет полностью автоматизировать работу с файловыми источниками, снизить сложность разработки проектов хранилищ данных и ускорить их пилотный запуск. Ускорение запуска пилотных проектов хранилищ данных. Быстрое получение структуры источников, генерация структуры таблиц, организация захвата, очистки и консолидации данных, создание аналитических витрин данных. Снижение сложности разработки проектов хранилищ данных. Удобная организация командной работы, уменьшение объема кода благодаря шаблонизации, простая настройка стендов разработки, тестирования и промышленной эксплуатации. Автоматизация работы с файловыми источниками и веб сервисами. Захват и многопоточное копирование файлов, парсинг разнообразных файловых форматов с буферзацией для пакетной загрузки в базы данных. Возможность совершенствования собственного программного обеспечения на Java совместимых платформах. Полноценный функционал управления объектами данных и процессами с визуальным интерфейсом, запуск и контроль выполнения процессов. Преимущества: - Кроссплатформенная среда разработки для Windows, Linux и Mac OS - Централизованный репозиторий структур данных, моделей и процессов - Low-code подход с шаблонизацией решений - Онлайн и оффлайн командная работа с помощью Git - Интеграция с Java приложениями - Центр управления работой задач по расписанию на серверах - ETL язык работы с источниками данных на базе Java и Groovy С помощью EasyPortal можно автоматизировать работу с различными источниками данных: РСУБД: PostgreSql, MySql, MS SQLServer, Oracle, IBM DB2, H2 database, FireBird, SQLite ХД: Vertica, Green Plum, Netezza, ClickHouse Hadoop: Hive, Impala Файловые: CSV, Excel, DBF, JSON, YAML, XML Другие: Kafka, Web services, HDFS Для файловых источников поддерживается работа со следующими файловыми системами: Локальные FTP SFTP HDFS.

Область применения специального программного обеспечения (СПО) "СТАТЭКС" Социологические опросы - Формирование и редактирование опросных листов онлайн - Создание и выгрузка бланков опросных анкет - Проведение социологических опросов посредством мобильных устройств - Выгрузка сводных собранных результатов в формате прикладного ПО Оценка экспертных мнений - Проведение сбора экспертных мнений как посредством Интернет, так и закрытых ведомственных сетей - Персональный учёт каждого эксперта, его мнения, компетентности и опыта - Использование инструментов анкетирования, ранжирования и оценки документов - Представление в онлайн-режиме и выгрузка сводных собранных результатов в формате прикладного ПО Маркетинговые исследования - Интерактивное представление данных соцопросов в виде диаграмм и графиков - Фильтрация в реальном времени данных по географической карте и дополнительным условиям отбора - Представление распределения фокусных групп на основе кластерного анализа - Выгрузка графиков и диаграмм для использования во внешнем прикладном обеспечении Статистический анализ - Проведение статистических расчетов в веб-интерфейсе - Использование гибкого математического аппарата - Предоставление многоэтапного инструментария расчетов - Загрузка и выгрузка совокупностей кейсов в формате прикладного ПО.

Платформа обеспечивает решение следующих задач: - Сбор и консолидацию данных с иерархической организационной структуры в единое хранилище данных. - Загрузку данных в хранилище из внешних информационных систем и внешних файлов. - Систематизацию и хранение данных в виде массивов показателей с набором аналитических признаков. - Конструирование форм представления данных. - Вычисления на основе алгоритмов агрегирования и формул расчета. - Анализ данных. - Визуализацию на аналитических панелях (дашбордах): таблицах, графиках, картах. - Подготовку и выпуск регламентированной отчетности. - Выгрузку данных во внешние файлы и информационные системы. Использование программно-технологической платформы Триафлай (ПТП Триафлай) позволяет повысить скорость и эффективность внедрения ИАС, а также модифицировать систему в ходе эксплуатации без привлечения разработчиков, средствами пользовательского интерфейса.

Выявление дублей загружаемого документа среди имеющихся в базе данных (БД) необходимо для очистки результатов поиска от лишней информации и, следовательно, упрощения аналитической работы с базой. Процедура избавления от дубликатов двухэтапная. Первый этап – выявление важных для обнаружения дубликатов характеристик поступившего в систему документа. Второй – поиск дубликатов. Процедура выявления дубликатов двухэтапная. Первый этап – выявление важных для обнаружения дубликатов характеристик поступившего в систему документа. Второй – собственно поиск дубликатов. Дубликаты выявляются с использованием следующих условий: - Хотя бы одна контрольная сумма предложений совпадает (необходимое условие); - Разница в числе слов документов не превышает заданного значения или отношение длин документов не превосходит определенного значения (необходимое условие); - Все контрольные суммы предложений совпадают (достаточное условие); - Контрольные суммы частых слов совпадают (достаточное условие. ! Использование библиотеки RCO Deduplicator возможно лишь при наличии работающей версии программы RCO Fact Extractor !

PROMT Neural Translation Server подходит для перевода документов и деловой переписки на предприятиях и в организациях, осуществляющих закупки по 223-ФЗ и владеющих критически важной инфраструктурой (КИИ): - Не требует подключения к интернету. Устанавливается в локальную сеть компании или предприятия на сервер под управлением ОС Linuх. Все функции программы работают непосредственно в локальной сети, это касается и сервера, и данных. - Имеет сертификаты совместимости c такими российскими ОС, как Astra Linux, РЕД ОС, Alt Linux и другими. PNTS внесен в Реестр российского ПО (номер записи № 15703). PROMT Neural Translation Server позволяет любому количеству пользователей переводить тексты и документы без ограничений по объему. PROMT Neural Translation Server является частью экосистемы PROMT. Вы всегда можете дополнить его другими компонентами экосистемы, чтобы оптимизировать работу штатного отдела перевода, библиотечной службы и т.д. Повысить качество машинного перевода можно за счет обучения нейронных моделей. Сроки выполнения переводческих проектов сокращаются за счет: применения нейросетевых технологий, перевода документов популярных форматов с сохранением форматирования. Поддержка работы с китайским, немецким, французским, арабским и другими европейскими и азиатскими языками. Доступно 50+ языков в любых комбинациях. Высокое стартовое качество перевода и возможность тренировки нейронных моделей на ранее переведенных данных. Установка в локальной сети компании, что гарантирует полный контроль над данными и безопасную работу с корпоративной информацией.

В библиотеке реализовано два подхода к сегментации звукового потока. Первый подход является аналогом VAD – Voice Activity Detection и работает на основе информации об уровне энергии в сигнале. Второй подход основан на обнаружении в звуковом потоке признаков основного тона (PTD – Pitch Tone Detection). Присутствие в сигнале признаков основного тона, как правило, сигнализирует о наличии речи. Определение основного тона осуществляется при помощи комбинации следующих методов: - метод частотной селекции; - метод на основе кепстральных коэффициентов; - метод на основе классической автокорреляционной функции (ACF – autocorrelation function); - модифицированный автокорреляционный метод (AMDF - average magnitude difference function based method). Комбинация четырёх указанных методов обеспечивает высокую надёжность обнаружения речевой составляющей в звуковом потоке даже в сигналах с высоким уровнем помех. Тип обрабатываемого сигнала: - WAV-файлы, буфер отсчётов; - частота дискретизации 8 кГц; - разрядность квантования 8 или 16-бит; - тип кодирования: A-закон, m-закон или PCM. Библиотека реализована в виде DLL-библиотеки, написанной на языке С++, позволяющей потокобезопасное встраивание функций автоматического определения пола в произвольные Windows-приложения.