N3.Аналитика

Система аналитики больших данных PolyAnalyst GRID выполняет распределенное хранение и анализ данных на совокупности серверов (узлов кластера), работа которых координируется сервисом базы данных — PolyAnalyst Database Server. Отдельные серверы узлов кластера могут работать как на физических, так и на виртуальных машинах с ОС Linux или MS Windows. Производительность системы аналитики больших данных (Big Data Analytics) - Аналитические алгоритмы PolyAnalyst GRID допускают параллельные вычисления, используют все процессорные ядра на вычислительном сервере кластера. - Аналитические алгоритмы, допускают также распределенные вычисления, дополнительно используют и все вычислительные сервера кластера. - Производительность алгоритмов системы, которые допускают распределенные вычисления, растет с общим количеством процессорных ядер на всех вычислительных серверах кластера (линейно для большинства алгоритмов). PolyAnalyst GRID включает инструменты для полного цикла аналитики с большими данными - Трансформация, очистка и обогащение данных, ETL; - Статистический анализ и машинное обучение, ML; - Интеллектуальный анализ текстовых данных, NLP;

Позволяет полностью автоматизировать работу с файловыми источниками, снизить сложность разработки проектов хранилищ данных и ускорить их пилотный запуск. Ускорение запуска пилотных проектов хранилищ данных. Быстрое получение структуры источников, генерация структуры таблиц, организация захвата, очистки и консолидации данных, создание аналитических витрин данных. Снижение сложности разработки проектов хранилищ данных. Удобная организация командной работы, уменьшение объема кода благодаря шаблонизации, простая настройка стендов разработки, тестирования и промышленной эксплуатации. Автоматизация работы с файловыми источниками и веб сервисами. Захват и многопоточное копирование файлов, парсинг разнообразных файловых форматов с буферзацией для пакетной загрузки в базы данных. Возможность совершенствования собственного программного обеспечения на Java совместимых платформах. Полноценный функционал управления объектами данных и процессами с визуальным интерфейсом, запуск и контроль выполнения процессов. Преимущества: - Кроссплатформенная среда разработки для Windows, Linux и Mac OS - Централизованный репозиторий структур данных, моделей и процессов - Low-code подход с шаблонизацией решений - Онлайн и оффлайн командная работа с помощью Git - Интеграция с Java приложениями - Центр управления работой задач по расписанию на серверах - ETL язык работы с источниками данных на базе Java и Groovy С помощью EasyPortal можно автоматизировать работу с различными источниками данных: РСУБД: PostgreSql, MySql, MS SQLServer, Oracle, IBM DB2, H2 database, FireBird, SQLite ХД: Vertica, Green Plum, Netezza, ClickHouse Hadoop: Hive, Impala Файловые: CSV, Excel, DBF, JSON, YAML, XML Другие: Kafka, Web services, HDFS Для файловых источников поддерживается работа со следующими файловыми системами: Локальные FTP SFTP HDFS

Программа для аналитики PolyAnalyst представляет собой сочетание следующих элементов: - доступ практически к любому источнику, всеядность форматов данных, возможность одновременной загрузки и объединения множества файлов из вложенных папок, объединение данных из разных источников; - приведение данных в необходимый для анализа формат с помощью эффективных инструментов очистки, включая восстановление пропущенных значений и нормализации; - большая коллекция статистических инструментов, а также алгоритмов машинного обучения и передовых инструментов обработки естественного языка; - возможность создания графических отчетов с целью обобщения результатов анализа данных; - автоматизация аналитических процедур для работы без участия человека по установленному расписанию. Одно из главных преимуществ аналитики данных PolyAnalyst заключается в том, что она позволяет объединить технологии, которые обычно предполагают использование разных программ для аналитики. Все возможные операции по обработке данных, начиная с их сбора из разных источников, импорта, объединения, очистки, и заканчивая анализом данных, экспортом результатов и созданием отчетов, вы можете выполнить в единой аналитической среде. Таким образом, программа аналитики данных PolyAnalyst является сквозным инструментом по работе с данными.

PolyAnalyst предоставляет широкий выбор алгоритмов машинного обучения и статистической обработки для анализа структурированных данных, таких как числа, строки и даты. Система позволяет решать задачи классификации, кластеризации, предсказания численных значений, выявлять типичные паттерны и аномалии, и строить предсказательные модели на основе анализа временных рядов и сетевых структур. PolyAnalyst может производить чистку и обогащение данных, используя алгоритмы нечеткого сравнения разных представлений объектов. Построенные системой предсказательные модели позволяют извлекать полезные знания, скрытые в анализируемых сырых данных, и применять эти знания для принятия эффективных управленческих и бизнес-решений. PolyAnalyst содержит более тридцати современных инструментов интеллектуального анализа, позволяющих решать подавляющее число прикладных задач. Также в PolyAnalyst возможно использовать высокоуровневые языки программирования Python и R для выполнения специальных операций с данными. - Прогнозирование - Регрессионный анализ - Анализ статистических распределений - Кластеризация - Анализ покупательских корзин - Деревья решений - Анализ временных рядов - Классификация - Анализ связей - Разрешение сущностей

PolyAnalyst Text решает весь спектр задач текстового анализа: извлекает факты и отношения из документов, кластеризует и классифицирует тексты, составляет аннотацию, анализирует тональности и многое другое. Технология text mining позволяет выполнять обработку естественного языка, которая по глубине и точности превосходит результаты аналогичных технологий. Кроме инструментов анализа текста, в систему также входят средства семантического анализа и алгоритмы машинного обучения. Вы сможете анализировать текстовые документы и отзывы в разных форматах и на разных языках, а также документы, содержащие как структурированные, так и неструктурированные данные. Text mining инструменты решающие все задачи анализа текста: - Извлечение фактов - Распознавание сканов - Классификация - Обезличивание - Анализ тональности - Резюмирование - Кластеризация Система интеллектуального анализа текста органично сочетает в себе передовые инструменты обработки естественного языка, средства семантического текстового анализа и алгоритмы машинного обучения, что позволяет пользователям получать результаты высокой точности. Мы предлагаем вам: - средства для загрузки данных из всех популярных источников и документов разного формата; - эффективные инструменты Text Mining для очистки и преобразования данных; - непревзойденную систему интеллектуального анализа текста, включающую в себя: - инструменты лингвистического (лексического, морфологического и синтаксического) анализа; - поддержку онтологий и семантических словарей; - статистические инструменты и алгоритмы машинного обучения.

Содержит модули управления данными, импорта/экспорта, графического представления, разнообразные аналитические методы. Полный функционал: Загрузка и сохранение таблиц в разных форматах Сохранение графиков Сохранение и загрузка рабочих книг Автоматическое формирование отчётов Фильтрация данных Обработка выбросов и пропусков Проверка нормальности и подгонка распределений Стандартизация данных и преобразование к нормальному распределению Балансировка классов и разбиение на выборки Описательные статистики и корреляции Таблицы частот и таблицы сопряжённости Т-критерий Дисперсионный анализ Непараметрическая статистика Множественная линейная и нелинейная регрессия <Обобщённые линейные модели Совместный анализ и шкалирование лучше-хуже Карты контроля качества и анализ процессов Анализ измерительных систем Стандартные графики: линейный, гистограмма, диаграмма рассеяния, ящик с усами График средних с ошибками Диаграмма Вороного и разбиение Делоне График ближайших соседей Круговая диаграмма Диаграмма причин и следствий Интерактивное удаление данных по графику Интерполяция сплайнами и РБФ Вариограммы и кригинг Кластеризация: К-средних, иерархическая, DBSCAN, EM Карты Кохонена Факторный анализ Логит и пробит регрессии Линейный и нелинейный дискриминантный анализ Канонический анализ Алгоритм априори Метод опорных векторов Случайный лес Преобразование временных рядов Сезонная АРПСС Спектральный анализ Описательные статистики для изображений И многие другие актуальные статистические методы

Содержит модули управления данными, импорта/экспорта, графического представления, разнообразные аналитические методы. Функционал зависит от комплектации набора модулей: Максимально полная комплектация включает комплектацию Modeler, алгоритмы внедрения, оптимизации и обновления предиктивных моделей. Позволяет решать самые сложные задачи в бизнесе, экономике, промышленности, фармацевтике и др. областях человеческой деятельности путем выбора лучшей прогностической модели на основе ключевых индикаторов, внедрения и обновления прогностических моделей, применения алгоритмов оптимизации на основе разработанных моделей. Комплектация Data Scientist качественно расширяет функционал комплектации Modeler. К модулям машинного обучения добавляется возможность автоматического выбора лучшей модели, а для деревьев регрессии появляется особый модуль оптимизации – с его помощью можно подобрать значения предикторов так, чтобы целевые переменные укладывались в заданные границы. Для временных рядов появляется возможность проводить вейвлет-анализ. Полный функционал: Все модули из Modeler Скоринг моделей Выбор лучшей модели (регрессия) Выбор лучшей модели (классификация) Оптимизация деревьями регрессии

Инструменты ETL и BI для преобразования данных и конструирования веб-отчетов PolyAnalyst ETL & BI предоставляет пользователям средства self-service трансформации данных, а также отображения результатов сложных алгоритмов анализа в виде интерактивных графических отчетов, доступных для понимания неспециалистов. ДОСТУПНА ВСЯ ПАЛИТРА ETL-ИНСТРУМЕНТОВ: - Объединение - Аналог SQL JOIN - Конкатенация - Аналог SQL UNION - Агрегирование - Аналог SQL GROUP BY - Разность - Формирование таблицы из записей, имеющихся в одной таблице, но отсутствующих в другой - Производные колонки - Расчет и вывод новых производных вычисляемых атрибутов, а также построение правил проверки данных - Условия - Позволяет установить условия для выполнения дочерних узлов, что способствует автоматизации выполнения скрипта - Фильтрация строк - Фильтрует записи согласно критерию, заданному аналитиком - Фильтрация данных - Позволяет фильтровать колонки, которые не представляют интереса с точки зрения статистического анализа данных - Транспонирование - Позволяет переводить данные из строчного представления в колонки. Аналог функции PIVOT - Выборка - Генерирует из талицы данных случайные выборки записей или выборки, отвечающие определенным условиям - Редактирование таблицы - Позволяет вручную редактировать данные в исходной таблице - ABC/XYZ анализ - Позволяет разделить продукты на 3 группы (A, B и C) по критерию привлекательность продукта, или группы X, Y и Z по стабильности продаж - RFM анализ - Позволяет разделить клиентов на различные сегменты в зависимости от их активности и ценности для компании - Извлечение и замена терминов - Уникальные записи - Модификация колонок - Сортировка строк - Дискретизация - REST - Простой инструмент для отправки запросов GET/POST/PUT/DELETE без написания самих запросов - Python Всего более 100 Self-Service инструментов для работы с данными. ETL & BI инструменты: преимущества использования PolyAnalyst ETL & BI системы для трансформации и анализа больших данных - Загрузка, трансформация, очистка, обогащение и графическое предоставление данных в одной системе, без необходимости сопряжения различных программных продуктов; - Создание модели proof of concept бизнес-пользователем за 1 час без привлечения ИТ-специалиста; - Несколько десятков Low-code инструментов преобразования данных, настраиваемых без программирования; - Последовательности аналитических процедур легко настраиваются на регулярное автоматизированное выполнение; - Возможность интеграции кода и моделей, разработанных на языках Python и R; - Оперативное self-service создание пользовательских отчетов; - Свыше 30 нативных графических инструментов для построения отчетов, настраиваемых без написания кода; - Удобный веб-интерфейс для работы в браузере; - Возможность многомерного представления результатов; - Гибко настраиваемая ролевая модель, разграничивающая доступ к данным и отчетам; - Высокая масштабируемость и производительность: поддержка крупных массивов данных и большого количества пользователей; - Возможность полностью автономной работы системы в закрытом контуре заказчика или публикации отчетов в Интернете с использованием безопасного шифрованного канала доступа.

Содержит модули управления данными, импорта/экспорта, графического представления, разнообразные аналитические методы. Функционал зависит от комплектации набора модулей: Комплектация Academic по функционалу совпадает с комплектацией Modeler и предназначена для некоммерческого использования в ВУЗах и других учебных и академических учреждениях. Для государственных учебных заведений и научно-исследовательских институтов. Позволяет решать широкий круг задач и максимально эффективно использовать в учебном и научно-исследовательском процессе для инженеров, врачей, экономистов, менеджеров, и др. специальностей

Область применения специального программного обеспечения (СПО) "СТАТЭКС" Социологические опросы - Формирование и редактирование опросных листов онлайн - Создание и выгрузка бланков опросных анкет - Проведение социологических опросов посредством мобильных устройств - Выгрузка сводных собранных результатов в формате прикладного ПО Оценка экспертных мнений - Проведение сбора экспертных мнений как посредством Интернет, так и закрытых ведомственных сетей - Персональный учёт каждого эксперта, его мнения, компетентности и опыта - Использование инструментов анкетирования, ранжирования и оценки документов - Представление в онлайн-режиме и выгрузка сводных собранных результатов в формате прикладного ПО Маркетинговые исследования - Интерактивное представление данных соцопросов в виде диаграмм и графиков - Фильтрация в реальном времени данных по географической карте и дополнительным условиям отбора - Представление распределения фокусных групп на основе кластерного анализа - Выгрузка графиков и диаграмм для использования во внешнем прикладном обеспечении Статистический анализ - Проведение статистических расчетов в веб-интерфейсе - Использование гибкого математического аппарата - Предоставление многоэтапного инструментария расчетов - Загрузка и выгрузка совокупностей кейсов в формате прикладного ПО

Бесплатный аналитический сервис Yandex DataLens от компании Яндекс.Облако предназначен для анализа данных на основе интерактивных дашбордов. Система предназначена для быстрой проверки гипотез, совместной работы с системой и визуализации бизнес-метрик. Решение Yandex DataLens подходит для разных видов организаций, отраслей и размеров. Основная целевая аудитория — это команды, работающие с данными, аналитики, разработчики и менеджеры проектов. Основные функции Yandex DataLens: - Быстрая проверка гипотез на основе данных. - Подключение разных источников данных. - Визуализация бизнес-метрик на дашбордах. - Совместная работа с системой. - Безопасность и соответствие стандартам. Особенности Yandex DataLens: - Единая экосистема и безопасность. - Гибкость подключения разных источников данных. - Командная работа с дашбордами. - Бесплатный доступ в базовой версии. Система состоит из подсистем: Дашборды Чарты Конструктор Модели данных SQL Аналитические вычисления

Конструктор веб-форм QForm освобождает программистов от рутины и мелких задач. В сервисе возможно разделять права доступа к сайтам, что удобно для работы больших команд с различными зонами ответственности. Назначьте администратора или гостя, чтобы управлять доступом к базе клиентов и наладить отправку уведомлений. Вы сами выбираете, кому хотите поручить сбор полученных заявок, чтобы исключить ошибки и повысить продуктивность. В отличии от других сервисов, мы не ограничиваем своих пользователей в функционале или количестве сайтов, заявок. Наш бесплатный конструктор квизов и форм — это простой и мощный инструмент для любого бизнеса.

Платформа обеспечивает решение следующих задач: - Сбор и консолидацию данных с иерархической организационной структуры в единое хранилище данных. - Загрузку данных в хранилище из внешних информационных систем и внешних файлов. - Систематизацию и хранение данных в виде массивов показателей с набором аналитических признаков. - Конструирование форм представления данных. - Вычисления на основе алгоритмов агрегирования и формул расчета. - Анализ данных. - Визуализацию на аналитических панелях (дашбордах): таблицах, графиках, картах. - Подготовку и выпуск регламентированной отчетности. - Выгрузку данных во внешние файлы и информационные системы. Использование программно-технологической платформы Триафлай (ПТП Триафлай) позволяет повысить скорость и эффективность внедрения ИАС, а также модифицировать систему в ходе эксплуатации без привлечения разработчиков, средствами пользовательского интерфейса.

Система Analytic Workspace состоит из следующих подсистем: - Источники данных, - Модели, - Виджеты, - Информационные панели, - Администрирование. Подключение к различным источникам данных ETL-трансформация и аналитика данных ML-прогнозирование Self-service визуализация данных Работайте одновременно с различными источниками данных Базы данных (Oracle, Clickhouse, MySQL, Microsoft SQL, Greenplum, PostgreSQL, Vertica, MariaDB, MongoDB, Red Database, Firebird, OData, 1C); Файлы и архивы с файлами (QVD,.xls, .xlsx, .json, .txt, .csv, .xml, .tsv, .xlsb, .ods, .odf, .jsonl); Внутреннее хранилище Analytic Workspace на базе Clickhouse; Web-сервисы (API); Доступно добавление своих JDBC-коннекторов Анализируйте данные и получайте результаты Analytic Workspace — это полноценная BI-аналитика и трансформация данных для решения самых сложных бизнес-задач: Извлечение и трансформация данных с помощью Extract-Transform-Load (ETL)-модуля на базе связки сервисов Apache Spark и Apache Airflow; Создание моделей drag-and-drop способом; Использование SQL в моделях; Создание расчетных полей и иерархии; Объединение таблиц одного/нескольких источников; Внутреннее аналитическое хранилище на базе Clickhouse; ML-прогнозирование Визуализируйте 26 вариантов встроенных визуальных элементов и возможность сформировать собственный виджет с использованием HTML, CSS и JS благодаря встроенной интеграции с Echarts, где доступно 400 видов визуализации. Экспорт данных возможен в форматы: .png, .pdf, .csv, .xlsx, формируется индивидуальный доступ по ссылке для каждого виджета. Работайте командой Web-интерфейс; Многопользовательский режим; Разграничение прав доступа по принципу ABAC (доступ к атрибутам) до уровня виджетов с возможностью расширения полномочий; Безопасность данных