RCO Deduplicator SDK

Библиотека производит лингвистический разбор текста с учетом грамматики и семантики языка и предоставляет программный интерфейс для считывания результатов разбора и использования другими программами (напр., для визуализации полученных данных, построения отчетов и таблиц, организации поиска по объектам и т.д.). Результатом анализа текста являются выделенные из текста сущности – наименования организаций, персон, географические объекты, различные символьно-цифровые конструкции (такие как номера автомобилей или полисов страхования, адреса), классы сущностей; сеть синтактико-семантических отношений между сущностями текста; структуры данных, описывающие упомянутые в тексте события и факты. Библиотека универсальна: ее можно настроить на работу с разными предметными областями и даже с разными языками. Всевозможные надстройки над базовой библиотекой позволяют решать совершенно разные задачи: от нахождения информационных дублей (плагиата) и построения смыслового портрета документа, до обезличивания персональных данных в текстах или преобразования поисковых запросов. Характеристики Библиотека обрабатывает примерно 40-200 Мбайт «чистого» текста в час. Под «чистым» текстом понимается документ, очищенный от разметки и служебной информации. Анализ текста состоит из 8ми последовательных ступеней. На каждом этапе задействованы специальные словари, описания объектов и правила, составленные лингвистами для максимально полного и точного извлечения информации в соответствии с заданной задачей и форматами текстов.

Компания PROMT предлагает решение для настройки на стороне заказчика. PROMT Neural Training Аddon позволяет заказчикам самостоятельно создавать специализированные модели перевода на своих данных. При использовании PROMT Neural Training Addon любая используемая информация защищена от утечки, а количество тренировок неограниченно. ТРЕБОВАНИЯ К ДАННЫМ ✔ Данные в формате tmx, UTF-8 ✔ Рекомендуемый объем от 10 000 сегментов БЕЗОПАСНОСТЬ И КОНФИДЕНЦИАЛЬНОСТЬ ✔ Работает офлайн ✔ Тренировка на стороне заказчика ✔ Тренировочные данные не доступны третьим лицам РЕЗУЛЬТАТ ✔ Специализированная модель ✔ Модель подключается в PROMT Neural Translation Server через профиль перевода ✔ Профиль перевода доступен для перевода текста, документа, сайта, в CAT-системе (PROMT Translation Factory, Phrase, Trados Studio).

PROMT Neural Translation Server подходит для перевода документов и деловой переписки на предприятиях и в организациях, осуществляющих закупки по 223-ФЗ и владеющих критически важной инфраструктурой (КИИ): - Не требует подключения к интернету. Устанавливается в локальную сеть компании или предприятия на сервер под управлением ОС Linuх. Все функции программы работают непосредственно в локальной сети, это касается и сервера, и данных. - Имеет сертификаты совместимости c такими российскими ОС, как Astra Linux, РЕД ОС, Alt Linux и другими. PNTS внесен в Реестр российского ПО (номер записи № 15703). PROMT Neural Translation Server позволяет любому количеству пользователей переводить тексты и документы без ограничений по объему. PROMT Neural Translation Server является частью экосистемы PROMT. Вы всегда можете дополнить его другими компонентами экосистемы, чтобы оптимизировать работу штатного отдела перевода, библиотечной службы и т.д. Повысить качество машинного перевода можно за счет обучения нейронных моделей. Сроки выполнения переводческих проектов сокращаются за счет: применения нейросетевых технологий, перевода документов популярных форматов с сохранением форматирования. Поддержка работы с китайским, немецким, французским, арабским и другими европейскими и азиатскими языками. Доступно 50+ языков в любых комбинациях. Высокое стартовое качество перевода и возможность тренировки нейронных моделей на ранее переведенных данных. Установка в локальной сети компании, что гарантирует полный контроль над данными и безопасную работу с корпоративной информацией.

Агрегатор новостной ленты использует алгоритмы разбора текста, взаимного взвешивания документов, кластеризации документов. При построении кластеров Агрегатор на каждой итерации рассматривает временной интервал, называемый окном кластеризации. Итерации повторяются со сдвигом окна кластеризации на заданный временной отрезок, называемый шагом кластеризации. Входной информацией агрегатора являются документы новостной ленты, хранящиеся в базе данных новостей заданного формата. Агрегатор новостной ленты сохраняет результат кластеризации документов в базе данных новостей в специально разработанных таблицах. Результатом кластеризации является набор кластеров. Каждый кластер имеет набор документов, собственно образующих кластер, и набор терминов, характеризующих кластер. Указанные документы и термины имеют свой вес в кластере. Помимо штатного режима, в котором происходит обработка новых документов, Агрегатор новостной ленты имеет также ретроспективный режим, в котором за явно указанный интервал проводится кластеризация документов с заданными окном и шагом кластеризации. В базе данных сохраняются результаты всех итераций кластеризации. Внутренняя структура агрегатора допускает достаточно легкую замену одного или нескольких алгоритмов агрегатора на этапе компиляции и сборки ПО.

Программа для аналитики PolyAnalyst представляет собой сочетание следующих элементов: - доступ практически к любому источнику, всеядность форматов данных, возможность одновременной загрузки и объединения множества файлов из вложенных папок, объединение данных из разных источников; - приведение данных в необходимый для анализа формат с помощью эффективных инструментов очистки, включая восстановление пропущенных значений и нормализации; - большая коллекция статистических инструментов, а также алгоритмов машинного обучения и передовых инструментов обработки естественного языка; - возможность создания графических отчетов с целью обобщения результатов анализа данных; - автоматизация аналитических процедур для работы без участия человека по установленному расписанию. Одно из главных преимуществ аналитики данных PolyAnalyst заключается в том, что она позволяет объединить технологии, которые обычно предполагают использование разных программ для аналитики. Все возможные операции по обработке данных, начиная с их сбора из разных источников, импорта, объединения, очистки, и заканчивая анализом данных, экспортом результатов и созданием отчетов, вы можете выполнить в единой аналитической среде. Таким образом, программа аналитики данных PolyAnalyst является сквозным инструментом по работе с данными.

PROMT Neural Training Аddon позволяет заказчикам самостоятельно создавать специализированные модели перевода на своих данных. При использовании PROMT Neural Training Addon любая используемая информация защищена от утечки, а количество тренировок неограниченно. ТРЕБОВАНИЯ К ДАННЫМ ✔ Данные в формате tmx, UTF-8 ✔ Рекомендуемый объем от 10 000 сегментов БЕЗОПАСНОСТЬ И КОНФИДЕНЦИАЛЬНОСТЬ ✔ Работает офлайн ✔ Тренировка на стороне заказчика ✔ Тренировочные данные не доступны третьим лицам РЕЗУЛЬТАТ ✔ Специализированная модель ✔ Модель подключается в PROMT Neural Translation Server через профиль перевода ✔ Профиль перевода доступен для перевода текста, документа, сайта, в CAT-системе (PROMT Translation Factory, Phrase, Trados Studio).

PolyAnalyst предоставляет широкий выбор алгоритмов машинного обучения и статистической обработки для анализа структурированных данных, таких как числа, строки и даты. Система позволяет решать задачи классификации, кластеризации, предсказания численных значений, выявлять типичные паттерны и аномалии, и строить предсказательные модели на основе анализа временных рядов и сетевых структур. PolyAnalyst может производить чистку и обогащение данных, используя алгоритмы нечеткого сравнения разных представлений объектов. Построенные системой предсказательные модели позволяют извлекать полезные знания, скрытые в анализируемых сырых данных, и применять эти знания для принятия эффективных управленческих и бизнес-решений. PolyAnalyst содержит более тридцати современных инструментов интеллектуального анализа, позволяющих решать подавляющее число прикладных задач. Также в PolyAnalyst возможно использовать высокоуровневые языки программирования Python и R для выполнения специальных операций с данными. - Прогнозирование - Регрессионный анализ - Анализ статистических распределений - Кластеризация - Анализ покупательских корзин - Деревья решений - Анализ временных рядов - Классификация - Анализ связей - Разрешение сущностей.

Для адресов РФ реализованы сопоставление с классификатором ФИАС, представление строки адреса в унифицированном виде, выдача списка подсказок-вариантов для продолжения адреса. Также поддерживаются разбор мест рождения СССР. Входными данными является текстовая строка с адресом или набор полей с адресными элементами, возможна также пакетная обработка адресов. RCO Address Parser 3.0 реализован в виде сервиса с поддержкой протокола SOAP. Для работы не требуется СУБД. Но если пользовательское приложение работает с СУБД Oracle, то оно может использовать дополнительные пакеты, входящие в состав поставки, упрощающие обмен данными c RCO Address Parser 3.0. Основные виды ошибок/опечаток, устраняемых во входных данных: Использование схожих по написанию латинских букв вместо кириллических; Опечатки («ул Перера» исправит на «ул Перерва»); Неполнота задания адреса (при условии уникальности заданных элементов, например, адрес «ул Xоламская, 31» преобразует в «индекс 361823, респ Кабардино-Балкарская, р-н Черекский, с Герпегеж, ул Холамская, дом 31»); Преобразование римских цифр в арабские; Использование старых названий городов и улиц («Арзамас-16, Репина, д.1, кв. 34» преобразует в «индекс 607188, обл Нижегородская, г Саров, ул Репина, дом 1, кв. 34»); Автозамена часто встречающихся устойчивых сокращений («проф.» вместо «профессора», «ак.» вместо «академика» и т.д.). Восстанавливаемая адресная информация: Почтовый индекс; Код ФИАС; Код КЛАДР; Код ОКАТО; Код ОКСМ; Пропущенные элементы адреса (область, район и т.п.). Для устранения неточностей, порой возникающих при разборе адреса, программа генерирует множество гипотез и выбирает наилучшую. Скорость обработки адресов – порядка 10/сек. на одном процессорном ядре.

комплекс взаимосвязанных программных инструментов для автоматизации типовых задач обработки данных, включая их сбор, интеграцию, анализ, хранение и визуализацию. Обеспечивает быструю разработку специализированных многопользовательских интеллектуальных аналитических систем, объединяющих информацию из внутренних баз данных и открытых источников сети Интернет (в том числе из социальных сетей). Особенности и преимущества Talisman использует технологии больших данных и передовые методы искусственного интеллекта для извлечения информации из произвольных источников. Позволяет быстро создавать интеллектуальные аналитические системы, используя подходы Low-code и No-code. Постоянно обучается на результатах работы аналитика, не требуя дополнительных трудозатрат.

Loginom предназначен для анализа и обработки бизнес-данных на базе методов визуального проектирования, является универсальным конструктором с набором готовых компонентов. Делает продвинутую аналитику доступной конечным пользователям без привлечения IT-специалистов, позволяя автоматизировать бизнес-процессы и кратно ускорить работу с данными. Платформа подходит как для аналитики самообслуживания (self-service BI), так и для построения масштабных отказоустойчивых корпоративных систем. Доступна в локальной и серверных версиях, а также в виде облачного сервиса. Платформа Loginom содержит обширный набор инструментов анализа и исследования – от простых математических операций до нейросетей – и позволяет выстраивать сквозной процесс обработки данных: от ETL-процессов до интеллектуального анализа данных (ИАД) и машинного обучения (ML). Вместе с тем, система применяется для обработки больших данных благодаря своей высокой производительности. Интеграция с источниками данных Предобработка и консолидация данных Разведочный анализ Моделирование и прогнозирование Визуализация и интерпретация данных Развертывание и интеграция.

Облачная платформа SpaceVM - Представляет собой комплексную платформу для развертывания полноценного частного облака в корпоративной среде с необходимыми дополнительными инструментами для автоматизации и оркестрации работы облачных сервисов. SpaceVM работает на базе серверов стандартной архитектуры x86-64 и позволяет перенести в облако не только веб-сайты, порталы, бизнес-приложения и рабочие станции сотрудников, но и обеспечивает работу телекоммуникационных сервисов, виртуальных маршрутизаторов, межсетевых экранов, почтовых и прокси-серверов. SpaceVM помогает снизить расходы на ЦОД, повысить время бесперебойной работы систем и приложений, а также значительно упростить работу ИТ-отдела в ЦОД. Облачная платформа SpaceVM – полнофункциональный российский аналог систем серверной виртуализации иностранного производства: VMware, Microsoft. Построение ИТ-инфраструктуры предприятия с использованием платформы SpaceVM повзолит предприятию обеспечить санкционную устойчивость и технологический суверенитет. SpaceVM предоставляет свободу выбора при построении комплексных проектов, расширяя возможности системы за счет использования открытых API-интерфейсов, реализующих взаимодействие с решениями ведущих российских поставщиков технологий, объединенных в глобальную экосистему. Возможности SpaceVM: - Гипервизор первого типа - Поддержка широкого спектра гостевых операционных систем на виртуальных машинах, в том числе различные выпуски Linux и Windows ОС. - Возможность работы на распространенных серверных платформах иностранного и отечественного производства (из реестра МПТ) - Поддержка функций высокой доступности (High Availability) и динамического перераспределения ресурсов (DRS) - Поддержка внешних СХД - Обеспечение живой миграции VM между хостами и хранилищами кластера - Поддержка виртуализации графических ресурсов (vGPU).

RCO Zoom отличают Высокая скорость и гибкость загрузки и поиска информации; Встроенные механизмы контент-анализа; Поиск по объектам; Поддержка морфологии и синтаксиса русского и английского языков; Возможность работы с грифованной информацией; Высокопроизводительная и независимая база данных; Развитые средства администрирования. Систему можно использовать в качестве высоконадежного хранилища документов. Система имеет интерфейсы пользователя и администратора, а также программный интерфейс, позволяющий использовать функции Zoom сторонним системам. Система может работать с документами на разных языках. Она интегрирована с библиотекой RCO Fact Extractor SDK. Интерфейс для Python позволяет реализовывать всевозможные надстройки для решения совершенно различных задач помимо хранения и поиска: от нахождения информационных дублей документов до их классификации и кластеризации. Характеристики Система работает с файловой системой, почтой, базой данных. Обрабатываемые форматы: txt, html, pdf, rtf, doc, xls, ppt. Распознаются язык и кодировка. Полностью 64-разрядная, поддерживается отказоустойчивый кластер. Проведение контент-анализа в реальном масштабе времени; Определение тематически и текстуально похожих документов; Система прошла сертификацию и имеет ряд аттестованных внедрений для работы с грифованной информацией; Решена проблема достаточной производительности системы при работе в сетях, имеющих средства криптографирования и защиты; Система имеет механизмы поддержания транзакционной целостности, откатов БД, а также возможность масштабирования; Система имеет эффективные механизмы разграничения прав доступа на уровне БД, сегментов информации, отдельных документов; Поддерживает Windows–аутентификацию; Имеет средства удаленного администрирования; Ведется журнал работы пользователей, в т.ч. запросов, просмотра.

PolyAnalyst Text решает весь спектр задач текстового анализа: извлекает факты и отношения из документов, кластеризует и классифицирует тексты, составляет аннотацию, анализирует тональности и многое другое. Технология text mining позволяет выполнять обработку естественного языка, которая по глубине и точности превосходит результаты аналогичных технологий. Кроме инструментов анализа текста, в систему также входят средства семантического анализа и алгоритмы машинного обучения. Вы сможете анализировать текстовые документы и отзывы в разных форматах и на разных языках, а также документы, содержащие как структурированные, так и неструктурированные данные. Text mining инструменты решающие все задачи анализа текста: - Извлечение фактов - Распознавание сканов - Классификация - Обезличивание - Анализ тональности - Резюмирование - Кластеризация Система интеллектуального анализа текста органично сочетает в себе передовые инструменты обработки естественного языка, средства семантического текстового анализа и алгоритмы машинного обучения, что позволяет пользователям получать результаты высокой точности. Мы предлагаем вам: - средства для загрузки данных из всех популярных источников и документов разного формата; - эффективные инструменты Text Mining для очистки и преобразования данных; - непревзойденную систему интеллектуального анализа текста, включающую в себя: - инструменты лингвистического (лексического, морфологического и синтаксического) анализа; - поддержку онтологий и семантических словарей; - статистические инструменты и алгоритмы машинного обучения.

Инструменты ETL и BI для преобразования данных и конструирования веб-отчетов PolyAnalyst ETL & BI предоставляет пользователям средства self-service трансформации данных, а также отображения результатов сложных алгоритмов анализа в виде интерактивных графических отчетов, доступных для понимания неспециалистов. ДОСТУПНА ВСЯ ПАЛИТРА ETL-ИНСТРУМЕНТОВ: - Объединение - Аналог SQL JOIN - Конкатенация - Аналог SQL UNION - Агрегирование - Аналог SQL GROUP BY - Разность - Формирование таблицы из записей, имеющихся в одной таблице, но отсутствующих в другой - Производные колонки - Расчет и вывод новых производных вычисляемых атрибутов, а также построение правил проверки данных - Условия - Позволяет установить условия для выполнения дочерних узлов, что способствует автоматизации выполнения скрипта - Фильтрация строк - Фильтрует записи согласно критерию, заданному аналитиком - Фильтрация данных - Позволяет фильтровать колонки, которые не представляют интереса с точки зрения статистического анализа данных - Транспонирование - Позволяет переводить данные из строчного представления в колонки. Аналог функции PIVOT - Выборка - Генерирует из талицы данных случайные выборки записей или выборки, отвечающие определенным условиям - Редактирование таблицы - Позволяет вручную редактировать данные в исходной таблице - ABC/XYZ анализ - Позволяет разделить продукты на 3 группы (A, B и C) по критерию привлекательность продукта, или группы X, Y и Z по стабильности продаж - RFM анализ - Позволяет разделить клиентов на различные сегменты в зависимости от их активности и ценности для компании - Извлечение и замена терминов - Уникальные записи - Модификация колонок - Сортировка строк - Дискретизация - REST - Простой инструмент для отправки запросов GET/POST/PUT/DELETE без написания самих запросов - Python Всего более 100 Self-Service инструментов для работы с данными. ETL & BI инструменты: преимущества использования PolyAnalyst ETL & BI системы для трансформации и анализа больших данных - Загрузка, трансформация, очистка, обогащение и графическое предоставление данных в одной системе, без необходимости сопряжения различных программных продуктов; - Создание модели proof of concept бизнес-пользователем за 1 час без привлечения ИТ-специалиста; - Несколько десятков Low-code инструментов преобразования данных, настраиваемых без программирования; - Последовательности аналитических процедур легко настраиваются на регулярное автоматизированное выполнение; - Возможность интеграции кода и моделей, разработанных на языках Python и R; - Оперативное self-service создание пользовательских отчетов; - Свыше 30 нативных графических инструментов для построения отчетов, настраиваемых без написания кода; - Удобный веб-интерфейс для работы в браузере; - Возможность многомерного представления результатов; - Гибко настраиваемая ролевая модель, разграничивающая доступ к данным и отчетам; - Высокая масштабируемость и производительность: поддержка крупных массивов данных и большого количества пользователей; - Возможность полностью автономной работы системы в закрытом контуре заказчика или публикации отчетов в Интернете с использованием безопасного шифрованного канала доступа.

Система аналитики больших данных PolyAnalyst GRID выполняет распределенное хранение и анализ данных на совокупности серверов (узлов кластера), работа которых координируется сервисом базы данных — PolyAnalyst Database Server. Отдельные серверы узлов кластера могут работать как на физических, так и на виртуальных машинах с ОС Linux или MS Windows. Производительность системы аналитики больших данных (Big Data Analytics) - Аналитические алгоритмы PolyAnalyst GRID допускают параллельные вычисления, используют все процессорные ядра на вычислительном сервере кластера. - Аналитические алгоритмы, допускают также распределенные вычисления, дополнительно используют и все вычислительные сервера кластера. - Производительность алгоритмов системы, которые допускают распределенные вычисления, растет с общим количеством процессорных ядер на всех вычислительных серверах кластера (линейно для большинства алгоритмов). PolyAnalyst GRID включает инструменты для полного цикла аналитики с большими данными - Трансформация, очистка и обогащение данных, ETL; - Статистический анализ и машинное обучение, ML; - Интеллектуальный анализ текстовых данных, NLP;

Бесплатный аналитический сервис Yandex DataLens от компании Яндекс.Облако предназначен для анализа данных на основе интерактивных дашбордов. Система предназначена для быстрой проверки гипотез, совместной работы с системой и визуализации бизнес-метрик. Решение Yandex DataLens подходит для разных видов организаций, отраслей и размеров. Основная целевая аудитория — это команды, работающие с данными, аналитики, разработчики и менеджеры проектов. Основные функции Yandex DataLens: - Быстрая проверка гипотез на основе данных. - Подключение разных источников данных. - Визуализация бизнес-метрик на дашбордах. - Совместная работа с системой. - Безопасность и соответствие стандартам. Особенности Yandex DataLens: - Единая экосистема и безопасность. - Гибкость подключения разных источников данных. - Командная работа с дашбордами. - Бесплатный доступ в базовой версии. Система состоит из подсистем: Дашборды Чарты Конструктор Модели данных SQL Аналитические вычисления.