DSS Lab STRICE

Выявление дублей загружаемого документа среди имеющихся в базе данных (БД) необходимо для очистки результатов поиска от лишней информации и, следовательно, упрощения аналитической работы с базой. Процедура избавления от дубликатов двухэтапная. Первый этап – выявление важных для обнаружения дубликатов характеристик поступившего в систему документа. Второй – поиск дубликатов. Процедура выявления дубликатов двухэтапная. Первый этап – выявление важных для обнаружения дубликатов характеристик поступившего в систему документа. Второй – собственно поиск дубликатов. Дубликаты выявляются с использованием следующих условий: - Хотя бы одна контрольная сумма предложений совпадает (необходимое условие); - Разница в числе слов документов не превышает заданного значения или отношение длин документов не превосходит определенного значения (необходимое условие); - Все контрольные суммы предложений совпадают (достаточное условие); - Контрольные суммы частых слов совпадают (достаточное условие. ! Использование библиотеки RCO Deduplicator возможно лишь при наличии работающей версии программы RCO Fact Extractor !

PROMT Neural Translation Server подходит для перевода документов и деловой переписки на предприятиях и в организациях, осуществляющих закупки по 223-ФЗ и владеющих критически важной инфраструктурой (КИИ): - Не требует подключения к интернету. Устанавливается в локальную сеть компании или предприятия на сервер под управлением ОС Linuх. Все функции программы работают непосредственно в локальной сети, это касается и сервера, и данных. - Имеет сертификаты совместимости c такими российскими ОС, как Astra Linux, РЕД ОС, Alt Linux и другими. PNTS внесен в Реестр российского ПО (номер записи № 15703). PROMT Neural Translation Server позволяет любому количеству пользователей переводить тексты и документы без ограничений по объему. PROMT Neural Translation Server является частью экосистемы PROMT. Вы всегда можете дополнить его другими компонентами экосистемы, чтобы оптимизировать работу штатного отдела перевода, библиотечной службы и т.д. Повысить качество машинного перевода можно за счет обучения нейронных моделей. Сроки выполнения переводческих проектов сокращаются за счет: применения нейросетевых технологий, перевода документов популярных форматов с сохранением форматирования. Поддержка работы с китайским, немецким, французским, арабским и другими европейскими и азиатскими языками. Доступно 50+ языков в любых комбинациях. Высокое стартовое качество перевода и возможность тренировки нейронных моделей на ранее переведенных данных. Установка в локальной сети компании, что гарантирует полный контроль над данными и безопасную работу с корпоративной информацией.

PolyAnalyst Text решает весь спектр задач текстового анализа: извлекает факты и отношения из документов, кластеризует и классифицирует тексты, составляет аннотацию, анализирует тональности и многое другое. Технология text mining позволяет выполнять обработку естественного языка, которая по глубине и точности превосходит результаты аналогичных технологий. Кроме инструментов анализа текста, в систему также входят средства семантического анализа и алгоритмы машинного обучения. Вы сможете анализировать текстовые документы и отзывы в разных форматах и на разных языках, а также документы, содержащие как структурированные, так и неструктурированные данные. Text mining инструменты решающие все задачи анализа текста: - Извлечение фактов - Распознавание сканов - Классификация - Обезличивание - Анализ тональности - Резюмирование - Кластеризация Система интеллектуального анализа текста органично сочетает в себе передовые инструменты обработки естественного языка, средства семантического текстового анализа и алгоритмы машинного обучения, что позволяет пользователям получать результаты высокой точности. Мы предлагаем вам: - средства для загрузки данных из всех популярных источников и документов разного формата; - эффективные инструменты Text Mining для очистки и преобразования данных; - непревзойденную систему интеллектуального анализа текста, включающую в себя: - инструменты лингвистического (лексического, морфологического и синтаксического) анализа; - поддержку онтологий и семантических словарей; - статистические инструменты и алгоритмы машинного обучения.

В библиотеке реализовано два подхода к сегментации звукового потока. Первый подход является аналогом VAD – Voice Activity Detection и работает на основе информации об уровне энергии в сигнале. Второй подход основан на обнаружении в звуковом потоке признаков основного тона (PTD – Pitch Tone Detection). Присутствие в сигнале признаков основного тона, как правило, сигнализирует о наличии речи. Определение основного тона осуществляется при помощи комбинации следующих методов: - метод частотной селекции; - метод на основе кепстральных коэффициентов; - метод на основе классической автокорреляционной функции (ACF – autocorrelation function); - модифицированный автокорреляционный метод (AMDF - average magnitude difference function based method). Комбинация четырёх указанных методов обеспечивает высокую надёжность обнаружения речевой составляющей в звуковом потоке даже в сигналах с высоким уровнем помех. Тип обрабатываемого сигнала: - WAV-файлы, буфер отсчётов; - частота дискретизации 8 кГц; - разрядность квантования 8 или 16-бит; - тип кодирования: A-закон, m-закон или PCM. Библиотека реализована в виде DLL-библиотеки, написанной на языке С++, позволяющей потокобезопасное встраивание функций автоматического определения пола в произвольные Windows-приложения.

Программное решение 3i NLP Platform поддерживает распределенную обработку больших объемов данных (Big Data), отказоустойчивое хранение и высокоскоростную обработку данных с помощью средств Hadoop (HDFS, Hbase, SequenceFiles и т.п.). При проведении текстового анализа таких данных выявляется большое количество различной статистической лингвистической информации. Ее учет дает возможность существенно повысить точность и релевантность результатов, например, при поиске и классификации текстов. 3i NLP Platform предоставляет следующие возможности: - формирование и обработка статистической морфологической информации (кол-во частей речи, их распределение в массиве текстов и др.); - расчет статистики по выявленным сущностям (персоны, геолокации, организации) и результатам расчетов по определению тональности документов и сущностей; - выполнение математических операций над статистическими данными (пересечение выявленных групп данных, нахождение экземпляров данных в заданном множестве и др.); - анализ частотных характеристик морфологической и семантической информации, графическая интерпретация статистических данных.

Интеллектуальный программный модуль оценки эмоционального состояния диктора для поддержки принятия решений в контакт-центрах, на основе технологий искусственного интеллекта по интерпретируемой обработки данных и распознаванию речи (ПМ ЭОС) предназначен для обеспечения автоматической оценки эмоционального состояния диктора по акустическим признакам звукового сигнала, содержащего речевое сообщение; автоматического распознавания эмоции по расшифровке входного речевого сообщения и поддержки интегральной оценки эмоции по акустическим признакам и текстовым признакам речевого сообщения. ПМ ЭОС состоит из одного модуля 3i-speech-service и реализовано в виде серверного приложения, запускаемого в среде Docker.

3i TTS API позволяет произвести озвучку любого текста, используя технологию синтеза речи. Поддерживаемые языки: Русский язык (Cloud/On-premise) Доступные голоса: - Мужской; - Женский. ПО состоит из одного модуля 3i-tts-service и реализовано в виде серверного приложения, запускаемого в среде Docker.

PolyAnalyst предоставляет широкий выбор алгоритмов машинного обучения и статистической обработки для анализа структурированных данных, таких как числа, строки и даты. Система позволяет решать задачи классификации, кластеризации, предсказания численных значений, выявлять типичные паттерны и аномалии, и строить предсказательные модели на основе анализа временных рядов и сетевых структур. PolyAnalyst может производить чистку и обогащение данных, используя алгоритмы нечеткого сравнения разных представлений объектов. Построенные системой предсказательные модели позволяют извлекать полезные знания, скрытые в анализируемых сырых данных, и применять эти знания для принятия эффективных управленческих и бизнес-решений. PolyAnalyst содержит более тридцати современных инструментов интеллектуального анализа, позволяющих решать подавляющее число прикладных задач. Также в PolyAnalyst возможно использовать высокоуровневые языки программирования Python и R для выполнения специальных операций с данными. - Прогнозирование - Регрессионный анализ - Анализ статистических распределений - Кластеризация - Анализ покупательских корзин - Деревья решений - Анализ временных рядов - Классификация - Анализ связей - Разрешение сущностей.

Агрегатор новостной ленты использует алгоритмы разбора текста, взаимного взвешивания документов, кластеризации документов. При построении кластеров Агрегатор на каждой итерации рассматривает временной интервал, называемый окном кластеризации. Итерации повторяются со сдвигом окна кластеризации на заданный временной отрезок, называемый шагом кластеризации. Входной информацией агрегатора являются документы новостной ленты, хранящиеся в базе данных новостей заданного формата. Агрегатор новостной ленты сохраняет результат кластеризации документов в базе данных новостей в специально разработанных таблицах. Результатом кластеризации является набор кластеров. Каждый кластер имеет набор документов, собственно образующих кластер, и набор терминов, характеризующих кластер. Указанные документы и термины имеют свой вес в кластере. Помимо штатного режима, в котором происходит обработка новых документов, Агрегатор новостной ленты имеет также ретроспективный режим, в котором за явно указанный интервал проводится кластеризация документов с заданными окном и шагом кластеризации. В базе данных сохраняются результаты всех итераций кластеризации. Внутренняя структура агрегатора допускает достаточно легкую замену одного или нескольких алгоритмов агрегатора на этапе компиляции и сборки ПО.

PROMT Neural Training Аddon позволяет заказчикам самостоятельно создавать специализированные модели перевода на своих данных. При использовании PROMT Neural Training Addon любая используемая информация защищена от утечки, а количество тренировок неограниченно. ТРЕБОВАНИЯ К ДАННЫМ ✔ Данные в формате tmx, UTF-8 ✔ Рекомендуемый объем от 10 000 сегментов БЕЗОПАСНОСТЬ И КОНФИДЕНЦИАЛЬНОСТЬ ✔ Работает офлайн ✔ Тренировка на стороне заказчика ✔ Тренировочные данные не доступны третьим лицам РЕЗУЛЬТАТ ✔ Специализированная модель ✔ Модель подключается в PROMT Neural Translation Server через профиль перевода ✔ Профиль перевода доступен для перевода текста, документа, сайта, в CAT-системе (PROMT Translation Factory, Phrase, Trados Studio).

Для адресов РФ реализованы сопоставление с классификатором ФИАС, представление строки адреса в унифицированном виде, выдача списка подсказок-вариантов для продолжения адреса. Также поддерживаются разбор мест рождения СССР. Входными данными является текстовая строка с адресом или набор полей с адресными элементами, возможна также пакетная обработка адресов. RCO Address Parser 3.0 реализован в виде сервиса с поддержкой протокола SOAP. Для работы не требуется СУБД. Но если пользовательское приложение работает с СУБД Oracle, то оно может использовать дополнительные пакеты, входящие в состав поставки, упрощающие обмен данными c RCO Address Parser 3.0. Основные виды ошибок/опечаток, устраняемых во входных данных: Использование схожих по написанию латинских букв вместо кириллических; Опечатки («ул Перера» исправит на «ул Перерва»); Неполнота задания адреса (при условии уникальности заданных элементов, например, адрес «ул Xоламская, 31» преобразует в «индекс 361823, респ Кабардино-Балкарская, р-н Черекский, с Герпегеж, ул Холамская, дом 31»); Преобразование римских цифр в арабские; Использование старых названий городов и улиц («Арзамас-16, Репина, д.1, кв. 34» преобразует в «индекс 607188, обл Нижегородская, г Саров, ул Репина, дом 1, кв. 34»); Автозамена часто встречающихся устойчивых сокращений («проф.» вместо «профессора», «ак.» вместо «академика» и т.д.). Восстанавливаемая адресная информация: Почтовый индекс; Код ФИАС; Код КЛАДР; Код ОКАТО; Код ОКСМ; Пропущенные элементы адреса (область, район и т.п.). Для устранения неточностей, порой возникающих при разборе адреса, программа генерирует множество гипотез и выбирает наилучшую. Скорость обработки адресов – порядка 10/сек. на одном процессорном ядре.

3i Search Platform имеет распределенную архитектуру сбора, индексации данных и обработки запросов. Система сбора данных реализована в виде коннекторов к различным источникам данных, например, к файловой системе или Интернет. 3i Search Platform обойдет внутренние и внешние источники данных, объединит их в единое информационное пространство и предоставит доступ через Web-интерфейс. Посредством SOAP-API можно получить доступ к следующим функциям системы: - поиск по ключевым словам; - смысловой поиск; - нечеткий поиск; - параметрический поиск; - поиск похожих документов; - поиск по различным типам полей; - поиск с использованием усечения (wildcard); - поиск с учетом синонимов и пользовательских словарей; - кросс-языковый поиск; - автоматическое дополнение запросов при поиске; - проверка правописания запросов; - анализ статистики по запросам (анализ интересов пользователей); - классификация документов; - ведение различных типов классификаторов для совместной работы (пользовательские, групповые, общие); - кластеризация документов; - построение карты связей для кластеров; - динамическая кластеризация результатов поиска; - ведение пользовательских агентов для мониторинга данных и уведомлений; - смысловое аннотирование. Коннекторы: файловая система, Интернет, POP3/IMAP, Fetch API. Типы файлов: более 200 различных форматов, среди них XML, HTML, PDF, файлы Microsoft Office и многие другие. Для XML и HTML имеются гибкие настройки. 3i Search Platform поддерживает лингвистическую обработку документов на следующих языках: английский, арабский, иврит, итальянский, испанский, китайский (трад.), китайский (упр.), корейский, немецкий, польский, португальский, русский, турецкий, французский, японский. Также для указанного списка доступно автоматическое определение языка. Список поддерживаемых языков пополняется. Скоростные характеристики на современных процессорах семейства Intel Xeon: - индексация на одном ядре со скоростью более 4 MB/s (32 Mbps); - выполнение более 50 простых запросов в секунду.

комплекс взаимосвязанных программных инструментов для автоматизации типовых задач обработки данных, включая их сбор, интеграцию, анализ, хранение и визуализацию. Обеспечивает быструю разработку специализированных многопользовательских интеллектуальных аналитических систем, объединяющих информацию из внутренних баз данных и открытых источников сети Интернет (в том числе из социальных сетей). Особенности и преимущества Talisman использует технологии больших данных и передовые методы искусственного интеллекта для извлечения информации из произвольных источников. Позволяет быстро создавать интеллектуальные аналитические системы, используя подходы Low-code и No-code. Постоянно обучается на результатах работы аналитика, не требуя дополнительных трудозатрат.

Программа для аналитики PolyAnalyst представляет собой сочетание следующих элементов: - доступ практически к любому источнику, всеядность форматов данных, возможность одновременной загрузки и объединения множества файлов из вложенных папок, объединение данных из разных источников; - приведение данных в необходимый для анализа формат с помощью эффективных инструментов очистки, включая восстановление пропущенных значений и нормализации; - большая коллекция статистических инструментов, а также алгоритмов машинного обучения и передовых инструментов обработки естественного языка; - возможность создания графических отчетов с целью обобщения результатов анализа данных; - автоматизация аналитических процедур для работы без участия человека по установленному расписанию. Одно из главных преимуществ аналитики данных PolyAnalyst заключается в том, что она позволяет объединить технологии, которые обычно предполагают использование разных программ для аналитики. Все возможные операции по обработке данных, начиная с их сбора из разных источников, импорта, объединения, очистки, и заканчивая анализом данных, экспортом результатов и созданием отчетов, вы можете выполнить в единой аналитической среде. Таким образом, программа аналитики данных PolyAnalyst является сквозным инструментом по работе с данными.

Возможности продукта Базовые - интерфейс лингвистического администратора - API - перевод текста, html, XML - автоопределение исходного языка, типа и тематики текста - словарная справка - масштабирование системы - инструменты для настройки системы пользователем Расширенные - перевод документов любого формата (DOC(X), XLS(X), PPT(X) и др.) - перевод графических файлов (PDF, JPEG, PNG, TIFF) - автоопределение исходного языка, типа, тематики и формата документа Дополнительные - пользовательский веб-интерфейс - плагины к офисным приложениям - разработка специальных методов API - разработка новых языковых направлений - расширенные инструменты для настройки системы пользователем.

Технология идентификации пола диктора по голосу основана на моделях из смесей гауссовых распределений. Точность идентификации - вероятность ошибки принять мужчину за женщину: 0,0096; - вероятность ошибки принять женщину за мужчину: 0,0357. Средний уровень ошибок при равном количестве мужчин и женщин оценивался на речевой базе, объёмом более двух тысяч фонограмм и составил 1,63%. Тип обрабатываемого сигнала: WAV-файлы, буфер отсчётов; частота дискретизации 8 кГц; разрядность квантования 8 или 16-бит; тип кодирования: A-закон, m-закон или PCM. Требования к качеству речевого сигнала - отношение сигнал/шум не менее 7 дБ. SDK реализован в виде DLL-библиотеки, написанной на языке С++, позволяющей потокобезопасное встраивание функций автоматического определения пола в произвольные Windows-приложения.