Проблематика
В настоящее время все популярнее становится тренд к анализу данных. Большие и средние предприятия реализуют системы хранения данных: событий, документов, справочных данных для возможности прогнозирования событий, выделение новых данных, сбора различной статистики для дальнейшей предиктивной аналитики. Ключевым свойством развития предприятия становится возможность
Прогрессивные МЛ решения должны обладать возможностью к постоянному совершенствованию алгоритмов.
На данный момент не существует решений, позволяющих быстро организовывать озеро данных для результатов интеллектуальной деятельности с возможностью дальнейшего анализа и выделения новых знаний. Существующие решения не покрывают полный цикл работы с РИД и реализуют в основном функции анализа и индексации наборов отдельных документов (langchain, llama index, haystack). Многие высшие научные заведения и коммерческие предприятия имеют собственную инфраструктуру для хранения публикаций, патентной и иной научной документации. Подобные системы не могут предложить обширный, а тем более актуальный текущему развитию алгоритмов, набор инструментов анализа. Часто функционал заканчивается на возможности полнотекстового поиска и построения гистограмм распределения атрибутов. Не редко бывают случаи, когда предприятие не может отказаться от собственной инфраструктуры.
Решение
В качестве решения предлагается реализовать платформу, способную выполнять функцию хранения научных публикаций и результатов их анализа. Для возможности расширения алгоритмов аналитики, платформа должна обладать гибким программным интерфейсом, совместимым с современными фреймворками обработки текстовой информации и обладающим возможностью расширения в дальнейшем. Функция хранения должна быть расширена для возможности хранения внешних, не контролируемых данных.
Описание решения
Платформа должна обладать веб интерфейсом для взаимодействия с пользователями.
Для возможности взаимодействия с платформой был реализован фреймворк на языке Python. Фреймворк обладает следующими особенностями: Подключение к платформе в режиме обратного прокси Возможность реагировать на различные события в платформе (добавление/обновление/удаление) Возможность реализации собственного метода обработки
Дополнительно решаемы проблемы
Ответ на поставленный вопрос Определение зрелости технологии Экспертный / разведочный поиск
Архитектура решения
Одним из набирающих популярность подходов к анализу данных является ELT (Extract Load Transform). Подход предлагает модель работы с данными в два этапа. Первый этап предполагает загрузку данных и сохранение их в исходном виде. Второй этап предполагает анализ исходных данных, например выделение признаков, построение моделей, индексацию. Благодаря тому, что процесс обработки откладывается, не изменяет исходные данные и отделен от процесса загрузки, в отличие от подхода ETL (Extract Transform Load), анализ исходных данных возможно повторить многократно, используя более современные алгоритмы обработки. Последнее свойство является важным требованием с учетом бурного развития методов обработки текстовой информации.
Обзор современных алгоритмов обработки Обзор схожих решений
Работа Подходы к хранению и обработки данных Лямбда функции и их премущества