Интеграция модели с этапами предварительной обработки данных - PullRequest
Новая
       33

Интеграция модели с этапами предварительной обработки данных

0 голосов
/ 22 января 2020

Это может быть глупой мыслью, но, пожалуйста, потерпите меня и направьте меня, если я выберу неправильный подход. Я работаю над проектом машинного обучения, чья модель даст окончательный результат, этот выход из модели ML должен использоваться другим проектом, написанным и поддерживаемым в java.

Типичный поток вызова REST выглядит следующим образом :

  1. Пользователь запрашивает некоторые оценки классификации в интерфейсе пользователя.
  2. Системные вызовы интерфейса пользователя Java API.
  3. Java API извлекает данные из Система хранения.
  4. , затем она предварительно обрабатывает данные и представляет их обученной модели, которая полностью написана, разработана и обучена для Python.

Проблема: при создании модели ML у нас есть шаги предварительной обработки, записанные в python, данные поступают и обрабатываются предварительно, после чего начинается обучение модели. После сохранения этой модели в том месте, откуда java может использовать ее для прогнозирования в реальном времени.

Мысль: Можно ли обернуть этапы предварительной обработки моделью в один пакет. чтобы на стороне java можно было избежать предварительной обработки?

Я хочу получить все ваши мнения по этому поводу для лучшего разрешения ситуации. Я не хочу писать и поддерживать этапы Feature Feature / Preprocessing в двух местах (Python и Java).

Пожалуйста, руководство.

1 Ответ

0 голосов
/ 22 января 2020

Можно обернуть модель этапов предварительной обработки в один пакет, используя TensorFlow для Java, который является моделью машинного обучения, которая может дополнить модель python. Учитывая, что вы подключили свой Java API к пользовательскому интерфейсу и системному хранилищу, вам не нужно переписывать их, или вы можете использовать повторно, чтобы сэкономить время.

  • Структурирование вашего проекта с использованием проекта maven

  • Импорт соответствующих библиотек, например, Spring RESTful webservice, Spring JPA Data, Spring Thymeleaf / Angular ( UI) и библиотека тензорных потоков для модели ML 

    <dependency>
       <groupId>org.tensorflow</groupId>
       <artifactId>tensorflow</artifactId>
       <version>1.12.0</version>
    </dependency>

Надеюсь, это сработает для вас.

...