Я новичок в построении конвейеров вокруг моделей. Вариант использования заключается в том, что я пытаюсь развернуть свою модель на платформе Kubernetes (openshift) для использования в веб-приложении. Перед этим я хочу поместить свои шаги в конвейер. Итак, для подготовки данных в данных каждого намерения я токенизирую, добавляю слова в корпус, лемматизирую его, сортирую и создаю набор слов для каждого предложения. Итак, я хочу добавить это и шаги создания модели в конвейер sklearn. Может ли кто-нибудь помочь мне, какие шаги я должен добавить в конвейер и как к нему подойти.
Моя база кода: https://github.com/hanvitha/chatbot_notebooks
Подготовка данных: 01_chatbot_data_preparation.ipynb
Создание модели: 02_chatbot_model.ipynb