При обучении моей модели данные, с которых я начинаю, состоят из строк данных json и ожидаемых значений, которые я хотел бы предсказать из этих данных json.Данные json соответствуют схеме, в которой моя развернутая служба будет получать входные данные как.Перед тренировкой я запускаю ряд функций Python для преобразования данных и извлечения функций, рассчитанных на основе необработанных данных JSON.Это те преобразованные данные, на которых обучается моя модель.
Я извлек код для преобразования данных json во входные данные, ожидаемые моей моделью, в отдельный файл Python.Теперь я хотел бы, чтобы мой сценарий скоринга использовал этот скрипт Python для подготовки ввода, отправленного службе, перед подачей его в мою обученную модель.
Есть ли способ включить сценарий преобразования данных в сценарий оценки, когдаразвертывание моего сервиса с помощью команды cli:
az ml service create realtime
-f <scoring-script>.py
--model-file model.pkl
-s service_schema.json
-n <some-name>
-r python
--collect-model-data true
-c aml_config\conda_dependencies.yml
(новые строки в приведенной выше команде добавлены для ясности)
Два способа, которые я придумалэто либо:
- Создать свой собственный базовый образ докера, который содержит скрипт преобразования, и использовать этот образ в качестве базы для моей службы.Кажется немного громоздким, если мне нужны похожие (но разные) преобразования данных для более поздних моделей.
- Объединить сценарий преобразования с моим сценарием скоринга в один файл.Кажется немного странным.
Есть ли другой способ достичь моей цели - использовать отдельный скрипт преобразования данных, используемый как для обучения, так и для оценки?