У меня есть модель, которую мне нужно обслуживать в производственном контексте, и поэтому tensorflow/serving показался мне подходящим.
Однако входные данные, используемые для этой модели, будут настолько большими, что мне понадобятся оба (нетривиальная) предварительная обработка и этап постобработки: по сути, мне нужно разбить входные данные на маленькие куски, подать каждый из кусков в модель параллельно, затем собрать все результаты вместе и затем обработать их, а затем отправить их обратно. И поэтому Apache Beag DAG выглядел как хорошая подгонка.
Но большинство (все?) Примеров Beam, которые они предоставляют, сделаны в контексте training , а не Обслуживание - действительно, глядя на компоненты Beam, которые предоставляет TFX, там нет Serving (или, возможно, "Predict"?) компонента.
Так что я мог бы погрузиться и сделать пользовательский компонент, который обертывает выполнение модели ...
... Но я обеспокоен, что думаю обо всей этой системе неправильно. Должен ли я действительно использовать tensorflow/serving и Beam вместе или есть более простой способ go по этому поводу?