Допустим, я обучил модель с очень сложным вычислительным графиком, специально предназначенным для обучения.После многих тренировок лучшая модель была сохранена в файл контрольной точки.Теперь я хочу использовать изученные параметры этой лучшей модели для вывода.Однако вычислительный граф, используемый для обучения, не совсем совпадает с тем, который я собираюсь использовать для вывода.Конкретно, в графе есть модуль с несколькими слоями, отвечающими за вывод векторов внедрения для элементов (рекомендуемый системный контекст).Однако ради производительности вычислений во время вывода я хотел бы заранее рассчитать все векторы внедрения элементов, чтобы единственное вычисление, требуемое для запроса, включало бы только несколько скрытых слоев.
Поэтому, что я хотел бы знать, как это сделать:
Как просто восстановить часть сети, которая выводит векторы вложения элементов, чтобы предварительно вычислить эти векторы для всех элементов (этопроизойдет в некотором сценарии предварительной обработки в автономном режиме)
После того, как все векторы внедрения элементов предварительно вычислены, во время оперативного вывода, как просто восстановить скрытые слои в более поздних частяхсеть и заставить их получать вместо этого предварительно вычисленные векторы вложения элементов.
Как можно выполнить перечисленные выше пункты?Я думаю, что пункт 1. легче сделать.Но моя самая большая проблема связана с пунктом 2. В вычислительном графике, используемом для обучения, чтобы оценить любой слой, я должен был бы предоставить значения для входных заполнителей.Тем не менее, во время оперативного вывода эти заполнители будут устаревшими, потому что многие вещи будут предварительно вычислены, и я не знаю, как сказать скрытым слоям в более поздних частях сети, что они больше не должны зависеть от этих устаревших заполнителей, а зависятвместо этого на предварительно вычисленные вещи.