Можете ли вы использовать:
K.variable или tf.Variable
и передать это в конвейер keras?
Или вам абсолютно необходимо создать собственные слои.
ОБНОВЛЕНИЕ:
см. Здесь Как создать слой tf.keras без ядра?