Я хотел бы визуализировать веса внимания после каждой эпохи в Tensorboard.
Я понимаю, что существует tf.keras.callbacks.Tensorboard с kwargs histogram_freq и write_images, но они относятся только к "весам" (например, от Layer.add_weight) в слоях tf.keras.Model. AFAIK эти веса являются переменными Tensorflow.
Кажется, tf.keras.layers.Attention вычисляет веса внимания на лету с помощью операции matmul из запроса и ключевых тензоров. Есть ли способ записать результат этого matmul через Tensorboard обратный вызов?
Я также попытался написать собственный слой внимания, но не могу найти способ сохранить внимание Выберите в качестве weight в подклассе Layer, чтобы Tensorboard смог его обработать. Я также пробовал встроить tf.summary.(histogram|image) в метод call() моего пользовательского слоя внимания, но не могу понять, где запустить tf.summary.merge_all() с сеансом в парадигме Model.fit(). Похоже, я пытался tf.summary.create_file_writer, но потом получаю
Attempting to capture an EagerTensor without building a function