Как правильно использовать `@ tf.function` при создании подклассов keras Layer / Model?

Question

У меня есть пользовательский tf.keras.layers.Layer, который выполняет некоторую распаковку битов (преобразование целых чисел в логические значения (0 или 1 с плавающей запятой)), используя только операторы TF.

class CharUnpack(keras.layers.Layer):

    def __init__(self, name="CharUnpack", *args, **kwargs):
        super(CharUnpack, self).__init__(trainable=False, name=name, *args, **kwargs)
        # Range [7, 6, ..., 0] to bit-shift integers
        self._shifting_range = tf.reshape(
            tf.dtypes.cast(
                tf.range(7, -1, -1, name='shifter_range'),
                tf.uint8,
                name='shifter_cast'),
            (1, 1, 8),
            name='shifter_reshape')
        # Constant value 0b00000001 to use as bitwise and operator
        self._selection_bit = tf.constant(0x01, dtype=tf.uint8, name='and_selection_bit')

    def call(self, inputs):
        return tf.dtypes.cast(
            tf.reshape(
                tf.bitwise.bitwise_and(
                    tf.bitwise.right_shift(
                        tf.expand_dims(inputs, 2),
                        self._shifting_range,
                    ),
                    self._selection_bit,
                ),
                [x if x else -1 for x in self.compute_output_shape(inputs.shape)]
            ),
            tf.float32
        )

    def compute_output_shape(self, input_shape):
        try:
            if len(input_shape) > 1:
                output_shape = tf.TensorShape(tuple(list(input_shape[:-1]) + [input_shape[-1] * 8]))
            else:
                output_shape = tf.TensorShape((input_shape[0] * 8,))
        except TypeError:
            output_shape = input_shape
        return output_shape

    def compute_output_signature(self, input_signature):
        return tf.TensorSpec(self.compute_output_shape(input_signature.shape), tf.float32)

Я попытался сравнить этот слойчтобы улучшить временные характеристики, как показано в этом руководстве TF .

inputs = tf.zeros([64, 400], dtype=tf.uint8)

eager = CharUnpack()

@tf.function
def fun(x):
    eager(x)

# Warm-up
eager(inputs)
fun(inputs)

print("Function:", timeit.timeit(lambda: fun(inputs), number=100))
print("Eager:", timeit.timeit(lambda: eager(inputs), number=100))

Function: 0.01062483999885444
Eager: 0.12658399900101358

Как видите, я могу получить ускорение в 10 раз !!! Итак, я добавил к своему методу CharUnpack.call декоратор @tf.function:

+    @tf.function
     def call(self, inputs):
         return tf.dtypes.cast(

Теперь я ожидаю, что и вызовы eager и fun проведут одинаковое время, но я не получаюулучшение.

Function: 0.009667591999459546
Eager: 0.10346330100037449

Более того, в разделе 2.1 этого ответа SO говорится, что модели по умолчанию скомпилированы графом (что должно быть логикой), но это не похоже наcase ...

Как правильно использовать декоратор @tf.function, чтобы мой слой всегда был графически скомпилирован?