Я пытаюсь реализовать следующий документ: https://arxiv.org/abs/1904.08779, чтобы добиться лучших результатов в Speech to Text.
Я пытаюсь реализовать это с помощью Mozilla DeepSpeech РЕПО.
Для загрузки данных используется модель набора данных tenorflow.
dataset = (tf.data.Dataset.from_generator(generate_values,
output_types=(tf.string, (tf.int64, tf.int32, tf.int64),tf.int64))
.map(entry_to_features, num_parallel_calls=tf.data.experimental.AUTOTUNE)
.cache(cache_path)
.map(augment_spec, num_parallel_calls=tf.data.experimental.AUTOTUNE)
.window(batch_size, drop_remainder=True).flat_map(batch_fn)
.prefetch(num_gpus))
Аудио конвертируется в спектрограмму и вычисляется mfcc, поэтому, когда данные поступают в функцию augment_spec, они имеют форму (?, 26). ? является результатом изменения переменной длины звука.
Я пытаюсь замаскировать определенные части изображений, для этого я подумал о умножении на тензоры, один из которых представляет собой маску единиц и нулей, используя некоторый код, подобный этому
def augment_spec(features, features_len, transcript):
# print("\n\n\n\n duration", duration.eval())
sample_rate = 8000
mask = np.ones_like(features)
temp = tf.Variable(tf.ones_like(features))
print(temp)
time_len = features_len.shape[0]
features_len = features_len
n_time_masks = np.random.randint(0, 4)
n_freq_masks = np.random.randint(0, 3)
for _ in range(n_time_masks):
time_delta = np.random.randint(int(sample_rate / 10), int(sample_rate / 2))
time_start = np.random.randint(0, time_len - time_delta)
print(time_start, time_delta)
mask[time_start:time_start + time_delta] = 0
for _ in range(n_freq_masks):
freq_delta = np.random.randint(1, 4)
freq_start = np.random.randint(0, features_len - freq_delta)
print(freq_start, freq_delta)
mask[:, freq_start:freq_start + freq_delta] = 0
mask = tf.convert_to_tensor(mask, dtype=tf.float32)
return tf.math.multiply(features, mask), features_len, transcript
Проблема в том, что эти инструкции:
mask = np.ones_like(features)
time_len = features_len.shape[0]
не работают, поскольку при построении графа тензоры не имеют определенной формы, поэтому я не знаю, как это реализовать.
Не могли бы вы помочь мне с этим?
Большое спасибо !!
ОБНОВЛЕНИЕ: после ответа @kempy мой код теперь выглядит так:
def augment_spec(features, features_len, transcript):
# print("\n\n\n\n duration", duration.eval())
sample_rate = 8000
mask = tf.Variable(tf.ones_like(features),validate_shape=False)
time_len = tf.shape(features)[0]
n_time_masks = np.random.randint(0, 4)
n_freq_masks = np.random.randint(0, 3)
# n_time_masks = tf.random.uniform(
# shape=(), minval=0, maxval=4, dtype=tf.int32)
# n_freq_masks = tf.random.uniform(
# shape=(), minval=0, maxval=3, dtype=tf.int32)
for _ in range(n_time_masks):
time_delta = tf.random.uniform(
shape=(), minval=int(sample_rate / 10), maxval=int(sample_rate / 2), dtype=tf.int32)
time_start = tf.random.uniform(
shape=(), minval=0, maxval=time_len-time_delta, dtype=tf.int32)
# indexes = list(range(time_start,time_start+time_delta))
indexes = tf.range(time_start, time_start+time_delta, delta=1, dtype=tf.int32, name='range')
tf.scatter_update(mask, indexes, 0)
mask = tf.transpose(mask,(1,0))
for _ in range(n_freq_masks):
# freq_delta = np.random.randint(1, 4)
# freq_start = np.random.randint(0, features_len - freq_delta)
freq_delta = tf.random.uniform(
shape=(), minval=1, maxval=4, dtype=tf.int32)
freq_start = tf.random.uniform(
shape=(), minval=0, maxval=(features_len - freq_delta), dtype=tf.int32)
# indexes = list(range(freq_start,freq_start+freq_delta))
indexes = tf.range(freq_start, freq_start+freq_delta, delta=1, dtype=tf.int32, name='range')
tf.scatter_update(mask, indexes, 0)
mask = tf.transpose(mask,(1,0))
mask = tf.convert_to_tensor(mask, dtype=tf.float32)
masked = tf.multiply(features, mask)
return masked, features_len, transcript
Но теперь я получаю эту ошибку:
ValueError: Tensor("Variable:0", dtype=float32_ref) must be from the same graph as Tensor("tower_0/Mean:0", shape=(), dtype=float32, device=/device:GPU:0).
Я не знаю, как решить эту проблему, спасибо за вашу помощь