Вам обязательно нужно, чтобы нейронный выход net был 2 отдельными выходами?
Вместо этого вы можете объединить их в один вывод, а затем разделить их позже, когда вы будете использовать данные в остальной части вашего приложения. Чтобы объединить их, используйте слой tf.keras.layers.concatenate
после ваших последних слоев, который объединит ваши 2 выхода в 1. Таким образом, единственный вектор должен быть передан в функцию потерь.