Ваше описание довольно абстрактное, но я сделаю все возможное, чтобы ответить на ваш вопрос:
Полагаю, Tj не должен меняться для каждого образца. Как правило, все образцы имеют одинаковую размерность и форму.
Это немного сбивает с толку, потому что вы утверждаете, что размерность выборки равна количеству выборок?
В любом случае, реальная проблема, о которой вы говорите, заключается в том, что вы хотите наполнить сеть образцами в определенном порядке, и она должна решить несколько задач. Исследовательский термин, который вы ищете, - Multi-Task Learning
в Deep Learning.
Эти многозадачные нейронные сети могут хорошо работать на иерархических задачах , которые очень связаны друг с другом .
Если ваши задачи сильно отличаются, возможно, лучше всего обучить нейронную сеть каждой задаче.