У меня есть нейронная сеть (Net) с обучаемой матрицей параметров в первом слое (матрица \ в 100 x dim). Входом в сеть является индекс (idx) для выбора одной строки обучаемой матрицы для подачи в другие слои. Это значение индекса отправляется в сеть каждый раз, когда я вызываю Net (поэтому Net (idx) дает мне вектор (1 x dim), который является idx-й строкой матрицы). Теперь я пытаюсь вычислить значение idx вместо того, чтобы устанавливать его вручную. То, о чем я могу думать, это иметь другой нейронный net (например, net -2) с сигмовидной вершиной. Сигмоид генерирует значение в диапазоне [0,1], затем я могу сопоставить это значение с [0,99] и вызвать Net с этим, например, это -> Net (mapper (sigmoid _net - 2)). У меня вопрос, как я могу сделать весь процесс обучаемым / дифференцируемым? У меня есть картограф, который может нарушить поток градиента. Кроме того, я не уверен, можно ли дифференцировать выбор столбцов.
Заранее благодарен за помощь.