Получение градиента выходных данных модели Keras относительно ввода, но последний слой является SVM

Question

У меня есть модель CNN, построенная в Керасе. Затем я взял его последний слой как функцию и переучил SVM. Можно ли теперь найти градиент вывода SVM относительно входа модели CNN? Мне известен этот метод ( Получение градиента выходных данных модели по весам с использованием Keras ), и я могу использовать его для получения градиента по сравнению с входным слоем, из которого я вытягиваю элементы. Я также могу получить числовой градиент SVM относительно его входных данных, хотя в настоящий момент это немного беспорядок. Буду признателен за некоторый вклад здесь на самом деле.

Но теперь мне нужно как-то объединить эти два, чтобы получить градиент SVM на вход всей модели CNN.

"""
Main CNN script
"""

# Imports ##
# general
import matplotlib.pyplot as plt
import numpy as np

# ML libraries
from tensorflow.keras.datasets import mnist

# ML utilities
from tensorflow.keras.utils import to_categorical


# Python scripts used
import train_CNN
import load_CNN
import train_subSVMs
import load_subSVMs
import train_finalSVM
import load_finalSVM

import joblib

def save_array(array, name):
  joblib.dump(array, name+'.pkl', compress = 3)
  return

def load_array(array, name):
  array = joblib.load(array, name)
  return array

def show_data_example(i, dataset):
  # show some of the images in the dataset
  # call multiple times for multiple images
  # squeeze is necessary here to get rid of the extra dimension introduced in rehsaping
  print('\nExample Image: %s from selected dataset' %i)
  plt.imshow(np.squeeze(dataset[i]), cmap=plt.get_cmap('gray'))
  plt.show()
  return

def load_and_encode(target_shape):
  # load dataset
  (X_train, y_train), (X_test, y_test) = mnist.load_data()
  X_train, y_train = X_train[:,:,:],y_train[:]
  X_test, y_test =  X_test[:,:,:], y_test[:]
  print('Loaded Mnist dataset')
  print('Train: X=%s, y=%s' % (X_train.shape, y_train.shape))
  print('Test:  X=%s, y=%s' % (X_test.shape, y_test.shape))
  # encode y data
  y_train = to_categorical(y_train)
  y_test = to_categorical(y_test)
  # normalise X data (X/255 -> [0,1])
  X_train = X_train/255.0
  X_test = X_test/255.0
  # currently dimensions are (m x 28 x 28)
  # making them into (m x 28x28x1) 3Dimensional for convolution networks
  X_train = X_train.reshape(X_train.shape[0], target_shape[0], target_shape[1], target_shape[2])
  X_test = X_test.reshape(X_test.shape[0], target_shape[0], target_shape[1], target_shape[2])

  # show an arbitary example image from training set
  show_data_example(12, X_train)

  return X_train, y_train, X_test, y_test


image_shape = (28,28,1)
# load and encode mnist data
X_train, y_train, X_test, y_test = load_and_encode(image_shape)

# hyper-parameters
learning_rate = 0.1
momentum = 0.9
dropout = 0.5
batch_size = 128
epochs = 50
decay = 1e-6
number_of_classes = 10

# store required data into a packet to send to various imports
packet = [learning_rate, momentum, dropout, batch_size, epochs, decay,
          number_of_classes, image_shape,
          X_train, y_train, X_test, y_test]

data = [X_train, y_train, X_test, y_test]

#CNN_model = train_CNN.train_model(packet, save_model = 'True')
CNN_model = load_CNN.load_model(packet) # keras sequential model

#subSVM1, subSVM2, subSVM3, features = train_subSVMs.train(CNN_model, data, c=0.1, save_model = 'True', get_accuracies= 'True')
subSVM1, subSVM2, subSVM3, features = load_subSVMs.load(CNN_model, data, c=0.1, get_accuracies='False')

subSVMs = [subSVM1, subSVM2, subSVM3]
feature1_train, feature1_test,\
feature2_train, feature2_test,\
feature3_train, feature3_test = features

final_SVM = joblib.load('saved_finalSVM.pkl') # sklearn svm trained from features

NUMBER = 48
plt.imshow(np.squeeze(X_train[NUMBER,:,:,:]), cmap=plt.get_cmap('binary'))



# gradients of features wrt to input
import tensorflow.keras.backend as K
gradients = K.gradients(CNN_model.get_layer(name='feature1').output, CNN_model.input) # K.gradients(y,x) for dy/dx
f = K.function([CNN_model.input], gradients)
x = np.expand_dims(X_train[NUMBER,:,:,:],axis=0)
a=f([x])