Операция OR-Lambda-Layer с Keras - PullRequest
Новая
       8

Операция OR-Lambda-Layer с Keras

0 голосов
/ 16 ноября 2018

Я создаю другой проект с Keras, это развитие нейронной сети, основанной на предопределенных знаниях (описанных как правила IF-THEN), называемое Neurules. Я создал модуль Python для обучения каждого из моих нейронов / нейронов по заданному логическому выражению IF-THEN, и в конце концов мне нужно использовать Keras, чтобы создать его как сеть и повторно использовать эту модель.

Я уже тестировал один небольшой пример, и он сработал, все было добавлено вручную, веса и смещения. Теперь я обновил свой скрипт, и он дает мне JSON со всеми весами для добавления в Keras (работает до сих пор).

Вот моя проблема, у меня есть один первый слой с 20 нейрулами (нейроны, созданные из IF-THEN), но у меня есть только 2 возможных выхода, некоторые из нейронов / нейронов дают мне output[0] некоторые из них output[1] Я хочу добавить промежуточный слой, представляющий соединения OR.

например:.

Слой 1: НЕЙРОН1, НЕЙРОН2, НЕЙРОН3

Output[0] образован: NEURON1 or NEURON2

Output[1] образован: NEURON2 or NEURON3

В моем первом небольшом примере я сделал следующее: я создал и обучил нейрон OR с помощью своего предварительно разработанного модуля python, а затем добавил второй слой. Затем я соединил записи вручную с нейронами OR (поместив веса в правильные соединения и установив 0, когда они не должны влиять на OR). Теперь у меня есть нечто большее, и я автоматизирую весь процесс.

Визуализация простой сети: Буфер просто передает значение, ИЛИ выполняет операцию ИЛИ со входами.

Визуализация слоев

Как я могу создать лямбда-слой в Керасе, который принимает некоторые из выходов, обрабатывает логическое ИЛИ и подключается к одному из выходов?

Я нашел функцию Backend: tf.keras.backend.any, но я не могу использовать его до сих пор, как мне его использовать? Возможно в лямбда-слое, но как?

Мне нужно подключиться, например

(NEURON1 or NEURON4 or NEURON5) -> output[0]

(NEURON3 or NEURON6 or NEURON7) -> output[1]

В моей системе -1 представляет False, а 1 представляет True. До сих пор я сохранял, какие нейроны используют каждый из 2-х выходов в массиве в формате JSON: 

"secondLayerDescription": [
    [0, 1, 4, 5, 6, 8, 12, 13, 14, 16, 18], 
    [2, 3, 7, 9, 10, 11, 15, 17, 19]
]

Я надеюсь, что кто-то может мне помочь:)

РЕДАКТИРОВАТЬ: Предоставляя обновление, я нашел решение через несколько дней, я разделяю свой слой на 2 слоя и работаю с ними с лямбда-слоями следующим образом: 

def logical_or_layer(x):
    """Processing an OR operation"""
    import keras.backend
    #normalized to 0,1 
    aux_array = keras.backend.sign(x)
    aux_array = keras.backend.relu(aux_array)
    # OR operation
    aux_array = keras.backend.any(aux_array)
    # casting back the True/False to 1,0
    aux_array = keras.backend.cast(aux_array, dtype='float32')

    return aux_array


#this is the input tensor
inputs = Input(shape=(inputSize,))

#this is the Neurule layer
x = Dense(neurulesQt, activation='softsign')(inputs)

#after each neuron layer, the outputs need to be put into SIGNUM (-1 or 1)
x = Lambda(signumTransform, output_shape=lambda x:x, name='signumAfterNeurules')(x)

#separating into 2 (2 possible outputs)
layer_split0 = Lambda( lambda x: x[:, :end_output0], output_shape=(11, ), name='layer_split0')(x)
layer_split1 = Lambda( lambda x: x[:, start_output1:end_output1], output_shape=(9,), name='layer_split1')(x)
#this is the OR layer
y_0 = Lambda(logical_or_layer, output_shape=(1,), name='or0')(layer_split0)
y_1 = Lambda(logical_or_layer, output_shape=(1,), name='or1')(layer_split1)

Но у меня все еще есть проблемы, я не могу объединить их, я поднял новый вопрос на основе этой новой темы.

1 Ответ

0 голосов
/ 20 ноября 2018

Я нашел способ сделать это, мне нужно отсортировать слой Neurules, разделить их, а затем, с одним лямбда-слоем для каждого разделения, выполнить некоторую обработку, как показано в отредактированной части вопроса: нормализовать входы, использовать backend.any, а затем приведите True или False обратно к плаванию.

...