Недавно я наткнулся на функцию потери фокуса и слышал, что она в основном используется в несбалансированном наборе данных. Поэтому я просто попробовал использовать набор данных Cifar10, используя эту простую функцию Focal loss, которую я нашел в Интернете (для Keras).
Я постоянно сталкиваюсь с ошибкой, о которой упоминал в конце. Я пробовал несколько способов решить эту проблему, но безуспешно. Пожалуйста, позаботьтесь об этом, я очень ценю вашу помощь. Спасибо!
Фокусная потеря
import keras.backend as K
ALPHA = 0.8
GAMMA = 2
def FocalLoss(targets, inputs, alpha=ALPHA, gamma=GAMMA):
inputs = K.flatten(inputs)
targets = K.flatten(targets)
BCE = K.binary_crossentropy(targets, inputs)
BCE_EXP = K.exp(-BCE)
focal_loss = K.mean(alpha * K.pow((1-BCE_EXP), gamma) * BCE)
return focal_loss
Входные данные
from keras.datasets import cifar10
(xtrain,ytrain),(xtest,ytest) = cifar10.load_data()
Нейронные Net
from keras.layers import Dense, Conv2D, Flatten, MaxPool2D
from keras.models import Sequential
from keras.optimizers import Adam
model = Sequential([
Conv2D(filters=64, kernel_size=(27,27), strides=(1,1), input_shape=(32,32,3),padding='same', activation='sigmoid'),
MaxPool2D(pool_size=(13,13), strides=(1,1), padding='valid'),
Conv2D(filters=32, kernel_size=(11,11), strides=(1,1), padding='valid', activation='sigmoid'),
Flatten(),
Dense(units=600, activation='sigmoid'),
Dense(units=128, activation='sigmoid'),
Dense(units=10, activation='softmax')
])
Сборка и установка
model.compile(loss=FocalLoss, optimizer=Adam(learning_rate=0.0001), metrics=['accuracy'])
model.fit(xtrain, ytrain, epochs=10, batch_size=120, validation_data=(xtest,ytest), verbose=2)
Ошибка при установке
Epoch 1/10
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-52-52246069690d> in <module>()
----> 1 model.fit(xtrain, ytrain, epochs=10, batch_size=120, validation_data=(xtest,ytest), verbose=2)
10 frames
/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/func_graph.py in wrapper(*args, **kwargs)
971 except Exception as e: # pylint:disable=broad-except
972 if hasattr(e, "ag_error_metadata"):
--> 973 raise e.ag_error_metadata.to_exception(e)
974 else:
975 raise
TypeError: in user code:
/usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py:806 train_function *
return step_function(self, iterator)
<ipython-input-50-e8cbeb45fe58>:12 FocalLoss *
BCE = K.binary_crossentropy(targets, inputs)
/usr/local/lib/python3.6/dist-packages/tensorflow/python/util/dispatch.py:201 wrapper **
return target(*args, **kwargs)
/usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/backend.py:4829 binary_crossentropy
bce = target * math_ops.log(output + epsilon())
/usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/math_ops.py:1141 binary_op_wrapper
raise e
/usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/math_ops.py:1125 binary_op_wrapper
return func(x, y, name=name)
/usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/math_ops.py:1457 _mul_dispatch
return multiply(x, y, name=name)
/usr/local/lib/python3.6/dist-packages/tensorflow/python/util/dispatch.py:201 wrapper
return target(*args, **kwargs)
/usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/math_ops.py:509 multiply
return gen_math_ops.mul(x, y, name)
/usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/gen_math_ops.py:6176 mul
"Mul", x=x, y=y, name=name)
/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/op_def_library.py:506 _apply_op_helper
inferred_from[input_arg.type_attr]))
TypeError: Input 'y' of 'Mul' Op has type float32 that does not match type uint8 of argument 'x'.
ПРИМЕЧАНИЕ
И xtrain, и ytrain имеют один и тот же dtype. (т.е.) 'uint8'