Неправильные прогнозы после преобразования официального tf2_image_retraining.ipynb в tfjs_graph_model? - PullRequest
Новая
       95

Неправильные прогнозы после преобразования официального tf2_image_retraining.ipynb в tfjs_graph_model?

0 голосов
/ 03 августа 2020

Я использовал make_image_classifier , чтобы создать свой собственный классификатор и преобразовал его в Tensorflow. js с успехом, что дает мне степень уверенности, например A: 0,67XXX, B: 0,10XXX, C: 0,23 XXXX (вместе 1.0)

Я хочу сделать то же самое с официальным соответствующим блокнотом Colab , чтобы иметь больший контроль, но если я использую его с настройками по умолчанию, я получаю странные прогнозы после преобразования, тогда, например:

A: 0,09XXX, B: 2,69XXX, C: 0,77XXXX

Интересно, почему это происходит - как я могу использовать ноутбук и успешно конвертировать?

Для обоих я использовал этот формат преобразования из https://github.com/tensorflow/tfjs/tree/master/tfjs-converter: 

tensorflowjs_converter
--input_format=tf_saved_model
--output_format=tfjs_graph_model
--signature_name=serving_default
--saved_model_tags=serve
/mobilenet/saved_model
/mobilenet/web_model

make_image_classifier: 

tensorflowjs_converter \
> --input_format=tf_saved_model \
> --output_format=tfjs_graph_model \
> --signature_name=serving_default \
> --saved_model_tags=serve \
> /Users/myname/Desktop/final_project/DATASETS/hub_maker_3.8. \
> /Users/myname/Desktop/final_project/DATASETS/hub_maker_3.8./tfjs

Код ноутбука: 

import itertools
import os

import matplotlib.pylab as plt
import numpy as np

import tensorflow as tf
import tensorflow_hub as hub

print("TF version:", tf.__version__)
print("Hub version:", hub.__version__)
print("GPU is", "available" if tf.test.is_gpu_available() else "NOT AVAILABLE")

module_selection = ("mobilenet_v2_100_224", 224) #@param ["(\"mobilenet_v2_100_224\", 224)", "(\"inception_v3\", 299)"] {type:"raw", allow-input: true}
handle_base, pixels = module_selection
MODULE_HANDLE ="https://tfhub.dev/google/imagenet/{}/feature_vector/4".format(handle_base)
IMAGE_SIZE = (pixels, pixels)
print("Using {} with input size {}".format(MODULE_HANDLE, IMAGE_SIZE))

BATCH_SIZE = 32 #@param {type:"integer"}

data_dir = '/content/gdrive/My Drive/Colab Notebooks/hub_maker/images'

datagen_kwargs = dict(rescale=1./255, validation_split=.20)
dataflow_kwargs = dict(target_size=IMAGE_SIZE, batch_size=BATCH_SIZE,
                   interpolation="bilinear")

valid_datagen = tf.keras.preprocessing.image.ImageDataGenerator(
    **datagen_kwargs)
valid_generator = valid_datagen.flow_from_directory(
    data_dir, subset="validation", shuffle=False, **dataflow_kwargs)

do_data_augmentation = False #@param {type:"boolean"}
if do_data_augmentation:
  train_datagen = tf.keras.preprocessing.image.ImageDataGenerator(
      rotation_range=40,
      horizontal_flip=True,
      width_shift_range=0.2, height_shift_range=0.2,
      shear_range=0.2, zoom_range=0.2,
      **datagen_kwargs)
else:
  train_datagen = valid_datagen
train_generator = train_datagen.flow_from_directory(
    data_dir, subset="training", shuffle=True, **dataflow_kwargs)
class_dictionary = train_generator.class_indices
print(class_dictionary)

do_fine_tuning = False #@param {type:"boolean"}

print("Building model with", MODULE_HANDLE)
model = tf.keras.Sequential([
    # Explicitly define the input shape so the model can be properly
    # loaded by the TFLiteConverter
    tf.keras.layers.InputLayer(input_shape=IMAGE_SIZE + (3,)),
    hub.KerasLayer(MODULE_HANDLE, trainable=do_fine_tuning),
    tf.keras.layers.Dropout(rate=0.2),
    tf.keras.layers.Dense(train_generator.num_classes,
                          kernel_regularizer=tf.keras.regularizers.l2(0.0001))
])
model.build((None,)+IMAGE_SIZE+(3,))
model.summary()

model.compile(
  optimizer=tf.keras.optimizers.SGD(lr=0.005, momentum=0.9), 
  loss=tf.keras.losses.CategoricalCrossentropy(from_logits=True, label_smoothing=0.1),
  metrics=['accuracy'])

steps_per_epoch = train_generator.samples // train_generator.batch_size
validation_steps = valid_generator.samples // valid_generator.batch_size
hist = model.fit(
    train_generator,
    epochs=10, steps_per_epoch=steps_per_epoch,
    validation_data=valid_generator,
    validation_steps=validation_steps).history

steps_per_epoch = train_generator.samples // train_generator.batch_size
validation_steps = valid_generator.samples // valid_generator.batch_size
hist = model.fit(
    train_generator,
    epochs=10, steps_per_epoch=steps_per_epoch,
    validation_data=valid_generator,
    validation_steps=validation_steps).history

steps_per_epoch = train_generator.samples // train_generator.batch_size
validation_steps = valid_generator.samples // valid_generator.batch_size
hist = model.fit(
    train_generator,
    epochs=10, steps_per_epoch=steps_per_epoch,
    validation_data=valid_generator,
    validation_steps=validation_steps).history

saved_model_path = '/content/gdrive/My Drive/Colab Notebooks/hub_maker'
tf.saved_model.save(model, saved_model_path)
...