Как использовать выход CNN как вход другого в автономном транспортном средстве

Question

Я разрабатываю мини-автономный автомобиль, используя 3 CNN и датчик камеры, используя этот подход.

Одна из CNN обнаруживает полосы на изображениях и выводит изображения с полосами, нарисованными зеленым

Другая CNN использует изображения для вывода углов поворота и скорости, которые сообщаются двигателю. Эти 2 CNN отлично работают по отдельности.

Последний CNN обнаруживает дорожные знаки, например, поверните налево, поверните направо, остановитесь. Как я могу использовать этот вывод, чтобы изменить способ, которым первый CNN рисует зеленые линии. Например, если машина находилась на развязке со знаком поворота налево, я хочу, чтобы зеленые полосы "полосы" нарисовали путь влево.

Любые предложения о том, как подключить эти 3 CNN и использовать их вживую, будут приветствоваться.

Answer 1

Для тех, кому интересно, я смог решить это с более простым подходом. Я был в состоянии обнаружить полосы и рисовать тогда зеленым цветом только с помощью opencv. Я построил CNN, который выводит угол поворота руля, и еще один, который выводит скорость. Эти две CNN могут также выучить дорожные знаки и действовать соответственно, чтобы не было необходимости в другой нейронной сети. В моем файле прогнозирования я затем импортирую эти 2 CNN как модели, а затем обрабатываю каждый кадр изображения с помощью opencv, прежде чем использовать модели отдельно для прогнозирования угла поворота и скорости. Машина была хороша, чтобы идти с этими значениями.

Кстати, вот как выход CNN может использоваться как вход другого. Просто используйте выходные данные в качестве параметра при использовании второго CNN для прогнозирования (например, "secondmodel.predict (output, .....)" в кератах)