Объединение вероятностей из разных моделей CNN

Question

Допустим, у меня есть 2 изображения автомобиля, но одно сгенерировано с камеры, а другое - это изображение глубины, сгенерированное с помощью преобразования Lidar pointcloud.

Я использовал одну и ту же модель CNN для обоих изображений, чтобы предсказатькласс (вывод - softmax, так как в моем наборе данных есть другие классы: пешеход, фургон, грузовик, велосипедист и т. д.

Как можно объединить вектор двух вероятностей, чтобы предсказать класс, принимая во вниманиеучитывать оба прогноза?

Я использовал такой метод, как средний, максимальный, минимальный, наивный продукт, применяемый к каждому баллу для каждого класса, но не знаю, работает ли он.

Заранее спасибо

РЕДАКТИРОВАТЬ:

После этой статьи: https://www.researchgate.net/publication/327744903_Multimodal_CNN_Pedestrian_Classification_a_Study_on_Combining_LIDAR_and_Camera_Data

Мы можем видеть, что они используют правило максимума или минимума, чтобы объединить выход классификаторов. Так что это работает для проблемы мультикласса?

Answer 1

Согласно комментарию MSalter, вывод softmax не является вектором истинной вероятности. Но если мы решим рассматривать его как таковой, мы можем просто взять среднее значение каждого прогноза. Это эквивалентно тому, что два человека каждый классифицируют случайную выборку объектов из большого пула объектов и, предполагая, что они оба подсчитывают равное количество, оценивают распределение объектов в большом пуле, объединяя их наблюдения. Сумма «вероятностей» классов будет по-прежнему равна 1.

Answer 2

После этой статьи: https://www.researchgate.net/publication/327744903_Multimodal_CNN_Pedestrian_Classification_a_Study_on_Combining_LIDAR_and_Camera_Data

Мы можем видеть, что они используют правило максимума или минимума, чтобы объединить выход классификаторов.Так работает ли это для проблемы мультикласса?