Как определить, почему слово было включено в описание из видения API - PullRequest
0 голосов
/ 23 мая 2018

Я использовал api компьютерного зрения на изображении.Слово «пицца» было возвращено при описании изображения, и единственная связь с пиццей, которую я могу создать, это логотип компании по производству пиццы на салфетке.Слово день рождения также было возвращено.Есть ли способ выяснить, было ли возвращено слово «пицца» из-за логотипа компании, или это было предположение, связанное со словом «день рождения»?

1 Ответ

0 голосов
/ 30 мая 2018

Это зависит от того, сколько деталей API возвращает вам.Если это позволяет вам наблюдать промежуточные выходные данные классификатора, который используется для категоризации изображения, вы можете увидеть, какие части изображения приводят к высоким выходным значениям.Логотип компании по производству пиццы на салфетке, в зависимости от его размера, вполне может вызвать это.

Если вы используете более открытый API и классификатор, например, keras и сети, представленные в keras.applications, вы можете использовать так называемые «карты активации классов», чтобы увидеть, какие части изображения вызывают результат.

Если вы обнаружите, что вышеприведенное тоже нужно было сделать, один из простых способов выяснить причину - обрезать деталиизображения с помощью цикла и передать их в API.Я подозреваю, что «день рождения» может быть связан с распределенной функцией, и вы не сможете найти, откуда она взялась, тогда как пицца может быть из логотипа или какой-то другой части изображения.

...