Как на практике осуществляется 3d свертка?

Question

Таким образом, в 2d свертке, когда я определяю ядро ​​3x3, операция фактически выполняется с использованием ядра 3x3xn, при этом n - количество входных каналов.

Это то же самое в 3d свертке? То есть, если я определяю ядро ​​3x3x3 на входе измерений (128,128,128,3) (ширина, высота, глубина, каналы), то выполняется операция с ядром измерений 3x3x3x3, где последние три определяются как количество входных каналов?

Answer 1

Это хороший вопрос. 3D-камеры работают, снимая два плоских изображения рядом. Я не уверен, как это будет выглядеть в тензорной форме, но вам понадобятся типичные размеры 1080x1080x3 для одной фотографии и одинаковые для другой фотографии, и они должны будут каким-то образом быть связаны друг с другом. На самом деле Facebook только что выпустил новую библиотеку для этого типа операций под названием PyTorch 3D