Если вы планируете использовать что-то вроде PyTorch позже (что будет связано с той функциональностью нейронной сети, которую вы преследуете), я бы познакомился с тем, как работает NumPy, поскольку он довольно хорошо связываетФакельные структуры данных.Если это помогает, многие функции SciPy и Matplotlib прекрасно работают со структурами Numpy прямо из коробки.
Трудно точно сказать, что вы ищете в этих ненейронных структурах данных;где вы беспокоитесь о проблемах производительности и узких местах?
Я бы порекомендовал начать с некоторых руководств по PyTorch (или другим основам глубокого обучения), касающихся распознавания и классификации изображений;это приблизит вас к тому месту, где вы хотите оказаться, и у вас будет больше возможностей принимать решения о том, какова будет ваша конечная структура программы.