Вместо создания alldiffs
в виде пустого массива создайте его при первом получении данных в diffs
с помощью:
alldiffs = np.expand_dims(diffs, axis=2)
alldiffs = np.dstack((alldiffs, diffs))
alldiffs = np.dstack((alldiffs, diffs))
alldiffs.shape # (2, 3, 3)