Как создать 4-мерный RDD (похожий на 4D Numpy ndarray)? - PullRequest
Новая
       33

Как создать 4-мерный RDD (похожий на 4D Numpy ndarray)?

0 голосов
/ 01 июля 2019

Можно ли создать 4-мерный RDD, такой как 4D NumPyDarray, используя Union или что-то еще?

Я попытался создать RDD этого 4D NumPyDarray (приведено ниже) и запустить на этом RDD оптимизатор BigDL.,Разработанная мной модель оптимизатора работает только с 4D numpy ndarray. 

   sample=np.array([[[[ 20,  21,  23],
            [ 3,  4,  5],
            [ 6,  7,  8]],

            [[ 9, 10, 11],
            [512, 13, 14],
            [15, 16, 17]],

           [[18, 19, 20],
            [21, 22, 23],
            [24, 25, 26]]],

            [[[ 30,  31,  32],
            [ 33,  34,  35],
            [ 36,  37,  38]],

           [[ 39, 310, 311],
            [312, 313, 314],
            [315, 316, 317]],

           [[318, 319, 320],
            [321, 322, 323],
            [324, 325, 326]]]])

sample_rdd = sc.parallelize(sample)

optimizer = Optimizer(
       model=model,
       training_rdd=sample_rdd,
       criterion=MarginRankingCriterion(),
       optim_method=SGD(learningrate=0.01),
       end_trigger=MaxEpoch(2),
       batch_size=1)

Но эта ошибка возникает при работе оптимизатора: при вызове o28.createDistriOptimizer произошла ошибка.: java.lang.IllegalArgumentException: требование не выполнено: модель Sequentialb994f48b не имеет обучаемых параметров.

...