Создание нескольких фреймов данных с использованием цикла for в Java Spark - PullRequest
0 голосов
/ 13 февраля 2019

Я пытаюсь создать новые кадры данных, используя столбцы исходного кадра данных (df0).

Я пытался создать массив строк, чтобы использовать его для имен наборов данных, но это не сработало.

String [] column = ds.columns();
String [] dsName = new String[10];
int max=ds.schema().length();
for (i=0; i<max; i++) {
        Dataset<Row> dsName[i]=null;
        for (j=0; j<max && j!=i; j++) {
            for (k=0; k<max && k!=i && k!=i; k++) {
                            dsName[i]= ds.select(ds.col(column[i]),
                                                ds.col(column[j]),
                                                ds.col(column[k]));

                       }
               }
}

Ожидаемый результат для (начальный df0 и 3 dfs df1i):

df11 = df0.select(df0.col("1"),df0.col("2"));
df12 = df0.select(df0.col("1"),df0.col("3"));
df13 = df0.select(df0.col("1"),df0.col("4"));
...