Объединение двух столбцов из разных наборов данных в одну таблицу в Spark

Question

Я хочу взять два столбца из двух разных таблиц и объединить их в одну таблицу, но без использования первичных ключей, общих для обеих.Например:

    val testDSArray : java.util.List[Integer] = new util.ArrayList[Integer]()
    testDSArray.add(4)
    testDSArray.add(7)
    testDSArray.add(10)

    val testDS: DataFrame = spark.createDataset(testDSArray)(Encoders.INT).toDF("col1")
    val testDS2: DataFrame = spark.createDataset(testDSArray)(Encoders.INT).toDF("col2")

    val columns = testDS.withColumn("col2", testDS2.col("col2"))
    columns.show(5)

Я ожидаю, что этот код будет отображать что-то вроде:

---------------
| col1 | col2 |
---------------
|   4  |   4  |
|   7  |   7  |
|  10  |  10  |
---------------

Однако приведенный выше код не запускается с ошибкой

Exception in thread "main" org.apache.spark.sql.AnalysisException: resolved attribute(s) col2#12 missing from col1#6 in operator !Project [col1#6, col2#12 AS col2#15];