как генерировать данные временных рядов искры

Question

Я пытаюсь сгенерировать данные временных рядов для создания тестового набора данных. Для небольших тестовых случаев я использую

val df = Seq(
  (1, Timestamp.valueOf("2014-01-01 23:00:01")),
  (1, Timestamp.valueOf("2014-11-30 12:40:32")),
  (2, Timestamp.valueOf("2016-12-29 09:54:00")),
  (2, Timestamp.valueOf("2016-05-09 10:12:43"))
).toDF("typeId","eventTime")

, который работает файл. Теперь я хочу генерировать более длинные серии данных программно. Тем не менее, я обнаружил, что если я манипулирую последовательностью вообще, это приводит к ошибкам при преобразовании в dataframe. Кажется, что тип последовательности меняется. Вот тривиальный пример.

var data1 = Seq((1, Timestamp.valueOf("2014-01-01 23:00:01")))
val data2 = data1 :+ Seq((1, Timestamp.valueOf("2014-11-30 12:40:32")))

val dfError = data2.toDF("typeId","eventTime")

ошибка: значение toDF не является членом Seq [Equals] val df2 = test.toDF ("typeId", "eventTime")

Howможно программно создать последовательность, а затем создать фрейм данных spark?

Answer 1

: + используется для добавления элемента, а не последовательности. Поэтому замените: + на ++.

val data2 = data1 ++ Seq((1, Timestamp.valueOf("2014-11-30 12:40:32")))

`