Как записать потоковые данные на консоль с определенным фрагментом размера / записей?

Question

Мне нужно прочитать CSV-файл с помощью потокового воспроизведения и записать выходной поток в консоль с определенным фрагментом строк / размера.

Использовал потоковое искрение readStream для чтения CSV и writeStream для записи в консоли.

val df: DataFrame = sparkSession.readStream
      .option("sep", ",")
      .schema(userSchema)
      .csv("path")


val res: StreamingQuery = df.writeStream
      .format("console")
      .start()

Я ожидаю, что все 50000 строк будут отображаться на консоли в виде фрагментов по 50 строк, но я получаю только 20 строк, или мне нужно установить число для отображения на консоли.

Answer 1

Вы можете установить число для отображаемых строк, установив свойство ' numRows ' для writestream.

 df.writeStream
 .option("numRows",50)