Как преобразовать SQL в набор данных спарк?

Question

У меня есть Val test = sql ("Select * from table1), который возвращает фрейм данных. Я хочу преобразовать его в набор данных, который не работает. Test.toDS выдает ошибку.

Answer 1

Пожалуйста, предоставьте более подробную информацию об ошибке.

Если вы хотите преобразовать фрейм данных в набор данных, используйте следующий код:

case class MyClass(field1: Int, field2: Long) // for example

val df = sql ("Select * from table1)
val ds : Dataset[MyClass] = df.as[MyClass]