Я пишу библиотеку в Scala для локальной обработки данных.Я хотел бы включить некоторые из функций, которые доступны в Spark SQL.Например, я хотел бы иметь возможность сделать что-то вроде:
val dataFrame: MyDataFrame
val filteredDataFrame = dataFrame.filter("field = 'value'")
И я хочу, чтобы он вел себя так же, как в Spark.Так как Spark поддерживает выражения SQL там, я предполагаю, что мне нужен синтаксический анализатор / механизм SQL, чтобы быть в состоянии достичь этого.Но в то же время я не хочу реализовывать его сам с нуля, потому что это, скорее всего, приведет к важным различиям в поведении.
Не могли бы вы дать мне несколько советов о том, как повторно использовать анализатор / движок Spark SQL?так что большая часть поведения одинакова?Какие библиотеки мне следует использовать?Какие части я смогу использовать повторно, а какие я должен реализовать сам?
Буду признателен за любые идеи:)