Что означает Spark «Структурированный API»?

Question

Я не знаю, что означает Spark ' Структурированный API '.

Почему ' Структурированный API ' так назван (или называется)?

Буду признателен, если вы расскажете мне более конкретно.

Извините, у меня нет идеального английского. ( Я получил помощь от переводчика.)

Answer 1

В искре есть два места, где вы встретите ключевое слово «структурированный»:

1. Spark SQL, Dataframes, Datasets - это API, которые помогают обрабатывать структурированные данные (данные в табличной форме, идентифицируемые как строки и столбцы). Используя Spark SQL, вы можете написать SQL для чтения и обработки данных. Использование API Dataframe / Dataset поможет выполнять преобразования структурированных данных.

2. Spark Structured Streaming - это для обработки потока структурированных данных, поступающих из потокового приложения, очередей сообщений (таких как kafka).