Spark имеет два основных набора API: низкоуровневые «неструктурированные» API и высокоуровневые структурированные API.
СДР может обрабатывать как структурированные, так и неструктурированные данные, когда в качестве фрейма данных данные организуются в виде столбцов в виде строки, поэтому они работают со структурированными данными.При необходимости вы можете преобразовать фрейм данных в rdd.
Обычно люди используют фрейм данных и, следовательно, API высокого уровня, так как он дает больше возможностей.Но это зависит исключительно от вашего требования.
Я предложу вам прочитать либо такие книги, как «Learning Spark» или «Spark - The Definition Guide», для получения дополнительных разъяснений.