Преобразование строк в фрейме данных spark и добавление в список - PullRequest
0 голосов
/ 02 октября 2019

Я работаю над загрузкой большого объема записей в таблицу HBase, поэтому использую утилиту BatchPut. У меня есть фрейм данных, который необходимо преобразовать в столбец put и добавить в список [Put], который, в свою очередь, будет использоваться для загрузки HBase.

Я пробовал следующее:

df.foreach(row => putList += transformToPut(row))

но это не похоже на работу. На самом деле,

df.foreach(row => println(row))

тоже ни к чему не приводит.

Есть что-то, по чему я упускаю?

...