Я работаю с данными, загруженными с помощью spark_read_csv, следующим образом:
library(sparklyr)
connection <- spark_connect(master = 'local')
all_data <- spark_read_csv(sc, "D:/my_data.csv")
. После работы с этими данными я понимаю, что мне нужно объединить их с другим файлом. Второй файл имеет те же переменные и характеристики, что и первый, и я хотел бы загрузить его тем же методом spark_read_csv.
Так что мой вопрос заключается в следующем, возможно ли загрузить два файла сspark_read_csv метод, а затем объединить их? Цель состоит в том, чтобы добавить значения в уже существующие столбцы одного файла в другой