Я пытаюсь прочитать огромный текстовый файл в Spark, используя spark_read_text, и я передал разделитель и заголовок как true, но файл читается как один столбец, а также имена столбцов добавляются как строка.
test <- spark_read_text(conn, name = "test", path = "file: ///test.txt", header = TRUE, delimiter = "~") </p>
Затем я попытался сначала преобразовать текстовый файл в csv, а затемиспользуйте spark_read_csv, чтобы прочитать его, так как он имеет параметры разделителя и заголовка. Но я не могу конвертировать текст в csv, так как файл большой.
Я также пытаюсь изучить spark_load_table и другие функции, но у них нет аргументов разделителя или заголовка.
Есть предложения?