Таблица данных Коала-дельта Таблица: ОШИБКА: произошла ошибка при вызове o237.save

Question

Я прочитал пару CSV-файлов с помощью Pandas из моего узла драйвера, я преобразовал DataPrame Pandas в Koalas Dataframe, и, наконец, я хочу вставить данные из Koalas в таблицу Delta, но я получил ошибку:

import databricks.koalas as ks
import pandas as pd
import glob
all_files = glob.glob('/databricks/driver/myfolder/')
li = []
for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)
frame = pd.concat(li, axis=0, ignore_index=True)
df = ks.from_pandas(frame)              
df.to_delta('dbfs:/FileStore/filesTest/%s' % tablename, mode='append')

ОШИБКА: при вызове o237.save произошла ошибка. : java.lang.IllegalStateException: Не удается найти идентификатор REPL в локальных свойствах Spark. Spark-submit и R не поддерживают транзакции записи из разных кластеров. Если вы используете R, пожалуйста, переключитесь на Scala или Python. Если вы используете spark-submit, пожалуйста, преобразуйте его в JAR-задание Databricks. Или вы можете отключить многокластерную запись, установив для «spark.databricks.delta.multiClusterWrites.enabled» значение «false». Если это отключено, запись в одну таблицу должна происходить из одного кластера. Пожалуйста, проверьте https://docs.databricks.com/delta/delta-intro.html#frequently-asked-questions-faq для более подробной информации.

Answer 1

Delta Lake поддерживает записи транзакций из нескольких кластеров в одном рабочем пространстве в Databricks Runtime 4.2 и выше. Все авторы должны использовать Databricks Runtime 4.2 или выше.

При работе в этом режиме не поддерживаются следующие функции:

• SparkR
• задания с искровой отправкой
• Выполнение команды с использованием REST API
• Шифрование на стороне клиента
• Шифрование на стороне сервера с помощью предоставленных клиентом ключей шифрования
• Пути S3 с учетными данными в кластере, который не может получить доступ к AWSСлужба маркеров безопасности

Убедитесь, что:

• Если вы используете R, переключитесь на Scala или Python.
• Если вы используете spark-submit, преобразуйте его в JAR-задание Databricks.

Ссылка:" Delta Lake - Вводные записные книжки"и" Delta - FAQs".

Надеюсь, это поможет.