Я использую Pyspark 2.3.0.Я хочу знать, есть ли какие-либо разъемы для hbase, которые работают для этой версии pyspark.Я хочу читать и писать в dataframe из hbase.Я попробовал следующее предложение от одного из членов stackoverflow:
Как соединить HBase и Spark с помощью Python?
Но я получаю необъяснимую ошибку dict type,У меня есть только один столбец, чтобы вставить и читать и писать.
Пожалуйста, кто-то может помочь мне в решении этой проблемы, будет полезным для меня.
Ниже приведен код, который я использую:
catalog = ‘ ‘.join({{{“table”:{“namespace”:”default”,”name”:”table_name”},”row_key”:”HBASE_ROW_KEY”,”columns”:{“Row_key”:{“cf”:”test”,”col”:”Row_key”}}}}}.split())
df.write.options(catalog=catalog).format(data_source_format).save()
data_source_format= ‘org.apache.spark.sql.execution.datasources.hbase’
Я передаю значения row_key и column_value динамически.