Данные есть в HDFS, но не извлекаются из таблицы улья

Question

Я загрузил запись из таблицы кустов через программу spark, данные успешно загружены в HDFS, но записи не извлекаются в таблицу Hive.

Ниже приведена техника сжатия, которую мы используем.

  sprark.write
        .option(Parquet.compress,SNAPPY)
        .format(parquet)
        .mode(SaveMode.Append)
        .save(s${tablePath}/${dbName}.${targetTableName})

Пожалуйста, дайте мне решение этой проблемы.

Answer 1

Пожалуйста, попробуйте это. df.repartition (1) .write.format ( "паркет"). insertInto ( 'DbName.TableName', перезапись = True)