вставка данных из списка в таблицу улья с помощью spark sql - PullRequest
Новая
       2

вставка данных из списка в таблицу улья с помощью spark sql

0 голосов
/ 14 апреля 2020

У меня есть список Filename, FilePath и FileSize. Я хочу вставить эти данные в мою таблицу кустов с помощью spark SQL. 

var fs1 = FileSystem.get(sparksession.sparkContext.hadoopConfiguration)
var file_path = fs1.listStatus(new  Path("path")).filter(_.isFile).map(_.getPath).toList
var new_files = fs1.listStatus(new  Path("path")).filter(_.isFile).map(_.getPath.getName).toList
var file_size = fs1.listStatus(new Path("path")).filter(_.isFile).map(_.getLen).toList
var file_data = file_path zip new_files zip file_size

for ((filedetail, size) <- file_size){
  var filepath = filedetail._1
  var filesize: Long = size
  var filename = filedetail._2
  var df = spark.sql(s"insert into mytable(file_path,filename,file_size)  select '${file_path}' as file_path,'${new_files}' as filename,'${file_size}' as file_size")
  df.write.insertInto("dbname.tablename")
}

. Он генерирует этот запрос вставки: 

insert into mytable(file_path,filename,file_size) select  'List(path/filename.txt,path/filename4.txt,path/filename5.txt)' as file_path,'List(filename.txt, filename4.txt, filename5.txt)' as filename,'List(19, 19, 19)' as file_size;

и я получаю сообщение об ошибке:

несоответствующий ввод 'file_path' Ожидается {'(', 'SELECT', 'FROM', 'VALUES', 'TABLE', 'INSERT' , 'MAP', 'REDUCE'} (строка 1, поз. 34)

Я хочу вставить данные в формате таблицы 

file_path                 filename      file_size
path/filename.txt         filename.txt  19
path/filename4.txt        filename4.txt  19
path/filename5.txt        filename5.txt  19

Может кто-нибудь подсказать, как мне вставить данные, как указано выше?

есть ли способ снова разбить этот запрос на 3 разных оператора вставки. 

    insert into mytable(file_path,filename,file_size) select 'path/filename.txt' as file_path,'filename.txt' as filename,'19' as file_size;
    insert into mytable(file_path,filename,file_size) select 'path/filename3.txt' as file_path,'filename3.txt' as filename,'19' as file_size;
    insert into mytable(file_path,filename,file_size) select 'path/filename4.txt' as file_path,'filename4.txt' as filename,'19' as file_size;

Ответы [ 2 ]

0 голосов
/ 14 апреля 2020

вы можете сделать это несколькими способами.

Сначала вы можете преобразовать список в СДР 

val rdd1 = sc.parallelize(fs1.listStatus(new  Path("path")).filter(_.isFile).map(_.getPath).toList)

// then you can convert the rdd into a dataframe

import spark.implicits._

val df1 = rdd1.map((value1, value2, ....) => (value1, value2,....)).toDF("col1", "col2", ....)

// from the dataframe you can create a temporary view

df1.createOrReplaceTempView("my_table")

// then you can load the temporary view in your table

sqlContext.sql("""
        INSERT [INTO | OVERWRITE] my_hive_table SELECT * FROM my_table
           """)

Надеюсь, это может быть полезно.

С уважением .

0 голосов
/ 14 апреля 2020

Вы можете просто создать список, содержащий все строки, и каждая строка будет иметь 3 элемента. Создайте фрейм данных, а затем сохраните данные, используя фрейм данных.

см. Этот пост

...