Spark- Sql Обновление значения Динамически. Ошибка ввода несоответствия - PullRequest
Новая
       10

Spark- Sql Обновление значения Динамически. Ошибка ввода несоответствия

0 голосов
/ 27 марта 2020

У меня есть 2 таблицы, одна хранится как текстовый файл, а вторая хранится как или c file.in в первой таблице у меня всего 4 столбца (id, name, salary, p_date), в которые я загружаю данные из файла csv для первых 3 columns.for загрузки данных во 2-й столбец, используя im вставки / выбора, и для четвертого столбца, принимающего значение динамически при выборе формы 1-й таблицы. Когда я делаю это с помощью куста, я получаю правильный результат, но когда я делаю то же самое, используя spark sql I m получить ниже ошибки. несоответствующий ввод 'id' ожидающий {'(', 'SELECT', 'FROM', 'VALUES', 'TABLE', 'INSERT', 'MAP', 'REDUCE'} (строка 1, позиция 26) может кто-нибудь предложить Как я должен сделать это в свече sql. Я пытаюсь ниже код. 

    //working fine in hive
    insert into T2_orc (id, name, class, p_date) select id, name, class, date_add(current_date(),0) as p_date from T1_csv;

    //not working using spark-sql
    val c1=spark.sql("insert into T2_orc (id, name, class, p_date) select id, name, class, date_add(current_date(),0) as p_date from T1_csv");
...