спаркфрейм в Bigquery с использованием драйвера simba - PullRequest
Новая
       34

спаркфрейм в Bigquery с использованием драйвера simba

0 голосов
/ 27 мая 2019

При попытке записать фрейм данных в Bigquery с помощью драйвера Simba. Я получаю исключение ниже. Ниже приведен датафрейм. Создали таблицу в bigquery с той же схемой. 

df.printSchema
root
 |-- empid: integer (nullable = true)
 |-- firstname: string (nullable = true)
 |-- middle: string (nullable = true)
 |-- last: string (nullable = true)
 |-- gender: string (nullable = true)
 |-- age: double (nullable = true)
 |-- weight: integer (nullable = true)
 |-- salary: integer (nullable = true)
 |-- city: string (nullable = true)

Драйвер Simba выдает ошибку ниже 

 Caused by: com.simba.googlebigquery.support.exceptions.GeneralException: [Simba][BigQueryJDBCDriver](100032) Error executing query job. Message: 400 Bad Request
    {
      "code" : 400,
      "errors" : [ {
        "domain" : "global",
        "location" : "q",
        "locationType" : "parameter",
        "message" : "Syntax error: Unexpected string literal \"empid\" at [1:38]",
        "reason" : "invalidQuery"
      } ],
      "message" : "Syntax error: Unexpected string literal \"empid\" at [1:38]",
      "status" : "INVALID_ARGUMENT"
    }
      ... 24 more

ниже код, который я использую для того же: 

val url = "jdbc:bigquery://https://www.googleapis.com/bigquery/v2;ProjectId=my_project_id;OAuthType=0;OAuthPvtKeyPath=service_account_jsonfile;OAuthServiceAcctEmail=googleaccount"
df.write.mode(SaveMode.Append).jdbc(url,"orders_dataset.employee",new java.util.Properties)

Пожалуйста, дайте мне знать, если отсутствует какая-либо другая конфигурация или где происходит ошибка. Заранее спасибо!

...