запрос, который работает в postgres, не работает в блоках данных (pyspark) - PullRequest
Новая
       3

запрос, который работает в postgres, не работает в блоках данных (pyspark)

0 голосов
/ 02 марта 2020

Я выполняю запрос в postgressql с использованием программного обеспечения aginity, и запрос работает. Но если я запускаю в блокноте блоков данных, используя 

new_df=spark.read.format("com.databricks.spark.redshift").option("url", redshift_jdbcUrl).option("query",query).option("tempdir","s3n://amgen-s3-gco-dna-edl-dev/Dev/TempData/").option("forward_spark_s3_credentials",True).load()

, то происходит сбой в той части, где написано like, и выдает ошибку о неправильном использовании%.

Если я удаляю часть like, она также работает в блоках данных.

Это мой запрос 

SELECT 
    sti.database as db, sti.schema, sti.table as table_name, sq.endtime asa last_updated_time, 
    sq.querytxt, cast(sti.tbl_rows as integer) as tbl_rows
FROM 
    (SELECT MAX(query) as query, tbl, MAX(i.endtime) as last_insert
    FROM stl_insert i
    GROUP BY tbl
    ORDER BY tbl) inserts 
JOIN stl_query sq ON sq.query = inserts.query
JOIN svv_table_info sti ON sti.table_id = inserts.tbl and sti.schema like '%byod%'
ORDER BY inserts.last_insert DESC
...