У меня есть датафрейм, зарегистрированный временную таблицу, и я хочу выполнить запрос к ней Я пытаюсь выполнить запрос с любым предложением в spark-sql и выдает ошибку.
session.sql('''select a, b, c, d from table1 where b = 601750699999999999 AND (4128835809999999999 = any(e) or 4128835809999999999 is null)''').show()
Это выдает ошибку как,
pyspark.sql.utils.AnalysisException: u"Undefined function: 'any'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'.; line 1 pos 136"
и если я использую пункт isin, как показано ниже,
session.sql('''select a, b, c, d from table1 where b = 601750699999999999 AND (4128835809999999999 isin any(e) or 4128835809999999999 is null)''').show()
ошибка, как показано ниже,
pyspark.sql.utils.ParseException: u"\nmismatched input 'from' expecting <EOF>(line 1, pos 58)\n\n== SQL ==\nselect a, b, c, d from table1 where b = 601750699999999999 AND (4128835809999999999 = any(e) or 4128835809999999999 is null)\n----------------------------------------------------------^^^\n"
Я не могу найти какую-либо документацию, касающуюся поддержки каких-либо предложений в spark-sql или обходных путей для этого. Кто-нибудь может помочь?