Hive Query в приложении PySpark - PullRequest
0 голосов
/ 29 апреля 2020

Я использую PySpark версии 2.3.0.2.6.5.0-292

Когда я запускаю этот скрипт в режиме клиента, я получаю 0 в результате. Кажется, что он не принимает правильные переменные в искра. sql запрос

import pyspark.sql
from pyspark.sql import HiveContext
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext

sconf = SparkConf().setAppName("AppName")
sc = SparkContext.getOrCreate(conf=sconf)
sqlContext = HiveContext(sc)

yesterday = '2020-03-01'
today = '2020-03-02'
df = sqlContext.sql("select * from db.table where cast(inserted_timestamp as string) >= {} 
                and cast(inserted_timestamp as string) < {}".format(yesterday,today))

df.count()
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...