Я использую PySpark версии 2.3.0.2.6.5.0-292
Когда я запускаю этот скрипт в режиме клиента, я получаю 0 в результате. Кажется, что он не принимает правильные переменные в искра. sql запрос
import pyspark.sql
from pyspark.sql import HiveContext
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
sconf = SparkConf().setAppName("AppName")
sc = SparkContext.getOrCreate(conf=sconf)
sqlContext = HiveContext(sc)
yesterday = '2020-03-01'
today = '2020-03-02'
df = sqlContext.sql("select * from db.table where cast(inserted_timestamp as string) >= {}
and cast(inserted_timestamp as string) < {}".format(yesterday,today))
df.count()