У меня есть вопрос о свечах - es.
Я пишу код, как показано ниже
# Initializing PySpark
from pyspark import SparkContext, SparkConf, SQLContext
# Spark Config
conf = SparkConf().setAppName("es_app")
sc = SparkContext(conf=conf)
# sqlContext
sqlContext = SQLContext(sc)
# ES to dataframe
df = sqlContext.read.format("org.elasticsearch.spark.sql").option("es.nodes","xxx.xxx.xxx.xxx:9200").option("es.nodes.discovery", "true").load("sample")
# make view
df.registerTempTable("sample")
# Too long
sqlContext.sql("SELECT count(*) from sample").show()
Индекс 'sample' содержит 5 000 000 документов.
Однако, когда я запрос о sql.
Требуется так много времени, чтобы получить результат. (Примерно 20 минут занимает)
Может быть, что-то не так, но я не знаю причину.
Нужно ли добавить дополнительную опцию?