AttributeError: у объекта 'SparkSession' нет атрибута 'time'

Question

Я выполняю запрос SQL и хочу иметь возможность распечатать, сколько времени потребуется для выполнения запроса.Я продолжаю получать ошибку атрибута, говоря, что у сеанса Spark нет времени атрибута.Я делал следующее:

>>> df2 = sqlContext.sql("select * from temptable where Location == 'Moorland Rd Library'")
>>> spark.time(df2.show())
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'SparkSession' object has no attribute 'time'

Answer 1

SparkSession.time() функция доступна только в Scala.Для python вы можете вместо этого использовать модуль time.

import time
time(df2.show())