Pycharm не предлагает автоматически методы искровых данных

Question

Я давно использую Spark Scala, новичок в PySpark.

Я пытаюсь настроить PyCharm для проекта Spark. Все настроено с точки зрения зависимостей (например, pip install spark). Я могу создать новый файл python и написать искровой код, все решено. Вот фрагмент кода:

from pyspark.sql import SparkSession

spark=SparkSession.builder.enableHiveSupport.getOrCreate()
data = spark.sql ('select * from db.tbl')

В этот момент я должен ожидать, что данные будут DataFrame? Когда я печатаю данные. Я ожидаю, что PyCharm сообщит мне возможные методы, такие как filter, join et c, в качестве раскрывающегося списка, но это не так.

Что еще нужно сделать, чтобы это работало? Я использую python 2.7 (должен, поскольку это то, что поддерживает наш кластер oop)

Answer 1

В Python переменные типизируются динамически, поэтому вы объявляете их без их типов. Но, начиная с Python 3.6+, вы можете объявить тип переменной следующим образом:

data : DataFrame = spark.sql ('select * from db.tbl')

Таким образом, вы дадите PyCharm знать тип data и предложите возможные методы для этого объекта.