Pyspark - Как проверять переменные в операциях RDD - PullRequest
0 голосов
/ 22 сентября 2018

Я разрабатывал в Scala Spark, используя IntelliJ.Мне удалось проверить содержимое переменной в режиме отладки, установив точку останова.Вот так enter image description here

Недавно я начал новый проект, используя pyspark с pycharm.Я обнаружил, что код не останавливается в точке останова в операциях Spark, как показано ниже.enter image description here

И еще один вопрос - подсказка подсказки не дает правильной подсказки, например, из функции «карта».Кажется, IDE не знает, что переменная из функции "map" по-прежнему RDD, я думаю, это связано с тем, что функция python не определяет тип возвращаемого значения.

enter image description here enter image description here

Я чувствую этот наивный вопрос для разработчиков PySpark.Любая помощь будет отличной, спасибо!

1 Ответ

0 голосов
/ 25 сентября 2018

"... код не останавливается в точке останова в операциях Spark, как показано ниже ..." - Не могли бы вы уточнить, какая у вас версия PyCharm и ОС?

"И еще один вопрос - подсказкаподсказка не дает правильной подсказки, например, из функции "map". Кажется, IDE не знает, что переменная из функции "map" все еще rdd ... "- я считаю, что она связана с этим запросом функции https://youtrack.jetbrains.com/issue/PY-29811

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...