Спарк-отправить файл Python и получить модуль не найден

Question

 spark-submit --master yarn-cluster --deploy-mode cluster test.py

заканчивается ошибка

import pandas as pd ImportError: Нет модуля с именем pandas

это единственная ошибка, которую я вижу.

с использованием дистрибутива Anaconda Python 2.7 PYSPARK_VENV]/lib/python2.7/site-packages/ в локации есть панды.

Answer 1

Вы можете проверить, установлены ли панды в папке [PYSPARK_VENV] /lib/python2.7/site-packages/.Похоже, вы выполняете приложение pyspark на другом интерпретаторе python.Убедитесь, что вы установили пакет pandas для этого интерпретатора.

Вы можете использовать Anaconda для управления пакетами python в этих ситуациях knida.