Я новичок ie в распределенной системе, большие данные. Я недавно начал с Hadoop / yarn и spark (spark на платформе пряжи) для моего дипломного проекта, и на данный момент я заблокирован. Я хочу запустить свое первое приложение spark, но я не знаю проблему. когда я использую spark-submit для запуска сценария python
#!/usr/bin/env python
from pyspark import SparkContext
sc=SparkContext("local[*]",appName="app")
data = sc.textFile("test.txt")
print(data.collect())
from numpy import array
parsedData = data.map(lambda line:array([float(x) for x in line.split(' ')]))
print(parsedData.collect())
, появляется эта ошибка (невозможно загрузить библиотеку Had oop ...), если кто-то может мне помочь, пожалуйста.
Вот захват ошибки: 