Py4JJavaError работает программа Pyspark

Question

Я делаю короткое приложение, которое сообщает вам, какой герой является самым популярным из большого набора данных фильмов Marvel в зависимости от их количества появлений.

Я установил Pyspark из среды Anaconda, а также из консоли, чтобы попытаться решить эту ошибку безрезультатно.Я также установил Java-JDK для Conda, но результатов тоже нет.

Я получаю следующую ошибку:

    py4j.protocol.Py4JJavaError: An error occurred while calling o24.partitions.
: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: 2018:19
    at org.apache.hadoop.fs.Path.initialize(Path.java:205)
    at org.apache.hadoop.fs.Path.<init>(Path.java:171)
    at org.apache.hadoop.fs.Path.<init>(Path.java:93)
    at org.apache.hadoop.fs.Globber.glob(Globber.java:211)
    at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:1676)
    at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:259)
    at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:229)
    at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:315)
    at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:204)
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253)
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.rdd.RDD.partitions(RDD.scala:251)
    at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:49)
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253)
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.rdd.RDD.partitions(RDD.scala:251)
    at org.apache.spark.api.java.JavaRDDLike$class.partitions(JavaRDDLike.scala:61)
    at org.apache.spark.api.java.AbstractJavaRDDLike.partitions(JavaRDDLike.scala:45)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:483)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:282)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.URISyntaxException: Relative path in absolute URI: 2018:19
    at java.net.URI.checkPath(URI.java:1823)
    at java.net.URI.<init>(URI.java:745)
    at org.apache.hadoop.fs.Path.initialize(Path.java:202)
    ... 30 more

И вот мой код:

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Wed Mar 20 13:33:45 2019

@author: Carlos
"""
from pyspark import SparkConf, SparkContext
import collections

conf = SparkConf().setMaster("local").setAppName("personaje_mas_popular")
sc=SparkContext(conf=conf)

def numerocoapariciones(linea):
    elementos = linea.split()
    return (int(elementos[0]), len(elementos)-1)

def codificarnombres(linea):
    fields = linea.split('\"')
    return (int(fields[0]), fields[1].encode("utf8"))

nombres = sc.textFile("./Marvel/Marvel-names.txt")
nombresrdd=nombres.map(codificarnombres)

lines = sc.textFile("./Marvel/Marvel-graph.txt")

emparejar = lines.map(numerocoapariciones)
totalapariciones = emparejar.reduceByKey(lambda x,y :x + y)

flipped = totalapariciones.map(lambda xy: (xy[1], xy[0]))

maspopular = flipped.max()

nombremaspopular = nombresrdd.lookup(maspopular[1])[0]
print("Héroe más popular: \n" + str(nombremaspopular))

Мне не хватает какой-нибудь библиотеки?Это проблема версии?Я использую Python 3.7.0, Pyspark 2.4.0 и пишу код на Spyder (среда Анаконды).

Answer 1

После попытки разных вещей это было самое простое: проблема пути к файлу.

Исходный путь к моим файлам .py и .txt содержал символ «:», который я прочитал на нескольких сайтах, может привести к ошибке при чтении путей к файлам. Я просто переместил и .py, и .txt в другой путь (Desktop, чтобы упростить задачу на 100%) и работал отлично.

В процессе решения этой проблемы я также столкнулся с проблемой, состоящей в том, что после обновления pyspark из терминала среда Anaconda не запускается, поэтому я обновил python с помощью следующей команды и снова работал как чудо:

conda update python -yn root

(я знаю, что этот последний выпуск - оффтоп, но эй, надеюсь, он когда-нибудь кому-нибудь поможет)