Не могу прочитать файл libsvm в спарке - PullRequest
Новая
       7

Не могу прочитать файл libsvm в спарке

0 голосов
/ 22 февраля 2019

Я пытался прочитать TXT-файл, используя Spark и pyspark, и я получаю сообщение об ошибке, которое не могу понять.У меня установлен py4j правильно, а также я могу читать CSV-файлы без проблем.

Вот мой код: 

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("test").getOrCreate()
my_data = spark.read.format("libsvm").load("sample_libsvm_data.txt")

Ошибка, которую я получил, это: 

---------------------------------------------------------------------------
Py4JJavaError                             Traceback (most recent call last)
<ipython-input-4-3347b4cad068> in <module>
----> 1 my_data = spark.read.format("libsvm").load("sample_libsvm_data.txt")

C:\ProgramData\Anaconda3\lib\site-packages\pyspark\sql\readwriter.py in load(self, path, format, schema, **options)
    164         self.options(**options)
    165         if isinstance(path, basestring):
--> 166             return self._df(self._jreader.load(path))
    167         elif path is not None:
    168             if type(path) != list:

C:\ProgramData\Anaconda3\lib\site-packages\py4j\java_gateway.py in __call__(self, *args)
   1255         answer = self.gateway_client.send_command(command)
   1256         return_value = get_return_value(
-> 1257             answer, self.gateway_client, self.target_id, self.name)
   1258 
   1259         for temp_arg in temp_args:

Спасибо за вашу помощь.

...