The whole traceback is as follows:
20/04/29 14:46:21 WARN Utils: Your hostname, meetyogi-Rev-1-0 resolves to a loopback address: 127.0.1.1, but we couldn't find any
внешний IP-адрес! 20/04/29 14:46:21 WARN Утилиты: Установите SPARK_LOCAL_IP, если вам нужно привязать к другому адресу. ПРЕДУПРЕЖДЕНИЕ: Произошла недопустимая операция доступа с отражением. ПРЕДУПРЕЖДЕНИЕ: Недопустимый доступ с отражением от org. apache .spark.unsafe.Platform ( file: /home/meetyogi/spark-2.4.5-bin-hadoop2.7/jars/spark-unsafe_2.11-2.4.5.jar) для метода java .nio.Bits.unaligned () ПРЕДУПРЕЖДЕНИЕ. сообщить об этом сопровождающим org. apache .spark.unsafe.Platform ПРЕДУПРЕЖДЕНИЕ. Используйте --illegal-access = warn для включения предупреждений о дальнейших незаконных операциях доступа с отражением ВНИМАНИЕ: Все будущие операции доступа будут запрещены в будущем выпуске 20 / 04/29 14:46:23 WARN NativeCodeLoader: Невозможно загрузить нативную библиотеку oop для вашей платформы ... с использованием встроенных java классов, где это применимо. Использование стандартного профиля Spark log4j: org / apache / spark / log4j -defaults.properties 20/04/29 14:46:31 ИНФОРМАЦИЯ SparkContext: Запуск Spark версия 2.4.5 20/04/29 14:46:31 ИНФОРМАЦИЯ SparkContext: Подано заявление: количество слов 20/04/29 14:46: 32 INFO Sec urityManager: Изменение acls представления: meetyogi 20/04/29 14:46:32 INFO SecurityManager: Изменение acls изменения на: meetyogi 20/04/29 14:46:32 INFO SecurityManager: Изменение групп acls представления на: 20/04 / 29 14:46:32 INFO SecurityManager: изменение изменяемых групп acls на: 20/04/29 14:46:32 INFO SecurityManager: SecurityManager: аутентификация отключена; пользовательский интерфейс отключен; пользователи с разрешениями на просмотр: Set (meetyogi); группы с разрешениями на просмотр: Set (); пользователи с правами на изменение: Set (meetyogi); группы с разрешениями на изменение: Set () 20/04/29 14:46:34 WARN MacAddressUtil: Не удалось найти используемый аппаратный адрес из сетевых интерфейсов; с использованием случайных байтов: 75: 68: 9d: e5: 49: 7b: 8e: df 20/04/29 14:46:34 INFO Utils: успешно запущен сервис 'sparkDriver' на порту 46177. 20/04/29 14:46 : 34 ИНФОРМАЦИЯ SparkEnv: регистрация MapOutputTracker 20/04/29 14:46:35 ИНФОРМАЦИЯ SparkEnv: регистрация BlockManagerMaster 20/04/29 14:46:35 ИНФОРМАЦИЯ BlockManagerMasterEndpoint: использование org. apache .spark.storage.DefaultTopologyMapper для получения топологии информация 20/04/29 14:46:35 INFO BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up 20/04/29 14:46:35 INFO DiskBlockManager: создан локальный каталог в / tmp / blockmgr-a9069c6a-e30d-446a-afe9-6738aaca443c 20/04 / 29 14:46:35 INFO MemoryStore: запустилось MemoryStore с емкостью 434,4 МБ 20/04/29 14:46:35 INFO SparkEnv: регистрация OutputCommitCoordinator 20/04/29 14:46:36 INFO Utils: успешно запущен сервис 'SparkUI' через порт 4040. 20/04/29 14:46:36 ИНФОРМАЦИЯ SparkUI: привязка SparkUI к 0.0.0.0 и запуск в http://meetyogi-Rev-1-0: 4040 20/04/29 14:46:37 ИНФОРМАЦИЯ Executor : Запуск драйвера идентификатора исполнителя на хосте localhos t 20/04/29 14:46:38 Утилиты INFO: успешно запущен сервис 'org. apache .spark.network.netty.NettyBlockTransferService' на порту 44753. 20/04/29 14:46:38 INFO NettyBlockTransferService: Сервер создано в meetyogi-Rev-1-0: 44753 29.04.2014 14:46:38 ИНФОРМАЦИЯ BlockManager: Использование org. apache .spark.storage.RandomBlockReplicationPolicy для политики репликации блоков 20/04/29 14:46:38 ИНФОРМАЦИЯ BlockManagerMaster: регистрация BlockManager BlockManagerId (драйвер, meetyogi-Rev-1-0, 44753, отсутствует) 20/04/29 14:46:38 INFO BlockManagerMasterEndpoint: регистрация менеджера блоков meetyogi-Rev-1-0: 44753 с 434,4 МБ ОЗУ , BlockManagerId (драйвер, meetyogi-Rev-1-0, 44753, отсутствует) 20.04.2014 14:46:38 INFO BlockManagerMaster: зарегистрированный BlockManager BlockManagerId (драйвер, meetyogi-Rev-1-0, 44753, отсутствует) 20/04/29 14:46:38 ИНФОРМАЦИЯ BlockManager: Инициализированный BlockManager: BlockManagerId (драйвер, meetyogi-Rev-1-0, 44753, Нет) 20/04/29 14:46:41 INFO MemoryStore: блокировать трансляцию_0, сохраненную в виде значений в памяти (примерный размер 118,5 КБ, свободно 434,3 МБ) 20.04.2014 14:46:42 ИНФОРМАЦИЯ MemoryStore: блокировать трансляцию_0_piece0 в виде байтов в памяти (примерный размер 22,9 КБ, бесплатно 434,3 МБ) 20/04/29 14:46 : 42 INFO BlockManagerInfo: добавлено broadcast_0_piece0 в памяти на meetyogi-Rev-1-0: 44753 (размер: 22,9 КБ, бесплатно: 434,4 МБ) 20/04/29 14:46:42 INFO SparkContext: Создана трансляция 0 из текстового файла на NativeMethodAccessorImpl . java: 0 Traceback (последний вызов был последним): Файл "/ home / meetyogi / Downloads / udemy / Apache Spark 2.0 и Python большие данные с PySpark и Spark / python -spark-tutorial-master /rdd/WordCount.py ", строка 11, в файле wordCounts = words.countByValue ()" /home/meetyogi/spark-2.4.5-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/rdd. py ", строка 1261, в файле countByValue" /home/meetyogi/spark-2.4.5-bin-hadoop2.7/pytho n / lib / pyspark.zip / pyspark / rdd.py ", строка 844, в уменьшенном файле" /home/meetyogi/spark-2.4.5-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/rdd .py ", строка 816, в файле для сбора" /home/meetyogi/spark-2.4.5-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py ", строка 1257, в вызов Файл" /home/meetyogi/spark-2.4.5-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j /protocol.py ", строка 328, в get_return_value py4j.protocol.Py4JJavaError: Произошла ошибка при вызове z: org. apache .spark.api. python .PythonRDD.collectAndServe. : org. apache .had oop .mapred.InvalidInputException: Путь ввода не существует: file: / home / meetyogi / Downloads / udemy / Apache Spark 2.0 и Python большие данные с PySpark и Spark / python -spark-tutorial-master / rdd / in / word_count.text в орг. apache .had oop .mapred.FileInputFormat.singleThreadedListStatus (FileInputFormat. java: 287) в орг. apache .had oop .mapred.FileInputFormat.listStatus (FileInputFormat. java: 229) в орг. apache .had oop .mapred.FileInputFormat.getSplits (FileInputFormat. java: 315) в орг. apache .spark.rdd.HadoopRDD.getPartitions (HadoopRDD. scala: 204) в org. apache .spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD. scala: 273) в org. apache .spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD. scala: 269) в scala .Option.getOrElse (Опция. scala: 121) в орг. apache .spark .rdd.RDD.partitions (RDD. scala: 269) в орг. apache .spark.rdd.MapPartitionsRDD.getPartitions (MapPartitionsRDD. scala: 49) в орг. apache .spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD. scala: 273) в org. apache .spark.rdd.RDD $$ an onfun $ partitions $ 2.apply (RDD. scala: 269) в scala .Option.getOrElse (Option. scala: 121) в org. apache .spark.rdd.RDD.partitions (RDD. scala: 269) в орг. apache .spark.api. python .PythonRDD.getPartitions (PythonRDD. scala: 55) в орг. apache .spark.rdd.RDD $$ anonfun $ разделов $ 2 .apply (RDD. scala: 273) в org. apache .spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD. scala: 269) в scala .Option.getOrElse (Опция . scala: 121) в орг. apache .spark.rdd.RDD.partitions (RDD. scala: 269) в орг. apache .spark.SparkContext.runJob (SparkContext. scala: 2126 ) в org. apache .spark.rdd.RDD $$ anonfun $ collect $ 1.apply (RDD. scala: 990) в org. apache .spark.rdd.RDDOperationScope $ .withScope (RDDOperationScope. * 1083) *: 151) в орг. apache .spark.rdd.RDDOperationScope $ .withScope (RDDOperationScope. scala: 112) в орг. apache .spark.rdd.RDD.withScope (RDD. scala: 385 ) в орг. apache .spark.rdd.RDD.collect (СДР. scala: 989) в орг. apache .spark.api. python .PythonRDD $ .collectAndServe (PythonRDD. scala: 166) в орг. apache .spark.api. python .PythonRDD.collectAndServe (PythonRDD. scala) в java .base / jdk.internal.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в java. base / jdk.internal.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl. java: 62) в java .base / jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke * (DelegatingMethod: 1100. at0). base / java .lang.reflect.Method.invoke (Method. java: 564) в py4j.reflection.MethodInvoker.invoke (MethodInvoker. java: 244) в py4j.reflection.ReflectionEngine.invoke (ReflectionEngine. java: 357) в py4j.Gateway.invoke (Шлюз. java: 282) в py4j.commands.AbstractCommand.invokeMethod (AbstractCommand. java: 132) в py4j.commands.CallCommand.execute (CallCommand. java: 79) на py4j.GatewayConnection.run (GatewayConnection. java: 238) на java .base / java .lang.Thread.run (Тема. java: 844)
20/04/29 14:46:42 INFO SparkContext: Invoking stop() from shutdown hook
20/04/29 14:46:43 INFO SparkUI: Stopped Spark web UI at http://meetyogi-Rev-1-0:4040
20/04/29 14:46:43 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
20/04/29 14:46:43 INFO MemoryStore: MemoryStore cleared
20/04/29 14:46:43 INFO BlockManager: BlockManager stopped
20/04/29 14:46:43 INFO BlockManagerMaster: BlockManagerMaster stopped
20/04/29 14:46:43 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint:
OutputCommitCoordinator остановлен! 20/04/29 14:46:43 ИНФОРМАЦИЯ SparkContext: успешно остановлен SparkContext 20/04/29 14:46:43 ИНФОРМАЦИЯ ShutdownHookManager: вызван хук отключения 20/04/29 14:46:43 ИНФОРМАЦИЯ ShutdownHookManager: Удаление каталога / tmp / spark-4ec2871d-6 ccc -42d3-8533-912d04d7e18e 20/04/29 14:46:43 INFO ShutdownHookManager: удаление каталога / tmp / spark-9547a23d-09ee-45bd-9dfd-d56daf58a3b8 / pyspark-e73f44 44a2-8765-092b93bf2ae2 20/04/29 14:46:43 ИНФОРМАЦИЯ ShutdownHookManager: удаление каталога / tmp / spark-9547a23d-09ee-45bd-9dfd-d56daf58a3b8
Above trace back generated could help to solve the issue.