Я написал искровую программу для получения потока Twitter и оценки настроения, а затем отправил его в промежуточное ПО kafka. Программа хорошо работает как на моей виртуальной машине (Centos 7), так и в моем окне 10. Но когда я хочу запустить ее в своей подсистеме Ubuntu, установленной из windows магазина приложений. Программа заканчивается без каких-либо ошибок. Мои конфигурации следующие: spark 2.4.5, jdk 1.8, scala 2.11.12. Вывод консоли выглядит следующим образом:
Ivy Default Cache set to: /home/yaoqiang/.ivy2/cache
The jars for the packages stored in: /home/yaoqiang/.ivy2/jars
:: loading settings :: url = jar:file:/home/yaoqiang/Downloads/spark/jars/ivy-2.4.0.jar!/org/apache/ivy/core/settings/ivysettings.xml
org.apache.spark#spark-sql-kafka-0-10_2.11 added as a dependency
:: resolving dependencies :: org.apache.spark#spark-submit-parent-e01d38e5-0845-4e03-8d42-6c0063722307;1.0
confs: [default]
found org.apache.spark#spark-sql-kafka-0-10_2.11;2.4.0 in central
found org.apache.kafka#kafka-clients;2.0.0 in central
found org.lz4#lz4-java;1.4.0 in central
found org.xerial.snappy#snappy-java;1.1.7.1 in central
found org.slf4j#slf4j-api;1.7.16 in central
found org.spark-project.spark#unused;1.0.0 in central
:: resolution report :: resolve 481ms :: artifacts dl 49ms
:: modules in use:
org.apache.kafka#kafka-clients;2.0.0 from central in [default]
org.apache.spark#spark-sql-kafka-0-10_2.11;2.4.0 from central in [default]
org.lz4#lz4-java;1.4.0 from central in [default]
org.slf4j#slf4j-api;1.7.16 from central in [default]
org.spark-project.spark#unused;1.0.0 from central in [default]
org.xerial.snappy#snappy-java;1.1.7.1 from central in [default]
---------------------------------------------------------------------
| | modules || artifacts |
| conf | number| search|dwnlded|evicted|| number|dwnlded|
---------------------------------------------------------------------
| default | 6 | 0 | 0 | 0 || 6 | 0 |
---------------------------------------------------------------------
:: retrieving :: org.apache.spark#spark-submit-parent-e01d38e5-0845-4e03-8d42-6c0063722307
confs: [default]
0 artifacts copied, 6 already retrieved (0kB/20ms)
20/04/20 01:01:35 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
log4j:WARN No appenders could be found for logger (org.apache.spark.deploy.SparkSubmit$$anon$2).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Также моя команда отправки - spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.0 --class KafkaExample Sentiment-assembly-0.1.jar game game, что успешно в двух других системах. Я не знаю, связано ли это с проблемой подсистемы ubuntu windows.
Обновление : я до сих пор не знаю, почему это не работает. Я пытался переустановить все, даже операционную систему. Наконец, я должен назначить больше памяти моей виртуальной машине, чтобы она работала.